A inferência em tempo real frequentemente falha diante de solicitações longas, picos de tráfego e priorização inadequada. A inferência assíncrona, por sua vez, organiza as solicitações em uma fila, processando-as conforme a capacidade do modelo e a prioridade de cada pedido, resultando em melhor utilização de GPU e menor incidência de timeouts.

A Baseten desenvolveu um sistema de inferência assíncrona após identificar as limitações enfrentadas por muitos clientes ao utilizar a inferência em tempo real. Esse novo sistema permite que qualquer um execute inferência assíncrona em qualquer modelo, sejam eles treinados internamente, ajustados ou de código aberto, sem a necessidade de modificar o código existente.

A implementação da inferência assíncrona opera através de um fluxo de trabalho estruturado, onde uma solicitação é enviada e colocada em uma fila, recebendo um ID para rastreamento. Quando o modelo possui capacidade, a solicitação é processada e o resultado é enviado para o webhook ou armazenado em um arquivo na nuvem.

1. Possibilita o gerenciamento de solicitações em ordem de prioridade.

2. Aumenta a robustez contra timeouts em tarefas longas.

3. Permite o agendamento de milhares de requisições sem preocupação com a capacidade do modelo.

4. Maximiza a utilização de recursos computacionais.

5. Melhora a experiência do usuário ao evitar falhas.

A construção de um mecanismo de inferência assíncrona envolve desafios, como a necessidade de fornecer visibilidade e controle ao desenvolvedor. A Baseten implementou uma arquitetura que inclui um sistema de retry configurável, registros detalhados, métricas de observabilidade e a capacidade de cancelar requisições.

- A inferência assíncrona melhora a experiência do desenvolvedor. - Permite a programação eficiente de tarefas e o uso otimizado de recursos. - Minimiza os riscos de falhas durante picos de tráfego.

A inferência assíncrona é uma solução que não apenas melhora a eficiência operacional, mas também oferece um controle maior sobre os processos de inferência. Com isso, espera-se que os desenvolvedores tenham uma experiência mais tranquila, sem preocupações com a escalabilidade em horários impróprios.

A inferência assíncrona da Baseten representa um avanço significativo para desenvolvedores que buscam otimizar suas soluções de inteligência artificial. Para descobrir mais sobre essa tecnologia e suas aplicações, assine nossa newsletter e fique por dentro de conteúdos atualizados diariamente.

FONTES:

1. Baseten - Inferência Assíncrona

2. Baseten - Webinar

3. Baseten - API Referência

4. Baseten - Observabilidade

5. Baseten - Status de Solicitações Assíncronas