O recurso de streaming permite que desenvolvedores de aplicativos, como os de chat, recebam atualizações incrementais à medida que o modelo de linguagem gera tokens. Em vez de aguardar uma resposta completa, os usuários podem visualizar a saída à medida que ela é produzida, tornando as interações mais dinâmicas e fluidas.

Para consumir streams, desenvolvedores podem utilizar a biblioteca Node.js do Replicate ou ferramentas de linha de comando como cURL. O fluxo envolve criar uma previsão com a opção de streaming ativada, receber uma URL e conectar-se a ela para obter as atualizações em tempo real.

1. Criação de uma previsão com a opção 'stream' ativada.

2. Recebimento de uma URL para conexão com o stream.

3. Conexão à URL usando JavaScript ou cURL.

4. Recebimento de eventos de saída em tempo real.

5. Exibição dos dados gerados à medida que são recebidos.

O suporte a streaming já está disponível para vários modelos de linguagem na plataforma Replicate, como Falcon, Vicuna e Llama 2. Para modelos próprios, é recomendado que os desenvolvedores implementem o suporte a streaming para oferecer uma experiência aprimorada aos usuários.

O novo suporte a streaming pela Replicate certamente proporcionará uma nova dimensão na construção de aplicações baseadas em linguagem, permitindo desenvolvimentos mais ágeis e interativos. Para mais conteúdos sobre tecnologia e inovações, assine nossa newsletter e fique atualizado com as últimas novidades.

FONTES:

1. Replicate

2. Vercel AI Playground

3. Replicate Node.js Client

4. Documentação do Cog