Nos últimos meses, a Unstructured trabalhou na introdução de novos modelos para maximizar a extração de dados de diversos documentos e formatos. Um desses modelos é uma versão do Detectron2, desenvolvido pelo Facebook, que se especializa na análise de arquivos PDF e imagens. Tradicionalmente, os usuários enfrentavam dificuldades ao instalar o Detectron2 diretamente do código fonte, o que tornava o processo de instalação complicado.

Para resolver essa questão, a equipe da Unstructured decidiu utilizar ONNX, um padrão que permite a interoperabilidade entre modelos de aprendizado de máquina. ONNX atua como um tradutor de modelos construídos em diferentes ferramentas, como Pytorch e Tensorflow, permitindo que eles sejam utilizados em qualquer outra ferramenta que suporte o padrão. Essa padronização não só facilita o compartilhamento e a utilização de modelos, mas também possibilita otimizações nas arquiteturas alvo.

Após identificar a solução, a equipe encontrou um script no repositório do Detectron2 que permite a exportação de modelos para o formato ONNX. Com a definição apropriada do modelo em um arquivo YAML, foi possível executar o programa e gerar um arquivo compatível com ambientes de execução ONNX, que pode ser facilmente utilizado em diferentes hardware, como CPU ou GPU. A inclusão do modelo Detectron2 na biblioteca Unstructured começou a ser disponibilizada a partir da versão 0.7.0.

1. ONNX facilita a instalação de modelos de aprendizado de máquina.

2. Modelo Detectron2 treinado para extração de dados de PDF e imagem.

3. Exportação simplificada utilizando script do repositório Detectron2.

4. Menos dependências e otimizações potenciais com ONNX.

5. A atualização para a versão 0.7.0 da Unstructured é recomendada para usuários.

A implementação do ONNX na biblioteca Unstructured não só simplifica o trabalho de instalação, mas também abre portas para desenvolvimentos futuros. A equipe expressa otimismo em relação a novas funcionalidades e melhorias que podem surgir a partir dessa integração.

- Maior facilidade de uso para desenvolvedores. - Aumento na eficiência do processamento de dados. - Possibilidade de futuros aprimoramentos nos modelos disponibilizados.

Com a implementação do ONNX, a Unstructured promete uma experiência de instalação mais suave e a possibilidade de avanços significativos em suas capacidades de extração de dados. A equipe sugere que os usuários atualizem suas versões para aproveitar as novas melhorias e aguardem por mais inovações.

Em suma, a utilização do ONNX representa um passo importante para facilitar a instalação e operação de modelos de aprendizado de máquina. Os desenvolvedores são incentivados a explorar essas novas possibilidades e a se inscreverem na nossa newsletter para ficarem atualizados com as últimas inovações e conteúdos relevantes na área.

FONTES:

1. Repositório Detectron2 no GitHub

2. Documentação do Layout Parser

3. Unstructured Library