agri1.ai: IA Dupla para Agricultura com LLM & ChatGPT

Agri1.ai: Desbloqueando o Potencial da IA na Agricultura

Bem-vindo ao mundo dos LLMs como Claude, Llama e ChatGPT na agricultura, bem-vindo ao agri1.ai, uma iniciativa que visa explorar o potencial da inteligência artificial (IA) na indústria da agricultura. À medida que a população global continua a crescer, a procura por práticas de agricultura eficientes e sustentáveis é mais premente do que nunca. A IA, com a sua capacidade de analisar vastas quantidades de dados e fazer previsões precisas, pode ser um divisor de águas para atender a essa demanda.

Estratégia Dupla de IA da Agri1.ai

Com o agri1.ai, estamos a adotar uma abordagem de dois lados para aproveitar o poder da IA na agricultura. Por um lado, estamos a desenvolver uma interface frontend que utiliza um Modelo de Linguagem Grande (LLM) existente, ajustando-o, incorporando-o e contextualizando-o com dados públicos e internos. Por outro lado, estamos a explorar a possibilidade de criar o nosso próprio LLM específico para o domínio da agricultura.

Em ambientes em rápida mudança, tanto em termos de clima quanto de mercados, o conceito de agri1.ai torna-se cada vez mais importante. Isso é especialmente verdade para grandes sociedades e regiões impulsionadas pela agricultura, como o continente africano, onde a falta de conhecimento pode levar a desafios significativos na agricultura. Uma das missões do agri1.ai é abordar essas questões, apoiando pequenos agricultores na sua luta contra as condições climáticas em rápida mudança e fornecendo melhor consultoria para novas culturas agrícolas, dependendo das condições climáticas e do solo. A falta de educação em certas partes do mundo também é uma motivação para apoiarmos os agricultores através da nossa iniciativa.

O Estado Atual do Agri1.ai: Pontuando a Lacuna Entre Humanos e IA

No centro da nossa iniciativa, o agri1.ai serve como uma plataforma dinâmica, pontuando a lacuna entre os humanos na agricultura e o mundo do software e algoritmos de IA. O nosso objetivo principal é facilitar uma interação contínua entre essas duas entidades, promovendo uma relação simbiótica que melhora a eficiência e a sustentabilidade das práticas agrícolas.

Atualmente, o agri1.aigri1.ai opera na base do GPT da OpenAI, um Modelo de Linguagem Grande (LLM) de ponta. Adaptamos parcialmente, ajustamos este modelo para compreender e gerar melhor texto centrado na agricultura, aumentando a sua relevância e utilidade para os nossos utilizadores. Além disso, incorporamos parcialmente embeddings de dados, integrando dados públicos e internos, para aumentar a compreensão contextual do modelo do domínio agrícola.

No domínio da IA, a simplicidade é frequentemente a chave para o sucesso. Construir e implementar aplicações de IA pode ser um processo complexo, e manter um sentido de simplicidade nas nossas operações permite-nos focar-nos em fornecer um serviço de alta qualidade e fácil de usar. Ao construir sobre um LLM existente e hospedado, somos capazes de alavancar o poder da IA avançada, mantendo um sistema simplificado e eficiente.

Um dos pilares da nossa operação é a governança de dados. Reconhecemos a importância crítica de gerir a disponibilidade, usabilidade, integridade e segurança dos dados dos nossos utilizadores. Esta abordagem abrangente à governança de dados não só garante a fiabilidade e utilidade da informação fornecida pelo agri1.ai, mas também aborda preocupações chave como a conformidade regulamentar, privacidade, qualidade e segurança. Compreendemos que as empresas do agronegócio têm preocupações válidas sobre fugas de dados e o potencial de LLMs serem treinados em dados internos, comprometendo a soberania dos dados. Queremos assegurar aos nossos utilizadores que levamos estas preocupações muito a sério e estamos ativamente a trabalhar em estratégias para abordar estas questões.

À medida que continuamos a refinar e a melhorar o agri1.ai, também estamos a explorar a possibilidade de criar um novo LLM através do retreinamento ou do ajuste fino de um LLM existente. Esta abordagem poderia potencialmente permitir-nos criar um modelo mais especializado e eficaz para a Agricultura.

O Futuro do agri1.ai: Modelo de Linguagem Grande Específico de Domínio para a Agricultura

Embora estejamos orgulhosos do que alcançámos com o agri1.ai até agora, não vamos parar por aqui. Estamos também a explorar a possibilidade de criar o nosso próprio LLM específico de domínio para a Agricultura. Este modelo, que estamos a chamar agriLLM (título de trabalho), seria treinado numa grande quantidade de dados de texto relacionados com a Agricultura, tornando-o um especialista na linguagem e nas nuances da indústria agrícola.

Criar o agriLLM será um processo complexo, envolvendo recolha de dados, limpeza e pré-processamento de dados, seleção de modelos, treino de modelos, ajuste fino, avaliação e testes, e implementação. Estamos também a planear envolver especialistas em vários campos da Agricultura para nos ajudar a construir conjuntos de dados de treino detalhados e a ajustar o modelo.

Construir um LLM específico de domínio para a Agricultura é uma tarefa complexa, mas alcançável. Envolve uma série de passos, desde a recolha de dados até à melhoria contínua. Ao seguir este processo, pretendemos desenvolver um LLM que possa fornecer informações precisas, relevantes e úteis aos utilizadores na indústria da Agricultura.

Abordagens e Modelos de Código Aberto

Estamos a acompanhar de perto os desenvolvimentos na comunidade de IA em geral. Um recurso que achámos particularmente útil é o LMSYS leaderboard, que classifica vários LLMs com base no seu desempenho. Alguns dos modelos neste leaderboard, como o GPT-4 da OpenAI e o Claude-v1 da Anthropic, poderiam potencialmente ser usados como base para o agriLLM.

No entanto, também estamos cientes da lacuna entre modelos proprietários e de código aberto. Embora modelos proprietários como o GPT-4 atualmente liderem o grupo, estamos otimistas quanto ao potencial dos modelos de código aberto para alcançá-los. Um desses modelos de código aberto é o MosaicML, que fornece uma plataforma flexível e modular para modelos de aprendizado de máquina, e poderia potencialmente ser usado para treinar nosso próprio LLM.

O MosaicML oferece uma gama de recursos que poderiam ser benéficos para o desenvolvimento do agriLLM. Ele permite o treinamento de modelos com bilhões de parâmetros em horas, não em dias, e oferece escalabilidade eficiente em grandes escalas. Ele também fornece aprimoramentos de desempenho automatizados, permitindo que os usuários permaneçam na vanguarda da eficiência. A plataforma do MosaicML suporta o treinamento de grandes modelos de linguagem em escala com um único comando, e fornece retomada automática de falhas de nós e picos de perda, o que poderia ser particularmente útil para os longos tempos de treinamento associados a modelos grandes como o agriLLM.

Em nossa pesquisa, encontramos um modelo específico para Agricultura, nomeado AgricultureBERT, um modelo de linguagem baseado em BERT que foi pré-treinado a partir do checkpoint do SciBERT. Este modelo foi treinado em um conjunto de dados balanceado de trabalhos científicos e gerais no domínio da Agricultura, abrangendo conhecimento de diferentes áreas de pesquisa em Agricultura e conhecimento prático.

O corpus usado para treinar o AgricultureBERT contém 1,2 milhão de parágrafos da National Agricultural Library (NAL) do Governo dos EUA e 5,3 milhões de parágrafos de livros e literatura comum do Domínio da Agricultura. O modelo foi treinado usando a abordagem de aprendizado auto-supervisionado de Masked Language Modeling (MLM), que envolve mascarar 15% das palavras na frase de entrada e, em seguida, fazer com que o modelo preveja as palavras mascaradas. Essa abordagem permite que o modelo aprenda uma representação bidirecional da frase, o que é diferente das redes neurais recorrentes (RNNs) tradicionais que geralmente veem as palavras uma após a outra, ou de modelos autorregressivos como o GPT que internamente mascaram os tokens futuros.

Este modelo existente pode fornecer insights valiosos e servir como um ponto de partida útil. Nosso objetivo final na agri1.ai é desenvolver nosso próprio LLM específico para o domínio da Agricultura. Acreditamos que, ao fazer isso, podemos criar um modelo que seja ainda mais adaptado às necessidades da indústria da Agricultura e que possa fornecer informações ainda mais precisas e relevantes aos nossos usuários.

No campo da IA em rápida evolução, o aprendizado e a adaptação contínuos são fundamentais. Esta jornada tem sido uma experiência de aprendizado profunda, particularmente para mim, Max.

Compreender as formas únicas como os usuários interagem com a IA no contexto da Agricultura tem sido esclarecedor e instrutivo. Cada consulta que recebemos de agricultores em todo o mundo fornece insights inestimáveis sobre os desafios do mundo real que a agri1.ai pode abordar. Nossa abordagem é iterativa – observamos as interações dos usuários, engajamo-nos em diálogo com os usuários, desenvolvemos soluções, as implementamos e, em seguida, reavaliamos.

Este ciclo nos permite refinar e melhorar constantemente nosso produto, garantindo que ele permaneça relevante e útil para nossos usuários. Estamos entusiasmados com o potencial de aprimoramentos na interface do usuário (UI) e na experiência do usuário (UX) para melhorar ainda mais a usabilidade da agri1.ai. O ritmo de desenvolvimento na cena da IA é de tirar o fôlego, com novos modelos e tecnologias emergindo regularmente. Estamos comprometidos em acompanhar esses desenvolvimentos, explorando como podemos aproveitá-los para aprimorar a agri1.ai e servir melhor agricultores e agronegócios em todo o mundo.

Reconheço que este é apenas o começo. A jornada da agri1.ai é um processo contínuo, e estou comprometido em continuar aprendendo, adaptando-me e melhorando. Estou animado com o potencial da IA para transformar a Agricultura, e sou grato pela oportunidade de fazer parte desta jornada. Obrigado por se juntar a nós nesta aventura.

---

---

• MosaicML Research (2025) - Avaliação de LLMs Ultrarrápida para Aprendizagem In-Context. Com o MosaicML, pode agora avaliar LLMs em tarefas de aprendizagem in-context centenas de vezes mais rápido do que com outros sistemas de avaliação.