agri1.ai: Uma abordagem bilateral para LLMs, chatGPT na agricultura - front-end e incorporação e modelo de linguagem grande específico do domínio para agricultura

Bem-vindo ao mundo dos LLMS, como Claude, Llama e chatGPT na agricultura, bem-vindo ao agri1.ai, uma iniciativa que visa explorar o potencial da inteligência artificial (IA) no setor agrícola. Como a população global continua a crescer, a demanda por práticas agrícolas eficientes e sustentáveis é mais urgente do que nunca. A IA, com sua capacidade de analisar grandes quantidades de dados e fazer previsões precisas, pode ser um divisor de águas para atender a essa demanda.

Introdução
Estado atual do agri1.ai
O futuro do agri1.ai e o modelo de linguagem grande específico do domínio para a agricultura
Abordagens e modelos de código aberto do LLM
LLMs existentes em Agricultura

Introdução

Com agri1.aiEm um projeto de pesquisa, estamos adotando uma abordagem de dois lados para aproveitar o poder da IA para a agricultura. Por um lado, estamos desenvolvendo uma interface de front-end que usa um LLM (Large Language Model) existente, ajustando-o, incorporando-o e contextualizando-o com dados públicos e internos. Por outro lado, estamos explorando a possibilidade de criar nosso próprio LLM específico de domínio para a agricultura.

Em ambientes que mudam rapidamente, tanto em termos de clima quanto de mercados, o conceito de agri1.ai se torna cada vez mais importante. Isso é especialmente verdadeiro para grandes sociedades e regiões voltadas para a agricultura, como o continente africano, onde a falta de conhecimento pode levar a desafios significativos na agricultura. Uma das missões do agri1.ai é abordar esses problemas, apoiando os pequenos agricultores em sua luta contra as condições climáticas que mudam rapidamente e fornecendo melhores consultas para novas culturas agrícolas, dependendo das condições climáticas e do solo. A falta de educação em certas partes do mundo também é uma motivação para apoiarmos os agricultores por meio de nossa iniciativa.

O estado atual do agri1.ai: preenchendo a lacuna entre humanos e IA

No centro de nossa iniciativa, o agri1.ai funciona como uma plataforma dinâmica, fazendo a ponte entre os seres humanos na agricultura e o mundo dos softwares e algoritmos de IA. Nosso principal objetivo é facilitar uma interação perfeita entre essas duas entidades, promovendo um relacionamento simbiótico que aprimora a eficiência e a sustentabilidade das práticas agrícolas.

Atualmente, a gri1.ai opera com base no GPT da OpenAI, um modelo de linguagem grande (LLM) de ponta. Adaptamos parcialmente e ajustamos esse modelo para compreender melhor e gerar textos centrados na agricultura, aumentando sua relevância e utilidade para nossos usuários. Além disso, incorporamos parcialmente a incorporação de dados, integrando dados públicos e internos, para aumentar a compreensão contextual do modelo sobre o domínio agrícola.

No campo da IA, a simplicidade costuma ser a chave para o sucesso. A criação e a implementação de aplicativos de IA podem ser um processo complexo, e manter um senso de simplicidade em nossas operações nos permite focar no fornecimento de um serviço de alta qualidade e fácil de usar. Ao desenvolver um LLM hospedado existente, podemos aproveitar o poder da IA avançada e, ao mesmo tempo, manter um sistema simplificado e eficiente.

Um dos pilares de nossa operação é a governança de dados. Reconhecemos a importância fundamental de gerenciar a disponibilidade, a usabilidade, a integridade e a segurança dos dados de nossos usuários. Essa abordagem abrangente da governança de dados não apenas garante a confiabilidade e a utilidade das informações fornecidas pelo agri1.ai, mas também aborda as principais preocupações, como conformidade regulatória, privacidade, qualidade e segurança. Entendemos que os agronegócios têm preocupações válidas sobre o vazamento de dados e a possibilidade de os LLMs serem treinados em dados internos, comprometendo a soberania dos dados. Queremos assegurar aos nossos usuários que levamos essas preocupações muito a sério e que estamos trabalhando ativamente em estratégias para resolver esses problemas.

À medida que continuamos a refinar e aprimorar o agri1.ai , também estamos explorando a possibilidade de criar um novo LLM por meio de retreinamento ou ajuste fino de um LLM existente. Essa abordagem poderia nos permitir criar um modelo mais especializado e eficaz para a agricultura.

O futuro do agri1.ai: Modelo de linguagem grande específico do domínio para agricultura

Embora estejamos orgulhosos do que alcançamos com o agri1.ai até agora, não vamos parar por aí. Também estamos explorando a possibilidade de criar nosso próprio LLM específico de domínio para a agricultura. Esse modelo, que estamos chamando de agriLLM (título provisório), seria treinado em uma grande quantidade de dados de texto relacionados à agricultura, tornando-o um especialista na linguagem e nas nuances do setor agrícola.

A criação da agriLLM será um processo complexo, que envolve coleta de dados, limpeza e pré-processamento de dados, seleção de modelos, treinamento de modelos, ajuste fino, avaliação e teste e implantação. Também estamos planejando envolver especialistas em vários campos da agricultura para nos ajudar a criar conjuntos de dados de treinamento detalhados e ajustar o modelo.

Coleta de dados: A primeira etapa na criação de um LLM específico de domínio para a agricultura envolve a coleta de uma grande quantidade de dados relevantes para o campo. Isso pode incluir artigos científicos, trabalhos de pesquisa, guias agrícolas, relatórios meteorológicos, dados de rendimento de safra e muito mais. Os dados devem abranger uma ampla gama de tópicos da agricultura para garantir que o modelo seja completo e tenha conhecimento de todos os aspectos do campo. Ferramentas como web scraping podem ser usadas para automatizar o processo de coleta de dados de várias fontes on-line.
Pré-processamento de dados: Depois que os dados são coletados, eles precisam ser pré-processados para prepará-los para o treinamento do LLM. Isso envolve a limpeza dos dados (remoção de duplicatas, correção de valores ausentes ou incorretos), normalização (conversão de todo o texto em letras minúsculas, remoção de pontuação e palavras de parada) e tokenização (divisão do texto em palavras ou frases individuais para criar o vocabulário para o modelo de linguagem).
Seleção e configuração de modelos: A próxima etapa é escolher uma arquitetura de modelo adequada para o LLM. Os modelos baseados em transformadores, como GPT-3 e BERT, são escolhas populares devido à sua capacidade de lidar com longas sequências de texto e gerar resultados de alta qualidade. A configuração do modelo, incluindo o número de camadas, cabeças de atenção, função de perda e hiperparâmetros, precisa ser especificada nesse estágio.
Treinamento de modelos: O modelo é então treinado com os dados pré-processados. Isso envolve apresentar ao modelo sequências de palavras e treiná-lo para prever a próxima palavra na sequência. O modelo ajusta seus pesos com base na diferença entre sua previsão e a próxima palavra real. Esse processo é repetido milhões de vezes até que o modelo atinja um nível satisfatório de desempenho.
Avaliação e ajuste fino: Após o treinamento inicial, o modelo é avaliado em um conjunto de dados de teste separado. Com base nos resultados da avaliação, o modelo pode precisar de algum ajuste fino. Isso pode envolver o ajuste de seus hiperparâmetros, a alteração da arquitetura ou o treinamento em dados adicionais para melhorar seu desempenho.
Ajuste fino específico do domínio: Para tornar o LLM específico para a agricultura, ele é ajustado com base nos dados específicos do domínio coletados na primeira etapa. Isso ajuda o modelo a entender a terminologia, o contexto e as nuances exclusivos do domínio agrícola.
Integração com agri1.ai: Quando o LLM específico do domínio estiver pronto, ele será integrado ao sistema agri1.ai. Isso envolve a configuração das APIs e interfaces necessárias para permitir que o agri1.ai aproveite os recursos do novo LLM.
Teste e feedback do usuário: O sistema agri1.ai atualizado é então testado pelos usuários finais. Seus comentários são coletados e usados para identificar quaisquer problemas ou áreas de melhoria.
Melhoria contínua: Com base no feedback do usuário, o LLM é continuamente atualizado e aprimorado. Isso pode envolver um ajuste fino adicional, adicionando mais dados ao conjunto de treinamento ou ajustando a arquitetura do modelo.
Monitoramento e manutenção: Por fim, o desempenho do LLM é monitorado continuamente para garantir que ele esteja fornecendo resultados precisos e úteis. A manutenção regular também é realizada para manter o sistema funcionando sem problemas.

Criar um LLM específico de domínio para a agricultura é uma tarefa complexa, mas factível. Ela envolve uma série de etapas, desde a coleta de dados até o aprimoramento contínuo. Ao seguir esse processo, pretendemos desenvolver um LLM que possa fornecer informações precisas, relevantes e úteis aos usuários do setor agrícola.

Abordagens e modelos de código aberto

Estamos acompanhando de perto os desenvolvimentos na comunidade de IA em geral. Um recurso que consideramos particularmente útil é o Tabela de classificação do LMSYSque classifica vários LLMs com base em seu desempenho. Alguns dos modelos dessa tabela de classificação, como o GPT-4 da OpenAI e o Claude-v1 da Anthropic, poderiam ser usados como base para o agriLLM.

No entanto, também estamos cientes da diferença entre os modelos proprietários e de código aberto. Embora os modelos proprietários, como o GPT-4, liderem atualmente o grupo, estamos otimistas quanto ao potencial de recuperação dos modelos de código aberto. Um desses modelos de código aberto é o MosaicML, que oferece uma plataforma flexível e modular para modelos de aprendizado de máquina e poderia ser usado para treinar nosso próprio LLM.

MosaicML oferece uma série de recursos que podem ser benéficos para o desenvolvimento do agriLLM. Ele permite o treinamento de modelos de vários bilhões de parâmetros em horas, e não em dias, e oferece dimensionamento eficiente em grandes escalas. Também oferece aprimoramentos automatizados de desempenho, permitindo que os usuários permaneçam na vanguarda da eficiência. A plataforma do MosaicML permite o treinamento de modelos de linguagem grandes em escala com um único comando e oferece retomada automática em caso de falhas de nós e picos de perda, o que pode ser particularmente útil para os longos períodos de treinamento associados a modelos grandes como o agriLLM.

LLMs existentes em Agricultura

Em nossa pesquisa, encontramos um modelo específico para a agricultura, chamado AgricultureBERT, um modelo de linguagem baseado no BERT que foi pré-treinado a partir do ponto de verificação do SciBERT. Esse modelo foi treinado em um conjunto de dados equilibrado de trabalhos científicos e gerais no domínio da agricultura, abrangendo conhecimentos de diferentes áreas de pesquisa agrícola e conhecimentos práticos.

O corpus usado para treinar o AgricultureBERT contém 1,2 milhão de parágrafos da National Agricultural Library (NAL) do governo dos EUA e 5,3 milhões de parágrafos de livros e literatura comum do domínio da agricultura. O modelo foi treinado usando a abordagem de aprendizado autossupervisionado do MLM (Masked Language Modeling, modelagem de linguagem mascarada), que envolve o mascaramento de 15% das palavras na frase de entrada e, em seguida, a previsão das palavras mascaradas pelo modelo. Essa abordagem permite que o modelo aprenda uma representação bidirecional da frase, o que é diferente das redes neurais recorrentes (RNNs) tradicionais, que geralmente veem as palavras uma após a outra, ou de modelos autorregressivos como o GPT, que mascara internamente os tokens futuros.

Esse modelo existente pode fornecer insights valiosos e servir como um ponto de partida útil, mas nosso objetivo final na agri1.ai é desenvolver nosso próprio LLM específico de domínio para a agricultura. Acreditamos que, com isso, poderemos criar um modelo ainda mais adaptado às necessidades do setor agrícola e que poderá fornecer informações ainda mais precisas e relevantes aos nossos usuários.

Keep It Agile: a jornada continua

No campo em rápida evolução da IA, o aprendizado e a adaptação contínuos são fundamentais. Essa jornada tem sido uma profunda experiência de aprendizado, especialmente para mim, Max.

Compreender as maneiras exclusivas pelas quais os usuários interagem com a IA no contexto agrícola tem sido esclarecedor e instrutivo. Cada consulta que recebemos de agricultores de todo o mundo fornece informações valiosas sobre os desafios do mundo real que o agri1.ai pode resolver. Nossa abordagem é iterativa - observamos as interações dos usuários, dialogamos com eles, desenvolvemos soluções, as enviamos e depois reavaliamos.

Esse ciclo nos permite aperfeiçoar e melhorar constantemente nosso produto, garantindo que ele permaneça relevante e útil para nossos usuários. Estamos entusiasmados com o potencial dos aprimoramentos da interface do usuário (UI) e da experiência do usuário (UX) para melhorar ainda mais a usabilidade do agri1.ai. O ritmo de desenvolvimento no cenário da IA é impressionante, com novos modelos e tecnologias surgindo regularmente. Temos o compromisso de nos mantermos a par desses desenvolvimentos, explorando como podemos aproveitá-los para aprimorar o agri1.ai e atender melhor aos agricultores e agronegócios em todo o mundo.

Reconheço que este é apenas o começo. A jornada do agri1.ai é um processo contínuo, e tenho o compromisso de continuar aprendendo, adaptando e melhorando. Estou entusiasmado com o potencial da IA para transformar a agricultura e sou grato pela oportunidade de fazer parte dessa jornada. Obrigado por se juntar a nós nesta aventura.