agri1.ai : Une approche bilatérale des LLM, chatGPT in Agriculture - Frontend & Embedding et Domain-Specific Large Language Model for Agriculture

Bienvenue dans le monde des LLMS tels que Claude, Llama et chatGPT en agriculture, bienvenue sur agri1.ai, une initiative qui vise à explorer le potentiel de l'intelligence artificielle (IA) dans l'industrie agricole. Alors que la population mondiale continue de croître, la demande de pratiques agricoles efficaces et durables est plus pressante que jamais. L'IA, avec sa capacité à analyser de grandes quantités de données et à faire des prédictions précises, pourrait changer la donne pour répondre à cette demande.

Introduction
État actuel d'agri1.ai
L'avenir d'agri1.ai & Domain-Specific Large Language Model for Agriculture (Modèle de langage large spécifique à un domaine pour l'agriculture)
LLM Open Source Approches et modèles
LLM existants dans le domaine de l'agriculture

Introduction

Avec agri1.aiDans le cadre de l'étude de faisabilité, nous adoptons une approche double pour exploiter la puissance de l'intelligence artificielle au service de l'agriculture. D'une part, nous développons une interface frontale qui utilise un grand modèle de langage (LLM) existant, en l'affinant, en l'intégrant et en le contextualisant avec des données publiques et internes. D'autre part, nous explorons la possibilité de créer notre propre LLM spécifique à l'agriculture.

Dans des environnements qui évoluent rapidement, tant en termes de climat que de marchés, le concept d'agri1.ai devient de plus en plus important. Cela est particulièrement vrai pour les grandes sociétés axées sur l'agriculture et les régions telles que le continent africain, où le manque de connaissances peut conduire à des défis importants dans le domaine de l'agriculture. L'une des missions d'agri1.ai est de s'attaquer à ces problèmes, en soutenant les petits exploitants dans leur lutte contre l'évolution rapide des conditions climatiques et en offrant une meilleure consultation pour les nouvelles cultures agricoles en fonction des conditions climatiques et des sols. Le manque d'éducation dans certaines parties du monde est également une motivation pour soutenir les agriculteurs à travers notre initiative.

L'état actuel d'agri1.ai : combler le fossé entre les humains et l'IA

Au cœur de notre initiative, agri1.ai sert de plateforme dynamique, comblant le fossé entre les humains dans l'agriculture et le monde des logiciels et algorithmes d'IA. Notre objectif principal est de faciliter une interaction transparente entre ces deux entités, en favorisant une relation symbiotique qui améliore l'efficacité et la durabilité des pratiques agricoles.

Actuellement, un gri1.ai fonctionne sur la base du GPT d'OpenAI, un modèle de langage large (LLM) de pointe. Nous avons partiellement adapté et affiné ce modèle pour mieux comprendre et générer des textes centrés sur l'agriculture, améliorant ainsi sa pertinence et son utilité pour nos utilisateurs. En outre, nous avons partiellement incorporé des données, en intégrant des données publiques et internes, afin d'améliorer la compréhension contextuelle du modèle dans le domaine de l'agriculture.

Dans le domaine de l'IA, la simplicité est souvent la clé du succès. Construire et déployer des applications d'IA peut être un processus complexe, et maintenir un sens de la simplicité dans nos opérations nous permet de nous concentrer sur la fourniture d'un service de haute qualité et convivial. En nous appuyant sur un LLM hébergé existant, nous sommes en mesure de tirer parti de la puissance de l'IA avancée tout en conservant un système rationalisé et efficace.

La gouvernance des données est l'une des pierres angulaires de nos activités. Nous reconnaissons l'importance cruciale de la gestion de la disponibilité, de l'utilisabilité, de l'intégrité et de la sécurité des données de nos utilisateurs. Cette approche globale de la gouvernance des données garantit non seulement la fiabilité et l'utilité des informations fournies par agri1.ai, mais répond également à des préoccupations clés telles que la conformité réglementaire, la protection de la vie privée, la qualité et la sécurité. Nous comprenons que les entreprises agroalimentaires ont des préoccupations valables concernant les fuites de données et la possibilité que les LLM soient formés sur des données internes, compromettant ainsi la souveraineté des données. Nous tenons à assurer nos utilisateurs que nous prenons ces préoccupations très au sérieux et que nous travaillons activement à l'élaboration de stratégies visant à résoudre ces problèmes.

Alors que nous continuons à affiner et à améliorer agri1.ai, nous explorons également la possibilité de créer un nouveau LLM en recyclant ou en affinant un LLM existant. Cette approche pourrait nous permettre de créer un modèle plus spécialisé et plus efficace pour l'agriculture.

L'avenir d'agri1.ai : Modèle de langage large spécifique à un domaine pour l'agriculture

Bien que nous soyons fiers de ce que nous avons réalisé avec agri1.ai jusqu'à présent, nous ne nous arrêtons pas là. Nous explorons également la possibilité de créer notre propre LLM spécifique au domaine de l'agriculture. Ce modèle, que nous appelons agriLLM (titre provisoire), serait formé sur une grande quantité de données textuelles liées à l'agriculture, ce qui en ferait un expert du langage et des nuances de l'industrie agricole.

La création d'agriLLM sera un processus complexe, impliquant la collecte de données, le nettoyage et le prétraitement des données, la sélection du modèle, l'entraînement du modèle, l'affinage, l'évaluation et le test, et le déploiement. Nous prévoyons également d'impliquer des experts dans divers domaines de l'agriculture pour nous aider à créer des ensembles de données d'entraînement détaillés et à affiner le modèle.

Collecte de données: La première étape de la construction d'un LLM spécifique au domaine de l'agriculture consiste à collecter une grande quantité de données relatives à ce domaine. Il peut s'agir d'articles scientifiques, de documents de recherche, de guides agricoles, de rapports météorologiques, de données sur le rendement des cultures, etc. Les données doivent couvrir un large éventail de sujets liés à l'agriculture afin de garantir que le modèle est bien équilibré et qu'il connaît tous les aspects du domaine. Des outils tels que le "web scraping" peuvent être utilisés pour automatiser le processus de collecte de données à partir de diverses sources en ligne.
Prétraitement des données: Une fois les données collectées, elles doivent être prétraitées pour les préparer à la formation du LLM. Cela implique le nettoyage des données (suppression des doublons, correction des valeurs manquantes ou incorrectes), la normalisation (conversion de tout le texte en minuscules, suppression de la ponctuation et des mots vides) et la tokenisation (décomposition du texte en mots ou phrases individuels pour créer le vocabulaire du modèle linguistique).
Sélection et configuration du modèle: L'étape suivante consiste à choisir une architecture de modèle appropriée pour le LLM. Les modèles basés sur des transformateurs comme GPT-3 et BERT sont des choix populaires en raison de leur capacité à traiter de longues séquences de texte et à générer des sorties de haute qualité. La configuration du modèle, y compris le nombre de couches, les têtes d'attention, la fonction de perte et les hyperparamètres, doit être spécifiée à ce stade.
Modèle de formation: Le modèle est ensuite entraîné sur les données prétraitées. Il s'agit de présenter au modèle des séquences de mots et de l'entraîner à prédire le mot suivant dans la séquence. Le modèle ajuste ses poids en fonction de la différence entre sa prédiction et le mot suivant réel. Ce processus est répété des millions de fois jusqu'à ce que le modèle atteigne un niveau de performance satisfaisant.
Évaluation et mise au point: Après la formation initiale, le modèle est évalué sur un ensemble de données de test distinct. En fonction des résultats de l'évaluation, le modèle peut nécessiter une mise au point. Il peut s'agir d'ajuster ses hyperparamètres, de modifier l'architecture ou de s'entraîner sur des données supplémentaires afin d'améliorer ses performances.
Mise au point spécifique à un domaine: Pour que le LLM soit spécifique à l'agriculture, il est affiné sur les données spécifiques au domaine collectées lors de la première étape. Cela permet au modèle de comprendre la terminologie, le contexte et les nuances propres au domaine de l'agriculture.
Intégration avec agri1.ai: Une fois que le LLM spécifique au domaine est prêt, il est intégré au système agri1.ai. Cela implique la mise en place des API et des interfaces nécessaires pour permettre à agri1.ai d'exploiter les capacités du nouveau LLM.
Tests auprès des utilisateurs et retour d'information: Le système agri1.ai mis à jour est ensuite testé par les utilisateurs finaux. Leurs commentaires sont recueillis et utilisés pour identifier les problèmes ou les domaines à améliorer.
Amélioration continue: Sur la base des commentaires des utilisateurs, le LLM est continuellement mis à jour et amélioré. Il peut s'agir d'un réglage plus fin, de l'ajout de données supplémentaires à l'ensemble d'apprentissage ou d'une modification de l'architecture du modèle.
Suivi et maintenance: Enfin, les performances du LLM sont contrôlées en permanence pour s'assurer qu'il fournit des résultats précis et utiles. Une maintenance régulière est également effectuée pour assurer le bon fonctionnement du système.

La construction d'un LLM spécifique à un domaine agricole est une tâche complexe mais réalisable. Elle implique une série d'étapes allant de la collecte de données à l'amélioration continue. En suivant ce processus, nous visons à développer un LLM qui peut fournir des informations précises, pertinentes et utiles aux utilisateurs de l'industrie agricole.

Approches et modèles de sources ouvertes

Nous suivons de près l'évolution de la communauté de l'IA au sens large. Une ressource que nous avons trouvée particulièrement utile est le site Web de l Classement LMSYSqui classe divers LLM en fonction de leurs performances. Certains des modèles figurant dans ce classement, tels que le GPT-4 d'OpenAI et le Claude-v1 d'Anthropic, pourraient potentiellement servir de base à l'agriLLM.

Cependant, nous sommes également conscients de l'écart qui existe entre les modèles propriétaires et les modèles libres. Si les modèles propriétaires tels que GPT-4 sont actuellement en tête du peloton, nous sommes optimistes quant au potentiel de rattrapage des modèles open-source. L'un de ces modèles est MosaicML, qui fournit une plateforme flexible et modulaire pour les modèles d'apprentissage automatique, et qui pourrait être utilisé pour entraîner notre propre LLM.

MosaicML offre une série de caractéristiques qui pourraient être bénéfiques pour le développement d'agriLLM. Il permet d'entraîner des modèles à plusieurs milliards de paramètres en quelques heures, et non en quelques jours, et offre une mise à l'échelle efficace à grande échelle. Il permet également d'améliorer automatiquement les performances, ce qui permet aux utilisateurs de rester à la pointe de l'efficacité. La plateforme MosaicML permet d'entraîner de grands modèles de langage à grande échelle à l'aide d'une seule commande, et elle assure une reprise automatique en cas de défaillance d'un nœud ou de pic de perte, ce qui pourrait être particulièrement utile pour les longues durées d'entraînement associées à de grands modèles tels qu'agriLLM.

LLM existants dans le domaine de l'agriculture

Dans le cadre de nos recherches, nous avons découvert un modèle spécifique à l'agriculture, appelé AgricultureBERT, un modèle linguistique basé sur BERT qui a été pré-entraîné à partir du point de contrôle de SciBERT. Ce modèle a été entraîné sur un ensemble de données équilibré de travaux scientifiques et généraux dans le domaine de l'agriculture, englobant des connaissances provenant de différents domaines de la recherche agricole et des connaissances pratiques.

Le corpus utilisé pour former AgricultureBERT contient 1,2 million de paragraphes de la National Agricultural Library (NAL) du gouvernement américain et 5,3 millions de paragraphes de livres et de littérature courante du domaine de l'agriculture. Le modèle a été entraîné à l'aide de l'approche d'apprentissage auto-supervisé de la modélisation du langage masqué (MLM), qui consiste à masquer 15% des mots de la phrase d'entrée et à demander au modèle de prédire les mots masqués. Cette approche permet au modèle d'apprendre une représentation bidirectionnelle de la phrase, ce qui est différent des réseaux neuronaux récurrents traditionnels (RNN) qui voient généralement les mots l'un après l'autre, ou des modèles autorégressifs comme le GPT qui masque en interne les futurs tokens.

Ce modèle existant peut fournir des informations précieuses et servir de point de départ utile, notre objectif ultime chez agri1.ai est de développer notre propre LLM spécifique au domaine de l'agriculture. Nous pensons qu'en faisant cela, nous pouvons créer un modèle qui est encore plus adapté aux besoins de l'industrie agricole et qui peut fournir des informations encore plus précises et pertinentes à nos utilisateurs.

Keep It Agile : le voyage continue

Dans le domaine de l'IA, qui évolue rapidement, l'apprentissage et l'adaptation continus sont essentiels. Ce voyage a été une expérience d'apprentissage profonde, en particulier pour moi, Max.

Comprendre les façons uniques dont les utilisateurs interagissent avec l'IA dans le contexte agricole a été à la fois instructif et éclairant. Chaque requête que nous recevons de la part d'agriculteurs du monde entier nous donne des indications précieuses sur les défis réels qu'agri1.ai peut relever. Notre approche est itérative - nous observons les interactions des utilisateurs, nous dialoguons avec eux, nous développons des solutions, nous les expédions, puis nous les réévaluons.

Ce cycle nous permet d'affiner et d'améliorer constamment notre produit, en veillant à ce qu'il reste pertinent et utile pour nos utilisateurs. Nous sommes enthousiasmés par le potentiel d'amélioration de l'interface utilisateur (UI) et de l'expérience utilisateur (UX) pour améliorer encore la convivialité d'agri1.ai . Le rythme de développement dans le domaine de l'IA est époustouflant, avec de nouveaux modèles et de nouvelles technologies qui émergent régulièrement. Nous nous engageons à rester au fait de ces développements, en explorant comment nous pouvons les exploiter pour améliorer agri1.ai et mieux servir les agriculteurs et les agro-industries dans le monde entier.

Je reconnais que ce n'est que le début. L'aventure d'agri1.ai est un processus continu, et je m'engage à continuer à apprendre, à m'adapter et à m'améliorer. Je suis enthousiasmé par le potentiel de l'IA à transformer l'agriculture, et je suis reconnaissant d'avoir l'opportunité de faire partie de ce voyage. Je vous remercie de vous joindre à nous dans cette aventure.