agri1.ai: Ett tvåsidigt tillvägagångssätt för LLM, chatGPT inom jordbruk - Frontend & Embedding och domänspecifik Large Language Model för jordbruk

Välkommen till en värld av LLMS som Claude, Llama och chatGPT inom jordbruk, välkommen till agri1.ai, ett initiativ som syftar till att utforska potentialen hos artificiell intelligens (AI) inom jordbruksindustrin. I takt med att den globala befolkningen fortsätter att växa är efterfrågan på effektiva och hållbara jordbruksmetoder mer angelägen än någonsin. AI, med sin förmåga att analysera stora mängder data och göra exakta förutsägelser, kan vara en avgörande faktor för att möta denna efterfrågan.

Inledning
Nuvarande tillstånd för agri1.ai
Framtiden för agri1.ai & domänspecifik stor språkmodell för jordbruk
LLM - metoder och modeller med öppen källkod
Befintliga LLM i jordbruk

Inledning

Med agri1.aitar vi ett dubbelsidigt grepp för att utnyttja kraften i AI för jordbruk. Å ena sidan utvecklar vi ett frontend-gränssnitt som använder en befintlig Large Language Model (LLM), finjusterar den, bäddar in den och kontextualiserar den med offentliga och interna data. Å andra sidan undersöker vi möjligheten att skapa vår egen domänspecifika LLM för jordbruk.

I snabbt föränderliga miljöer, både vad gäller klimat och marknader, blir konceptet agri1.ai allt viktigare. Detta gäller särskilt för stora jordbruksdrivna samhällen och regioner som den afrikanska kontinenten, där brist på kunskap kan leda till betydande utmaningar inom jordbruket. Ett av uppdragen för agri1.ai är att ta itu med dessa frågor, stödja småskaliga jordbrukare i deras kamp med snabbt föränderliga klimatförhållanden och tillhandahålla bättre rådgivning för nya jordbrukskulturer beroende på klimat- och markförhållanden. Bristen på utbildning i vissa delar av världen är också en motivation för oss att stödja jordbrukare genom vårt initiativ.

Det aktuella läget för agri1.ai: Att överbrygga klyftan mellan människor och AI

Kärnan i vårt initiativ är agri1.ai, en dynamisk plattform som överbryggar klyftan mellan människor inom jordbruket och världen av AI-programvara och algoritmer. Vårt primära mål är att underlätta en sömlös interaktion mellan dessa två enheter och främja ett symbiotiskt förhållande som förbättrar effektiviteten och hållbarheten i jordbruksmetoderna.

För närvarande, a gri1.ai bygger på OpenAI:s GPT, en banbrytande stor språkmodell (LLM). Vi har delvis anpassat och finjusterat denna modell för att bättre förstå och generera jordbrukscentrerad text, vilket förbättrar dess relevans och användbarhet för våra användare. Dessutom har vi delvis införlivat inbäddade data, integrerat både offentliga och interna data, för att öka modellens kontextuella förståelse av jordbruksdomänen.

När det gäller AI är enkelhet ofta nyckeln till framgång. Att bygga och driftsätta AI-applikationer kan vara en komplex process, och genom att behålla en känsla av enkelhet i vår verksamhet kan vi fokusera på att leverera en högkvalitativ och användarvänlig tjänst. Genom att bygga vidare på en befintlig, hostad LLM kan vi utnyttja kraften i avancerad AI samtidigt som vi behåller ett strömlinjeformat och effektivt system.

En av hörnstenarna i vår verksamhet är datastyrning. Vi inser den kritiska betydelsen av att hantera tillgänglighet, användbarhet, integritet och säkerhet för våra användares data. Detta omfattande tillvägagångssätt för datastyrning säkerställer inte bara tillförlitligheten och användbarheten hos den information som tillhandahålls av agri1.ai utan tar också upp viktiga frågor som regelefterlevnad, integritet, kvalitet och säkerhet. Vi förstår att jordbruksföretag har berättigade farhågor om dataläckage och risken för att LLM utbildas på interna data, vilket äventyrar datasuveräniteten. Vi vill försäkra våra användare om att vi tar denna oro på största allvar och att vi aktivt arbetar med strategier för att ta itu med dessa frågor.

När vi fortsätter att förfina och förbättra agri1.ai undersöker vi också möjligheten att skapa en ny LLM genom att omskola eller finjustera en befintlig LLM. Detta tillvägagångssätt skulle kunna göra det möjligt för oss att skapa en mer specialiserad och effektiv modell för jordbruket.

Framtiden för agri1.ai: Domänspecifik stor språkmodell för jordbruk

Vi är stolta över vad vi har åstadkommit med agri1.ai hittills, men vi tänker inte stanna där. Vi undersöker också möjligheten att skapa vår egen domänspecifika LLM för jordbruk. Den här modellen, som vi kallar agriLLM (arbetsnamn), skulle tränas på en stor mängd jordbruksrelaterade textdata, vilket gör den till en expert på språket och nyanserna inom jordbruksindustrin.

Att skapa agriLLM kommer att vara en komplex process som omfattar datainsamling, datarengöring och förbehandling, modellval, modellutbildning, finjustering, utvärdering och testning samt driftsättning. Vi planerar också att involvera experter inom olika områden av jordbruket för att hjälpa oss att bygga detaljerade träningsdatauppsättningar och finjustera modellen.

Insamling av uppgifter: Det första steget i att bygga en domänspecifik LLM för jordbruk innebär att samla in en stor mängd data som är relevanta för området. Detta kan inkludera vetenskapliga artiklar, forskningsrapporter, jordbruksguider, väderrapporter, skördedata med mera. Uppgifterna bör täcka ett brett spektrum av ämnen inom jordbruk för att säkerställa att modellen är väl avrundad och kunnig inom alla aspekter av området. Verktyg som web scraping kan användas för att automatisera datainsamlingsprocessen från olika onlinekällor.
Förbehandling av data: När data har samlats in måste de förbehandlas för att förberedas för LLM-träning. Detta innebär rensning av data (ta bort dubbletter, korrigera saknade eller felaktiga värden), normalisering (konvertera all text till gemener, ta bort skiljetecken och stoppord) och tokenisering (dela upp texten i enskilda ord eller fraser för att skapa vokabulären för språkmodellen).
Val av modell och konfiguration: Nästa steg är att välja en lämplig modellarkitektur för LLM. Transformatorbaserade modeller som GPT-3 och BERT är populära val på grund av deras förmåga att hantera långa textsekvenser och generera högkvalitativa utdata. Modellkonfigurationen, inklusive antalet lager, uppmärksamhetshuvuden, förlustfunktion och hyperparametrar, måste specificeras i detta skede.
Utbildning av modeller: Modellen tränas sedan på de förbehandlade uppgifterna. Detta innebär att modellen presenteras med sekvenser av ord och tränas i att förutsäga nästa ord i sekvensen. Modellen justerar sina vikter baserat på skillnaden mellan dess förutsägelse och det faktiska nästa ordet. Denna process upprepas miljontals gånger tills modellen har uppnått en tillfredsställande prestanda.
Utvärdering och finjustering: Efter den inledande träningen utvärderas modellen på ett separat testdataset. Baserat på utvärderingsresultaten kan modellen behöva finjusteras. Det kan handla om att justera dess hyperparametrar, ändra arkitekturen eller träna på ytterligare data för att förbättra dess prestanda.
Domänspecifik finjustering: För att göra LLM-modellen specifik för jordbruk finjusteras den med hjälp av de domänspecifika data som samlats in i det första steget. Detta hjälper modellen att förstå den unika terminologin, sammanhanget och nyanserna i jordbruksdomänen.
Integration med agri1.ai: När den domänspecifika LLM är klar integreras den med agri1.ai-systemet. Detta innebär att man skapar de API:er och gränssnitt som krävs för att agri1.ai ska kunna utnyttja den nya LLM:ens funktioner.
Användartester och feedback: Det uppdaterade agri1.ai-systemet testas sedan av slutanvändare. Deras feedback samlas in och används för att identifiera eventuella problem eller förbättringsområden.
Kontinuerlig förbättring: LLM uppdateras och förbättras kontinuerligt baserat på feedback från användarna. Det kan handla om ytterligare finjustering, att lägga till mer data i träningsuppsättningen eller att justera modellarkitekturen.
Övervakning och underhåll: Slutligen övervakas LLM:s prestanda kontinuerligt för att säkerställa att den ger korrekta och användbara resultat. Regelbundet underhåll utförs också för att systemet ska fungera smidigt.

Att bygga upp en domänspecifik LLM för jordbruk är en komplex men uppnåelig uppgift. Det innebär en rad steg från datainsamling till kontinuerlig förbättring. Genom att följa denna process strävar vi efter att utveckla en LLM som kan ge korrekt, relevant och användbar information till användare inom jordbruksindustrin.

Tillvägagångssätt och modeller för öppen källkod

Vi håller ett vakande öga på utvecklingen inom AI-området. En resurs som vi har funnit särskilt användbar är LMSYS topplistasom rankar olika LLM-modeller baserat på deras prestanda. Några av modellerna på denna topplista, till exempel OpenAI:s GPT-4 och Anthropics Claude-v1, skulle potentiellt kunna användas som grund för agriLLM.

Men vi är också medvetna om klyftan mellan proprietära modeller och modeller med öppen källkod. Även om egenutvecklade modeller som GPT-4 för närvarande är ledande, är vi optimistiska när det gäller möjligheten för modeller med öppen källkod att komma ikapp. En sådan öppen källkodsmodell är MosaicML, som tillhandahåller en flexibel och modulär plattform för maskininlärningsmodeller, och som potentiellt skulle kunna användas för att träna vår egen LLM.

MosaikML erbjuder en rad funktioner som kan vara till nytta för utvecklingen av agriLLM. Det gör det möjligt att träna modeller med flera miljarder parametrar på timmar, inte dagar, och erbjuder effektiv skalning i stora skalor. Det ger också automatiserade prestandaförbättringar, så att användarna kan hålla sig i framkant när det gäller effektivitet. MosaicML:s plattform stöder träning av stora språkmodeller i stor skala med ett enda kommando, och den ger automatisk återupptagning från nodfel och förlustspikar, vilket kan vara särskilt användbart för de långa träningstider som är förknippade med stora modeller som agriLLM.

Befintliga LLM i jordbruk

I vår forskning har vi stött på en specifik modell för jordbruk, kallad AgricultureBERT, en BERT-baserad språkmodell som har förutbildats ytterligare från kontrollpunkten för SciBERT. Denna modell tränades på en balanserad dataset av vetenskapliga och allmänna verk inom jordbruksdomänen, som omfattar kunskap från olika områden inom jordbruksforskning och praktisk kunskap.

Den korpus som användes för att träna AgricultureBERT innehåller 1,2 miljoner stycken från National Agricultural Library (NAL) från den amerikanska regeringen och 5,3 miljoner stycken från böcker och vanlig litteratur från Agriculture Domain. Modellen tränades med hjälp av den självövervakande inlärningsmetoden Masked Language Modeling (MLM), som innebär att 15% av orden i den inmatade meningen maskeras och sedan låter modellen förutsäga de maskerade orden. Detta tillvägagångssätt gör att modellen kan lära sig en dubbelriktad representation av meningen, vilket skiljer sig från traditionella återkommande neurala nätverk (RNN) som vanligtvis ser orden efter varandra, eller från autoregressiva modeller som GPT som internt maskerar de framtida tokens.

Denna befintliga modell kan ge värdefulla insikter och fungera som en användbar utgångspunkt, men vårt slutmål på agri1.ai är att utveckla vår egen domänspecifika LLM för jordbruk. Vi tror att vi genom att göra det kan skapa en modell som är ännu mer anpassad till jordbruksbranschens behov och som kan ge ännu mer korrekt och relevant information till våra användare.

Håll det agilt: Resan fortsätter

Inom det snabbt föränderliga AI-området är kontinuerligt lärande och anpassning avgörande. Den här resan har varit mycket lärorik, särskilt för mig, Max.

Att förstå de unika sätt på vilka användare interagerar med AI i jordbrukssammanhang har varit både upplysande och lärorikt. Varje förfrågan vi får från lantbrukare världen över ger oss ovärderliga insikter om de verkliga utmaningar som agri1.ai kan hantera. Vår metod är iterativ - vi observerar användarinteraktioner, för en dialog med användarna, utvecklar lösningar, skickar dem och gör sedan en ny bedömning.

Denna cykel gör det möjligt för oss att ständigt förfina och förbättra vår produkt, så att den förblir relevant och användbar för våra användare. Vi är glada över potentialen i förbättringar av användargränssnittet (UI) och användarupplevelsen (UX) för att ytterligare förbättra användbarheten av agri1.ai. Utvecklingstakten inom AI är hisnande, med nya modeller och tekniker som dyker upp regelbundet. Vi är fast beslutna att hålla oss uppdaterade om denna utveckling och utforska hur vi kan utnyttja dem för att förbättra agri1.ai och ge bättre service till jordbrukare och jordbruksföretag över hela världen.

Jag är medveten om att detta bara är början. Utvecklingen av agri1.ai är en pågående process, och jag är fast besluten att fortsätta lära mig, anpassa mig och förbättra mig. Jag ser fram emot AI:s potential att förändra jordbruket, och jag är tacksam för möjligheten att få vara en del av denna resa. Tack för att du följer med oss på detta äventyr.