agri1.ai: Maatalouden chatGPT - Frontend & Embedding and Domain-Specific Large Language Model for Agriculture

Tervetuloa LLMS:n, kuten Clauden, laaman ja chatGPT:n maailmaan maataloudessa, tervetuloa agri1.ai:hin, aloitteeseen, jonka tavoitteena on tutkia tekoälyn (AI) mahdollisuuksia maatalousalalla. Kun maailman väestö jatkaa kasvuaan, tehokkaiden ja kestävien maatalouskäytäntöjen kysyntä on entistäkin kiireellisempää. Tekoäly, joka kykenee analysoimaan valtavia tietomääriä ja tekemään tarkkoja ennusteita, voi olla käänteentekevä tekijä tähän kysyntään vastaamisessa.

Johdanto
Agri1.ai:n nykytila
Agri1.ai:n tulevaisuus & maatalouden suurkielinen aluekohtainen kielimalli (Large Language Model for Agriculture)
LLM Avoimen lähdekoodin lähestymistavat ja mallit
Olemassa olevat LLM:t maataloudessa

Johdanto

Osoitteessa agri1.aiotamme kaksipuolisen lähestymistavan tekoälyn voiman hyödyntämiseen maataloudessa. Toisaalta kehitämme käyttöliittymää, jossa käytetään olemassa olevaa suurta kielimallia (Large Language Model, LLM), hienosäädämme sitä, upotamme sen ja yhdistämme sen julkisiin ja sisäisiin tietoihin. Toisaalta tutkimme mahdollisuutta luoda oma alakohtainen LLM maataloutta varten.

Nopeasti muuttuvissa ympäristöissä, sekä ilmaston että markkinoiden osalta, agri1.ai:n käsite on yhä tärkeämpi. Tämä pätee erityisesti suurissa maatalousvaltaisissa yhteiskunnissa ja Afrikan mantereen kaltaisilla alueilla, joilla tiedon puute voi johtaa merkittäviin haasteisiin maataloudessa. Yksi agri1.ai:n tehtävistä on puuttua näihin ongelmiin tukemalla pienviljelijöitä heidän kamppailussaan nopeasti muuttuvien ilmasto-olosuhteiden kanssa ja tarjoamalla parempaa neuvontaa uusista maatalouskulttuureista ilmasto- ja maaperäolosuhteiden mukaan. Koulutuksen puute tietyissä osissa maailmaa on myös motivaatio meille tukea maanviljelijöitä aloitteellamme.

Agri1.ai:n nykytila: ihmisten ja tekoälyn välisen kuilun umpeen kurominen umpeen

Aloitteemme ytimessä agri1.ai toimii dynaamisena alustana, joka kuroo umpeen kuilun maataloudessa työskentelevien ihmisten ja tekoälyohjelmistojen ja algoritmien maailman välillä. Ensisijaisena tavoitteenamme on helpottaa saumatonta vuorovaikutusta näiden kahden kokonaisuuden välillä ja edistää symbioottista suhdetta, joka parantaa maatalouskäytäntöjen tehokkuutta ja kestävyyttä.

Tällä hetkellä, a gri1.ai perustuu OpenAI:n GPT:hen, joka on huippuluokan Large Language Model (LLM). Olemme osittain mukauttaneet ja hienosäätäneet tätä mallia ymmärtämään ja tuottamaan paremmin maatalouteen keskittyvää tekstiä, mikä lisää sen merkitystä ja hyödyllisyyttä käyttäjillemme. Lisäksi olemme osittain sisällyttäneet datan sulauttamista sekä julkista että sisäistä dataa, jotta malli ymmärtäisi paremmin maatalousalaa kontekstuaalisesti.

Tekoälyn alalla yksinkertaisuus on usein avain menestykseen. Tekoälysovellusten rakentaminen ja käyttöönotto voi olla monimutkainen prosessi, ja yksinkertaisuuden säilyttäminen toiminnassamme antaa meille mahdollisuuden keskittyä korkealaatuisen ja käyttäjäystävällisen palvelun tarjoamiseen. Rakentamalla olemassa olevan, isännöidyn LLM:n varaan pystymme hyödyntämään kehittyneen tekoälyn tehoa ja säilyttämään samalla virtaviivaisen ja tehokkaan järjestelmän.

Yksi toimintamme kulmakivistä on tiedonhallinta. Tunnustamme, että käyttäjien tietojen saatavuuden, käytettävyyden, eheyden ja turvallisuuden hallinta on erittäin tärkeää. Tämä kattava lähestymistapa tiedonhallintaan ei ainoastaan takaa agri1.ai:n tarjoamien tietojen luotettavuutta ja hyödyllisyyttä, vaan sillä otetaan huomioon myös keskeiset huolenaiheet, kuten sääntelyn noudattaminen, yksityisyys, laatu ja turvallisuus. Ymmärrämme, että maatalousyrityksillä on perusteltuja huolenaiheita tietovuodoista ja siitä, että elinikäisen oppimisen ohjelmia voidaan kouluttaa sisäisiin tietoihin, mikä vaarantaa tietojen riippumattomuuden. Haluamme vakuuttaa käyttäjillemme, että suhtaudumme näihin huolenaiheisiin hyvin vakavasti ja että työskentelemme aktiivisesti strategioiden parissa näiden kysymysten ratkaisemiseksi.

Kun jatkamme agri1.ai:n kehittämistä ja parantamista, tutkimme myös mahdollisuutta luoda uusi elinikäinen oppimismenetelmä uudelleenkouluttamalla tai hienosäätämällä olemassa olevaa elinikäistä oppimismenetelmää. Tämän lähestymistavan avulla voisimme mahdollisesti luoda erikoistuneemman ja tehokkaamman mallin maataloutta varten.

Agri1.ai:n tulevaisuus: Maatalouden suurkielinen aluekohtainen malli

Vaikka olemme ylpeitä siitä, mitä olemme saavuttaneet agri1.ai:n avulla tähän mennessä, emme aio pysähtyä tähän. Tutkimme myös mahdollisuutta luoda oma alakohtainen LLM-ohjelma maataloutta varten. Tämä malli, jota kutsumme agriLLM:ksi (työnimi), koulutettaisiin suurella määrällä maatalouteen liittyvää tekstidataa, jolloin siitä tulisi maatalousalan kielen ja vivahteiden asiantuntija.

AgriLLM:n luominen on monimutkainen prosessi, johon kuuluu tietojen keruu, tietojen puhdistus ja esikäsittely, mallin valinta, mallin koulutus, hienosäätö, arviointi ja testaus sekä käyttöönotto. Suunnittelemme myös, että otamme mukaan maatalouden eri alojen asiantuntijoita, jotka auttavat meitä rakentamaan yksityiskohtaisia harjoitustietoaineistoja ja hienosäätämään mallia.

Tietojen keruu: Ensimmäinen vaihe maatalousalan elinikäisen oppimisen menetelmän rakentamisessa on kerätä suuri määrä alaan liittyvää tietoa. Tämä voi sisältää tieteellisiä artikkeleita, tutkimusjulkaisuja, viljelyoppaita, säätiedotuksia, satotietoja ja paljon muuta. Aineiston tulisi kattaa laaja valikoima maatalouden aiheita, jotta malli olisi monipuolinen ja tietoinen alan kaikista osa-alueista. Työkaluja, kuten verkkokaapimista, voidaan käyttää tietojen keruuprosessin automatisoimiseen eri verkkolähteistä.
Tietojen esikäsittely: Kun tiedot on kerätty, ne on esikäsiteltävä, jotta ne voidaan valmistella LLM:n harjoittelua varten. Tähän sisältyy datan puhdistaminen (päällekkäisyyksien poistaminen, puuttuvien tai virheellisten arvojen korjaaminen), normalisointi (kaiken tekstin muuttaminen pieniksi kirjaimiksi, välimerkkien ja loppusanojen poistaminen) ja tokenisointi (tekstin pilkkominen yksittäisiksi sanoiksi tai lausekkeiksi kielimallin sanaston luomiseksi).
Mallin valinta ja konfigurointi: Seuraavaksi valitaan sopiva malliarkkitehtuuri LLM:lle. Muuntajapohjaiset mallit, kuten GPT-3 ja BERT, ovat suosittuja valintoja, koska ne pystyvät käsittelemään pitkiä tekstisarjoja ja tuottamaan korkealaatuisia tuotoksia. Tässä vaiheessa on määriteltävä mallin kokoonpano, mukaan lukien kerrosten lukumäärä, huomiopäät, häviöfunktio ja hyperparametrit.
Mallin koulutus: Malli koulutetaan esikäsitellyillä tiedoilla. Tässä yhteydessä mallille esitetään sanasarjoja ja se koulutetaan ennustamaan sarjan seuraava sana. Malli säätää painojaan sen ennusteen ja seuraavan sanan todellisen määrän välisen eron perusteella. Tämä prosessi toistetaan miljoonia kertoja, kunnes malli saavuttaa tyydyttävän suorituskyvyn.
Arviointi ja hienosäätö: Alustavan harjoittelun jälkeen mallia arvioidaan erillisellä testiaineistolla. Arviointitulosten perusteella malli saattaa vaatia hienosäätöä. Tämä voi tarkoittaa hyperparametrien säätämistä, arkkitehtuurin muuttamista tai harjoittelua lisäaineistolla mallin suorituskyvyn parantamiseksi.
Aluekohtainen hienosäätö: Jotta elinikäisen oppimisen malli olisi maatalouskohtainen, sitä hienosäädetään ensimmäisessä vaiheessa kerättyjen alakohtaisten tietojen perusteella. Tämä auttaa mallia ymmärtämään maatalouden alan ainutlaatuista terminologiaa, kontekstia ja vivahteita.
Integrointi agri1.ai:n kanssa: Kun alakohtainen LLM on valmis, se integroidaan agri1.ai -järjestelmään. Tämä edellyttää tarvittavien sovellusrajapintojen ja rajapintojen luomista, jotta agri1.ai voi hyödyntää uuden LLM:n ominaisuuksia.
Käyttäjätestaus ja palaute: Loppukäyttäjät testaavat päivitetyn agri1.ai -järjestelmän. Heidän palautteensa kerätään ja sitä käytetään mahdollisten ongelmien tai parannuskohteiden tunnistamiseen.
Jatkuva parantaminen: LLM:ää päivitetään ja parannetaan jatkuvasti käyttäjien palautteen perusteella. Tämä voi tarkoittaa hienosäätöä, lisätietojen lisäämistä harjoitusjoukkoon tai malliarkkitehtuurin hienosäätöä.
Seuranta ja ylläpito: Lopuksi LLM:n suorituskykyä seurataan jatkuvasti sen varmistamiseksi, että se tuottaa tarkkoja ja hyödyllisiä tuloksia. Järjestelmää myös huolletaan säännöllisesti, jotta se toimisi moitteettomasti.

Alakohtaisen LLM:n rakentaminen maataloutta varten on monimutkainen mutta toteutettavissa oleva tehtävä. Siihen kuuluu useita vaiheita tietojen keräämisestä jatkuvaan parantamiseen. Tätä prosessia noudattamalla pyrimme kehittämään elinikäisen oppimisen mallin, joka voi tarjota tarkkaa, merkityksellistä ja hyödyllistä tietoa maatalousalan käyttäjille.

Avoimen lähdekoodin lähestymistavat ja mallit

Seuraamme tarkasti tekoälyyhteisön kehitystä. Yksi erityisen hyödylliseksi havaitsemamme resurssi on the LMSYS tulostaulu, jossa eri LLM-ohjelmat luokitellaan niiden suorituskyvyn perusteella. Joitakin tässä listalla olevia malleja, kuten OpenAI:n GPT-4 ja Anthropicin Claude-v1, voitaisiin mahdollisesti käyttää agriLLM:n perustana.

Olemme kuitenkin tietoisia myös omistajakohtaisten ja avoimen lähdekoodin mallien välisestä kuilusta. Vaikka GPT-4:n kaltaiset proprietääriset mallit johtavat tällä hetkellä joukkoa, suhtaudumme optimistisesti avoimen lähdekoodin mallien mahdollisuuksiin saavuttaa heidät. Yksi tällainen avoimen lähdekoodin malli on MosaicML, joka tarjoaa joustavan ja modulaarisen alustan koneoppimismalleille, ja sitä voitaisiin mahdollisesti käyttää oman LLM:n kouluttamiseen.

MosaicML tarjoaa useita ominaisuuksia, jotka voivat olla hyödyllisiä maatalouden elinkaarimekaniikan kehittämisessä. Se mahdollistaa useiden miljardien parametrien mallien kouluttamisen tunneissa eikä päivissä, ja se tarjoaa tehokkaan skaalauksen suurissa mittakaavoissa. Se tarjoaa myös automaattisia suorituskyvyn parannuksia, joiden avulla käyttäjät voivat pysyä tehokkuuden kärjessä. MosaicML:n alusta tukee suurten kielimallien kouluttamista mittakaavassa yhdellä komennolla, ja se tarjoaa automaattisen jatkamisen solmuvioista ja tappiopiikeistä, mikä voi olla erityisen hyödyllistä agriLLM:n kaltaisiin suuriin malleihin liittyvissä pitkissä koulutusajoissa.

Olemassa olevat LLM:t maataloudessa

Tutkimuksessamme olemme törmänneet maataloutta koskevaan erityismalliin nimeltä AgricultureBERT, joka on BERT-pohjainen kielimalli, joka on edelleen esivalmennettu SciBERTin tarkistuspisteestä. Tämä malli koulutettiin tasapainoisella maatalousalan tieteellisten ja yleisten teosten tietokokonaisuudella, joka sisältää tietoa maatalouden tutkimuksen eri aloilta ja käytännön tietoa.

AgricultureBERTin kouluttamiseen käytetty korpus sisältää 1,2 miljoonaa kappaletta Yhdysvaltain hallituksen National Agricultural Library (NAL) -kirjastosta ja 5,3 miljoonaa kappaletta maatalousalan kirjoista ja yleisestä kirjallisuudesta. Malli koulutettiin käyttämällä itseohjautuvaa oppimismenetelmää, maskeerattua kielimallinnusta (MLM), jossa 15% syötelauseen sanoista peitetään ja malli ennustaa sitten maskeeratut sanat. Tämän lähestymistavan avulla malli voi oppia kaksisuuntaisen esityksen lauseesta, mikä eroaa perinteisistä rekursiivisista neuroverkoista (RNN), jotka yleensä näkevät sanat peräkkäin, tai GPT:n kaltaisista autoregressiivisistä malleista, jotka sisäisesti peittävät tulevat merkit.

Tämä olemassa oleva malli voi tarjota arvokkaita näkemyksiä ja toimia hyödyllisenä lähtökohtana, mutta agri1.ai:n perimmäisenä tavoitteena on kehittää oma aluespesifinen LLM maataloutta varten. Uskomme, että näin voimme luoda mallin, joka on räätälöity entistä paremmin maatalousalan tarpeisiin ja joka voi tarjota käyttäjillemme entistä tarkempaa ja merkityksellisempää tietoa.

Keep It Agile: matka jatkuu

Nopeasti kehittyvällä tekoälyn alalla jatkuva oppiminen ja sopeutuminen ovat avainasemassa. Tämä matka on ollut syvällinen oppimiskokemus erityisesti minulle, Max.

Ymmärrys ainutlaatuisista tavoista, joilla käyttäjät ovat tekoälyn kanssa vuorovaikutuksessa maatalouden kontekstissa, on ollut sekä valaiseva että opettavainen. Jokainen kysely, jonka saamme maanviljelijöiltä eri puolilta maailmaa, tarjoaa korvaamattomia tietoja todellisista haasteista, joihin agri1.ai voi vastata. Lähestymistapamme on iteratiivinen - tarkkailemme käyttäjien vuorovaikutusta, käymme vuoropuhelua käyttäjien kanssa, kehitämme ratkaisuja, toimitamme niitä ja arvioimme sitten uudelleen.

Tämän syklin avulla voimme jatkuvasti kehittää ja parantaa tuotteitamme ja varmistaa, että ne pysyvät merkityksellisinä ja hyödyllisinä käyttäjillemme. Olemme innoissamme käyttöliittymän (UI) ja käyttäjäkokemuksen (UX) parannusten mahdollisuuksista parantaa agri1.ai:n käytettävyyttä entisestään. Tekoälyn kehitysvauhti on henkeäsalpaava, ja uusia malleja ja teknologioita syntyy säännöllisesti. Olemme sitoutuneet pysymään mukana tässä kehityksessä ja tutkimaan, miten voimme hyödyntää niitä agri1.ai:n kehittämiseksi ja maanviljelijöiden ja maatalousyritysten palvelemiseksi paremmin kaikkialla maailmassa.

Myönnän, että tämä on vasta alkua. Agri1.ai:n matka on jatkuva prosessi, ja olen sitoutunut jatkamaan oppimista, mukautumista ja parantamista. Olen innoissani tekoälyn mahdollisuuksista muuttaa maataloutta, ja olen kiitollinen mahdollisuudesta olla osa tätä matkaa. Kiitos, että olet mukana tässä seikkailussa.