agri1.ai: A Two-Sided Approach to LLMs, chatGPT in Agriculture - Frontend & Embedding and Domain-Specific Large Language Model for Agriculture

Witamy w świecie LLMS, takich jak Claude, Llama i chatGPT w rolnictwie, witamy w agri1.ai, inicjatywie, której celem jest zbadanie potencjału sztucznej inteligencji (AI) w branży rolniczej. Ponieważ globalna populacja stale rośnie, zapotrzebowanie na wydajne i zrównoważone praktyki rolnicze jest bardziej naglące niż kiedykolwiek. Sztuczna inteligencja, dzięki swojej zdolności do analizowania ogromnych ilości danych i dokonywania dokładnych prognoz, może być przełomem w zaspokajaniu tego zapotrzebowania.

Wprowadzenie
Obecny stan agri1.ai
Przyszłość agri1.ai i dużego modelu językowego specyficznego dla domeny dla rolnictwa
Podejścia i modele LLM Open Source
Istniejące programy LLM w dziedzinie rolnictwa

Wprowadzenie

Z agri1.aiPrzyjmujemy dwustronne podejście do wykorzystania mocy sztucznej inteligencji w rolnictwie. Z jednej strony opracowujemy interfejs frontendowy, który wykorzystuje istniejący Large Language Model (LLM), dostrajając go, osadzając i kontekstualizując za pomocą danych publicznych i wewnętrznych. Z drugiej strony badamy możliwość stworzenia własnego, specyficznego dla domeny LLM dla rolnictwa.

W szybko zmieniającym się środowisku, zarówno pod względem klimatu, jak i rynków, koncepcja agri1.ai staje się coraz ważniejsza. Jest to szczególnie prawdziwe w przypadku dużych społeczeństw i regionów opartych na rolnictwie, takich jak kontynent afrykański, gdzie brak wiedzy może prowadzić do poważnych wyzwań w rolnictwie. Jedną z misji agri1.ai jest zajęcie się tymi kwestiami, wspieranie drobnych rolników w ich zmaganiach z szybko zmieniającymi się warunkami klimatycznymi i zapewnienie lepszych konsultacji w zakresie nowych kultur rolniczych w zależności od warunków klimatycznych i glebowych. Brak edukacji w niektórych częściach świata jest również dla nas motywacją do wspierania rolników poprzez naszą inicjatywę.

Obecny stan agri1.ai: wypełnianie luki między ludźmi a sztuczną inteligencją

W sercu naszej inicjatywy agri1.ai służy jako dynamiczna platforma, wypełniająca lukę między ludźmi w rolnictwie a światem oprogramowania i algorytmów AI. Naszym głównym celem jest ułatwienie płynnej interakcji między tymi dwoma podmiotami, wspierając symbiotyczną relację, która zwiększa wydajność i zrównoważony rozwój praktyk rolniczych.

Obecnie, a gri1.ai działa na fundamencie GPT OpenAI, najnowocześniejszego dużego modelu językowego (LLM). Częściowo dostosowaliśmy i dopracowaliśmy ten model, aby lepiej rozumieć i generować tekst związany z rolnictwem, zwiększając jego przydatność i użyteczność dla naszych użytkowników. Ponadto częściowo włączyliśmy osadzanie danych, integrując zarówno dane publiczne, jak i wewnętrzne, aby zwiększyć kontekstowe zrozumienie domeny rolnictwa przez model.

W dziedzinie sztucznej inteligencji prostota jest często kluczem do sukcesu. Tworzenie i wdrażanie aplikacji AI może być złożonym procesem, a utrzymanie poczucia prostoty w naszych działaniach pozwala nam skupić się na dostarczaniu wysokiej jakości, przyjaznej dla użytkownika usługi. Opierając się na istniejącym, hostowanym LLM, jesteśmy w stanie wykorzystać moc zaawansowanej sztucznej inteligencji, zachowując jednocześnie usprawniony i wydajny system.

Jednym z fundamentów naszej działalności jest zarządzanie danymi. Zdajemy sobie sprawę z kluczowego znaczenia zarządzania dostępnością, użytecznością, integralnością i bezpieczeństwem danych naszych użytkowników. To kompleksowe podejście do zarządzania danymi nie tylko zapewnia wiarygodność i użyteczność informacji dostarczanych przez agri1.ai, ale także rozwiązuje kluczowe kwestie, takie jak zgodność z przepisami, prywatność, jakość i bezpieczeństwo. Rozumiemy, że agrobiznes ma uzasadnione obawy dotyczące wycieku danych i możliwości przeszkolenia LLM w zakresie danych wewnętrznych, co zagraża suwerenności danych. Chcemy zapewnić naszych użytkowników, że traktujemy te obawy bardzo poważnie i aktywnie pracujemy nad strategiami mającymi na celu rozwiązanie tych kwestii.

Kontynuując udoskonalanie agri1.ai, badamy również możliwość stworzenia nowego LLM poprzez przekwalifikowanie lub dopracowanie istniejącego LLM. Takie podejście może potencjalnie pozwolić nam stworzyć bardziej wyspecjalizowany i skuteczny model dla rolnictwa.

Przyszłość agri1.ai: Duży model językowy specyficzny dla domeny dla rolnictwa

Choć jesteśmy dumni z dotychczasowych osiągnięć agri1.ai, nie zamierzamy na tym poprzestać. Badamy również możliwość stworzenia własnego, specyficznego dla domeny LLM dla rolnictwa. Model ten, który nazywamy agriLLM (tytuł roboczy), byłby szkolony na dużej ilości danych tekstowych związanych z rolnictwem, dzięki czemu byłby ekspertem w języku i niuansach branży rolniczej.

Tworzenie agriLLM będzie złożonym procesem, obejmującym gromadzenie danych, czyszczenie i wstępne przetwarzanie danych, wybór modelu, szkolenie modelu, dostrajanie, ocenę i testowanie oraz wdrażanie. Planujemy również zaangażować ekspertów z różnych dziedzin rolnictwa, aby pomogli nam stworzyć szczegółowe zestawy danych szkoleniowych i dostroić model.

Gromadzenie danych: Pierwszym krokiem w budowaniu specyficznego dla domeny LLM dla rolnictwa jest zebranie ogromnej ilości danych związanych z tą dziedziną. Mogą to być artykuły naukowe, prace badawcze, przewodniki rolnicze, raporty pogodowe, dane dotyczące plonów i inne. Dane powinny obejmować szeroki zakres tematów związanych z rolnictwem, aby zapewnić, że model jest wszechstronny i posiada wiedzę we wszystkich aspektach tej dziedziny. Narzędzia takie jak web scraping mogą być wykorzystywane do automatyzacji procesu gromadzenia danych z różnych źródeł internetowych.
Wstępne przetwarzanie danych: Po zebraniu danych należy je wstępnie przetworzyć, aby przygotować je do uczenia LLM. Obejmuje to czyszczenie danych (usuwanie duplikatów, naprawianie brakujących lub nieprawidłowych wartości), normalizację (konwertowanie całego tekstu na małe litery, usuwanie znaków interpunkcyjnych i słów stop) oraz tokenizację (dzielenie tekstu na pojedyncze słowa lub frazy w celu utworzenia słownictwa dla modelu językowego).
Wybór i konfiguracja modelu: Następnym krokiem jest wybór odpowiedniej architektury modelu dla LLM. Modele oparte na transformatach, takie jak GPT-3 i BERT, są popularnym wyborem ze względu na ich zdolność do obsługi długich sekwencji tekstu i generowania wysokiej jakości wyników. Na tym etapie należy określić konfigurację modelu, w tym liczbę warstw, głowice uwagi, funkcję straty i hiperparametry.
Szkolenie modelowe: Model jest następnie trenowany na wstępnie przetworzonych danych. Obejmuje to prezentowanie modelowi sekwencji słów i trenowanie go w celu przewidywania następnego słowa w sekwencji. Model dostosowuje swoje wagi w oparciu o różnicę między jego przewidywaniami a rzeczywistym następnym słowem. Proces ten jest powtarzany miliony razy, aż model osiągnie zadowalający poziom wydajności.
Ocena i dostrajanie: Po wstępnym szkoleniu model jest oceniany na oddzielnym zestawie danych testowych. Na podstawie wyników oceny model może wymagać pewnego dostrojenia. Może to obejmować dostosowanie jego hiperparametrów, zmianę architektury lub szkolenie na dodatkowych danych w celu poprawy jego wydajności.
Dostrajanie do konkretnej domeny: Aby uczynić LLM specyficznym dla rolnictwa, jest on dostosowywany do danych specyficznych dla domeny zebranych w pierwszym kroku. Pomaga to modelowi zrozumieć unikalną terminologię, kontekst i niuanse domeny rolnictwa.
Integracja z agri1.ai: Gdy LLM specyficzny dla domeny jest gotowy, zostaje zintegrowany z systemem agri1.ai. Obejmuje to konfigurację niezbędnych interfejsów API i interfejsów, aby umożliwić agri1.ai wykorzystanie możliwości nowego LLM.
Testy i opinie użytkowników: Zaktualizowany system agri1.ai jest następnie testowany przez użytkowników końcowych. Ich opinie są gromadzone i wykorzystywane do identyfikowania wszelkich problemów lub obszarów wymagających poprawy.
Ciągłe doskonalenie: W oparciu o opinie użytkowników LLM jest stale aktualizowany i ulepszany. Może to obejmować dalsze dostrajanie, dodawanie większej ilości danych do zestawu treningowego lub poprawianie architektury modelu.
Monitorowanie i konserwacja: Wreszcie, wydajność LLM jest stale monitorowana w celu zapewnienia dokładnych i użytecznych danych wyjściowych. Przeprowadzana jest również regularna konserwacja, aby system działał płynnie.

Zbudowanie specyficznego dla domeny LLM dla rolnictwa jest złożonym, ale osiągalnym zadaniem. Obejmuje ono szereg etapów, od gromadzenia danych po ciągłe doskonalenie. Postępując zgodnie z tym procesem, dążymy do opracowania LLM, który może dostarczyć dokładnych, istotnych i przydatnych informacji użytkownikom w branży rolniczej.

Podejścia i modele open source

Uważnie obserwujemy rozwój wydarzeń w szerszej społeczności AI. Jednym z zasobów, które uznaliśmy za szczególnie przydatne, jest Tabela liderów LMSYS, która klasyfikuje różne modele LLM na podstawie ich wydajności. Niektóre z modeli w tym rankingu, takie jak GPT-4 firmy OpenAI i Claude-v1 firmy Anthropic, mogą być potencjalnie wykorzystane jako podstawa dla agriLLM.

Zdajemy sobie jednak również sprawę z przepaści między modelami zastrzeżonymi i open-source. Podczas gdy zastrzeżone modele, takie jak GPT-4, są obecnie liderem, jesteśmy optymistycznie nastawieni do potencjału modeli open-source, aby nadrobić zaległości. Jednym z takich modeli open-source jest MosaicML, który zapewnia elastyczną i modułową platformę dla modeli uczenia maszynowego i może być potencjalnie wykorzystany do trenowania naszego własnego LLM.

MosaicML oferuje szereg funkcji, które mogą być korzystne dla rozwoju agriLLM. Pozwala na szkolenie modeli o wielu miliardach parametrów w ciągu godzin, a nie dni, i oferuje wydajne skalowanie w dużych skalach. Zapewnia również zautomatyzowane ulepszenia wydajności, pozwalając użytkownikom pozostać na krawędzi wydajności. Platforma MosaicML obsługuje szkolenie dużych modeli językowych na dużą skalę za pomocą jednego polecenia i zapewnia automatyczne wznawianie po awariach węzłów i skokach strat, co może być szczególnie przydatne w przypadku długich czasów szkolenia związanych z dużymi modelami, takimi jak agriLLM.

Istniejące programy LLM w dziedzinie rolnictwa

W naszych badaniach natknęliśmy się na model specyficzny dla rolnictwa, nazwany AgricultureBERT, model językowy oparty na BERT, który został dodatkowo wstępnie wytrenowany z punktu kontrolnego SciBERT. Model ten został wytrenowany na zrównoważonym zbiorze danych prac naukowych i ogólnych w dziedzinie rolnictwa, obejmującym wiedzę z różnych obszarów badań nad rolnictwem i wiedzę praktyczną.

Korpus wykorzystany do szkolenia AgricultureBERT zawiera 1,2 miliona akapitów z Narodowej Biblioteki Rolniczej (NAL) rządu USA oraz 5,3 miliona akapitów z książek i literatury powszechnej z dziedziny rolnictwa. Model został wytrenowany przy użyciu samonadzorowanego podejścia do uczenia się Masked Language Modeling (MLM), które obejmuje maskowanie 15% słów w zdaniu wejściowym, a następnie przewidywanie przez model zamaskowanych słów. Takie podejście pozwala modelowi nauczyć się dwukierunkowej reprezentacji zdania, która różni się od tradycyjnych rekurencyjnych sieci neuronowych (RNN), które zwykle widzą słowa jedno po drugim, lub od modeli autoregresyjnych, takich jak GPT, które wewnętrznie maskują przyszłe tokeny.

Ten istniejący model może dostarczyć cennych spostrzeżeń i służyć jako przydatny punkt wyjścia, naszym ostatecznym celem w agri1.ai jest opracowanie własnego, specyficznego dla domeny LLM dla rolnictwa. Wierzymy, że w ten sposób możemy stworzyć model, który jest jeszcze bardziej dostosowany do potrzeb branży rolniczej i który może zapewnić naszym użytkownikom jeszcze dokładniejsze i bardziej istotne informacje.

Keep It Agile: Podróż trwa nadal

W szybko rozwijającej się dziedzinie sztucznej inteligencji ciągłe uczenie się i adaptacja są kluczowe. Ta podróż była głębokim doświadczeniem edukacyjnym, szczególnie dla mnie, Maxa.

Zrozumienie unikalnych sposobów interakcji użytkowników ze sztuczną inteligencją w kontekście rolnictwa było zarówno pouczające, jak i pouczające. Każde zapytanie, które otrzymujemy od rolników na całym świecie, zapewnia bezcenny wgląd w rzeczywiste wyzwania, którym agri1.ai może sprostać. Nasze podejście jest iteracyjne - obserwujemy interakcje użytkowników, angażujemy się w dialog z nimi, opracowujemy rozwiązania, wysyłamy je, a następnie ponownie oceniamy.

Cykl ten pozwala nam stale udoskonalać i ulepszać nasz produkt, zapewniając, że pozostaje on odpowiedni i przydatny dla naszych użytkowników. Jesteśmy podekscytowani potencjałem ulepszeń interfejsu użytkownika (UI) i doświadczenia użytkownika (UX) w celu dalszej poprawy użyteczności agri1.ai. Tempo rozwoju na scenie sztucznej inteligencji zapiera dech w piersiach, a nowe modele i technologie pojawiają się regularnie. Staramy się być na bieżąco z tymi zmianami, badając, w jaki sposób możemy je wykorzystać, aby ulepszyć agri1.ai i lepiej służyć rolnikom i agrobiznesowi na całym świecie.

Zdaję sobie sprawę, że to dopiero początek. Podróż agri1.ai jest procesem ciągłym i jestem zobowiązany do dalszej nauki, adaptacji i doskonalenia. Jestem podekscytowany potencjałem sztucznej inteligencji w transformacji rolnictwa i jestem wdzięczny za możliwość bycia częścią tej podróży. Dziękuję za dołączenie do nas w tej przygodzie.