agri1.ai: Двосторонній підхід до LLM, chatGPT в сільському господарстві - Frontend & Embedding та доменно-специфічна модель великої мови для сільського господарства

Ласкаво просимо у світ LLMS, таких як Claude, Llama та chatGPT у сільському господарстві, ласкаво просимо до agri1.ai, ініціативи, яка має на меті дослідити потенціал штучного інтелекту (ШІ) у сільськогосподарській галузі. Оскільки населення планети продовжує зростати, попит на ефективні та стійкі методи ведення сільського господарства є більш нагальним, ніж будь-коли. ШІ, з його здатністю аналізувати величезні обсяги даних і робити точні прогнози, може стати вирішальним фактором у задоволенні цього попиту.

Вступ
Поточний стан agri1.ai
Майбутнє agri1.ai та доменної моделі великої мови для сільського господарства
Підходи та моделі LLM з відкритим кодом
Існуючі ступені магістра в галузі сільського господарства

Вступ

З agri1.aiми застосовуємо двосторонній підхід до використання можливостей штучного інтелекту в сільському господарстві. З одного боку, ми розробляємо інтерфейс, який використовує існуючу велику мовну модель (LLM), допрацьовуємо її, вбудовуємо та контекстуалізуємо з публічними та внутрішніми даними. З іншого боку, ми вивчаємо можливість створення власної LLM для сільського господарства.

У швидкозмінному середовищі, як з точки зору клімату, так і ринків, концепція agri1.ai набуває все більшого значення. Це особливо актуально для великих сільськогосподарських суспільств і регіонів, таких як Африканський континент, де брак знань може призвести до значних проблем у сільському господарстві. Одна з місій agri1.ai - вирішувати ці проблеми, підтримуючи дрібних фермерів у їхній боротьбі зі швидкозмінними кліматичними умовами та надаючи кращі консультації щодо нових сільськогосподарських культур залежно від кліматичних та ґрунтових умов. Відсутність освіти в певних частинах світу також є для нас мотивацією підтримувати фермерів через нашу ініціативу.

Поточний стан agri1.ai: подолання розриву між людьми та штучним інтелектом

В основі нашої ініціативи лежить динамічна платформа agri1.ai, що слугує мостом між людиною в сільському господарстві та світом програмного забезпечення та алгоритмів штучного інтелекту. Наша головна мета - сприяти безперешкодній взаємодії між цими двома суб'єктами, сприяючи розвитку симбіотичних відносин, які підвищують ефективність і стійкість сільськогосподарських практик.

Наразі, a gri1.ai працює на основі GPT OpenAI, передової моделі великих мов (LLM). Ми частково адаптували та доопрацювали цю модель, щоб краще розуміти та генерувати текст, орієнтований на сільське господарство, підвищуючи його релевантність та корисність для наших користувачів. Крім того, ми частково включили дані, інтегруючи як публічні, так і внутрішні дані, щоб покращити контекстне розуміння моделі в аграрній сфері.

У сфері штучного інтелекту простота часто є ключем до успіху. Створення та розгортання додатків зі штучним інтелектом може бути складним процесом, а підтримка простоти в наших операціях дозволяє нам зосередитися на наданні високоякісних, зручних для користувача послуг. Спираючись на існуючий хостинг LLM, ми можемо використовувати можливості передового штучного інтелекту, зберігаючи при цьому спрощену та ефективну систему.

Одним із наріжних каменів нашої діяльності є управління даними. Ми усвідомлюємо критичну важливість управління доступністю, зручністю, цілісністю та безпекою даних наших користувачів. Цей комплексний підхід до управління даними не тільки забезпечує надійність і корисність інформації, що надається agri1.ai, але й вирішує такі ключові проблеми, як дотримання нормативних вимог, конфіденційність, якість і безпека. Ми розуміємо, що агробізнес має обґрунтоване занепокоєння щодо витоку даних, а також щодо можливості навчання LLM на внутрішніх даних, що ставить під загрозу суверенітет даних. Ми хочемо запевнити наших користувачів, що ми дуже серйозно ставимося до цих проблем і активно працюємо над стратегіями вирішення цих питань.

Продовжуючи вдосконалювати та покращувати agri1.ai, ми також вивчаємо можливість створення нової магістерської програми шляхом перепідготовки або доопрацювання вже існуючої магістерської програми. Такий підхід потенційно може дозволити нам створити більш спеціалізовану та ефективну модель для сільського господарства.

Майбутнє agri1.ai: Велика мовна модель для сільського господарства, орієнтована на конкретну галузь

Ми пишаємося тим, чого ми досягли з agri1.ai, але ми не зупиняємося на досягнутому. Ми також вивчаємо можливість створення нашої власної спеціалізованої програми LLM для сільського господарства. Ця модель, яку ми називаємо agriLLM (робоча назва), буде навчатися на великій кількості текстових даних, пов'язаних із сільським господарством, що зробить її експертом у мові та нюансах аграрної галузі.

Створення agriLLM буде складним процесом, що включає збір даних, очищення та попередню обробку даних, вибір моделі, навчання моделі, точне налаштування, оцінку та тестування, а також розгортання. Ми також плануємо залучити експертів у різних галузях сільського господарства, які допоможуть нам створити детальні навчальні набори даних і доопрацювати модель.

Збір даних: Перший крок у створенні спеціалізованої програми LLM для сільського господарства полягає у зборі великої кількості даних, що стосуються цієї галузі. Це можуть бути наукові статті, дослідницькі роботи, фермерські довідники, звіти про погоду, дані про врожайність тощо. Дані повинні охоплювати широкий спектр тем у сільському господарстві, щоб гарантувати, що модель є всебічною та обізнаною у всіх аспектах галузі. Для автоматизації процесу збору даних з різних онлайн-джерел можна використовувати такі інструменти, як веб-скрепінг.
Попередня обробка даних: Після того, як дані зібрані, їх потрібно попередньо обробити, щоб підготувати їх для навчання LLM. Це передбачає очищення даних (видалення дублікатів, виправлення відсутніх або неправильних значень), нормалізацію (перетворення всього тексту в малі літери, видалення розділових знаків і стоп-слів) і токенізацію (розбиття тексту на окремі слова або фрази для створення словника для мовної моделі).
Вибір моделі та конфігурація: Наступним кроком є вибір відповідної архітектури моделі для LLM. Трансформаторні моделі, такі як GPT-3 і BERT, є популярним вибором завдяки їхній здатності обробляти довгі послідовності тексту і генерувати високоякісні вихідні дані. На цьому етапі необхідно визначити конфігурацію моделі, зокрема кількість шарів, головок уваги, функцію втрат і гіперпараметри.
Модельний тренінг: Потім модель навчається на попередньо оброблених даних. Це передбачає подання моделі послідовності слів і навчання її передбачати наступне слово в послідовності. Модель коригує свої ваги на основі різниці між її прогнозом і фактичним наступним словом. Цей процес повторюється мільйони разів, поки модель не досягне задовільного рівня продуктивності.
Оцінка та доопрацювання: Після початкового навчання модель оцінюється на окремому тестовому наборі даних. За результатами оцінювання модель може потребувати певного доопрацювання. Це може включати налаштування гіперпараметрів, зміну архітектури або навчання на додаткових даних для покращення продуктивності.
Налаштування для конкретного домену: Щоб зробити модель LLM специфічною для сільського господарства, її доопрацьовують на основі даних, зібраних на першому етапі. Це допомагає моделі зрозуміти унікальну термінологію, контекст і нюанси галузі сільського господарства.
Інтеграція з agri1.ai: Після того, як LLM для конкретного домену готовий, він інтегрується з системою agri1.ai. Це передбачає налаштування необхідних API та інтерфейсів, які дозволять agri1.ai використовувати можливості нового LLM.
Тестування та відгуки користувачів: Оновлена система agri1.ai тестується кінцевими користувачами. Їхні відгуки збираються і використовуються для виявлення будь-яких проблем або областей для вдосконалення.
Постійне вдосконалення: На основі відгуків користувачів LLM постійно оновлюється та вдосконалюється. Це може включати в себе подальшу точну настройку, додавання нових даних до навчальної вибірки або зміну архітектури моделі.
Моніторинг та обслуговування: Нарешті, продуктивність LLM постійно контролюється, щоб гарантувати, що вона забезпечує точний і корисний результат. Також проводиться регулярне технічне обслуговування для забезпечення безперебійної роботи системи.

Створення галузевої LLM для сільського господарства є складним, але досяжним завданням. Воно включає низку кроків від збору даних до постійного вдосконалення. Дотримуючись цього процесу, ми прагнемо розробити LLM, який може надати точну, релевантну та корисну інформацію користувачам в аграрній галузі.

Підходи та моделі з відкритим кодом

Ми уважно стежимо за розвитком подій у ширшій спільноті ШІ. Один з ресурсів, який ми вважаємо особливо корисним, - це Рейтинг лідерів LMSYSякий ранжує різні LLM на основі їхньої продуктивності. Деякі моделі з цього рейтингу, такі як GPT-4 від OpenAI та Claude-v1 від Anthropic, потенційно можуть бути використані як основа для agriLLM.

Однак ми також усвідомлюємо розрив між пропрієтарними моделями та моделями з відкритим кодом. Хоча пропрієтарні моделі, такі як GPT-4, наразі лідирують, ми оптимістично налаштовані щодо потенціалу моделей з відкритим вихідним кодом, щоб наздогнати їх. Однією з таких моделей з відкритим кодом є MosaicML, яка забезпечує гнучку та модульну платформу для моделей машинного навчання і потенційно може бути використана для підготовки наших власних LLM.

MosaicML пропонує ряд функцій, які можуть бути корисними для розвитку agriLLM. Він дозволяє навчати багатомільярдні моделі за години, а не дні, і пропонує ефективне масштабування у великих масштабах. Вона також забезпечує автоматизоване підвищення продуктивності, що дозволяє користувачам залишатися на межі ефективності. Платформа MosaicML підтримує навчання великих мовних моделей в масштабі за допомогою однієї команди, а також забезпечує автоматичне відновлення після відмов вузлів і стрибків втрат, що може бути особливо корисним для тривалого часу навчання, пов'язаного з великими моделями, такими як agriLLM.

Існуючі ступені магістра в галузі сільського господарства

У нашому дослідженні ми зіткнулися зі специфічною моделлю для сільського господарства, названою AgricultureBERT, мовною моделлю на основі BERT, яка була додатково попередньо навчена з контрольної точки SciBERT. Ця модель була навчена на збалансованому наборі даних наукових і загальних робіт у галузі сільського господарства, що охоплює знання з різних галузей сільськогосподарських досліджень і практичних знань.

Корпус, використаний для навчання AgricultureBERT, містить 1,2 мільйона абзаців з Національної сільськогосподарської бібліотеки (NAL) уряду США і 5,3 мільйона абзаців з книг і загальної літератури з сільськогосподарської тематики. Навчання моделі відбувалося з використанням підходу самонавчання Маскованого мовного моделювання (MLM), який передбачає маскування 15% слів у вхідному реченні, а потім надання моделі можливості передбачати замасковані слова. Цей підхід дозволяє моделі вивчити двонаправлене представлення речення, що відрізняється від традиційних рекурентних нейронних мереж (RNN), які зазвичай бачать слова одне за одним, або від авторегресійних моделей, таких як GPT, які внутрішньо маскують майбутні токени.

Ця існуюча модель може надати цінну інформацію та слугувати корисною відправною точкою, наша кінцева мета в agri1.ai - розробити власну галузеву програму LLM для сільського господарства. Ми віримо, що таким чином ми зможемо створити модель, яка ще більше відповідатиме потребам сільськогосподарської галузі та надаватиме ще більш точну та релевантну інформацію нашим користувачам.

Підтримуйте гнучкість: подорож триває

У сфері штучного інтелекту, що стрімко розвивається, безперервне навчання та адаптація є ключовими. Ця подорож стала глибоким навчальним досвідом, особливо для мене, Макса.

Розуміння унікальних способів, якими користувачі взаємодіють зі штучним інтелектом у сільському господарстві, було одночасно і пізнавальним, і повчальним. Кожен запит, який ми отримуємо від фермерів з усього світу, дає нам безцінну інформацію про реальні проблеми, які може вирішити agri1.ai. Наш підхід ітеративний - ми спостерігаємо за взаємодією з користувачами, ведемо з ними діалог, розробляємо рішення, впроваджуємо їх, а потім переоцінюємо.

Цей цикл дозволяє нам постійно вдосконалювати та покращувати наш продукт, гарантуючи, що він залишається актуальним та корисним для наших користувачів. Ми в захваті від потенціалу вдосконалення користувацького інтерфейсу (UI) та користувацького досвіду (UX) для подальшого покращення зручності використання agri1.ai. Темпи розвитку в галузі ШІ захоплюють дух, регулярно з'являються нові моделі та технології. Ми прагнемо бути в курсі цих розробок, досліджуючи, як ми можемо використати їх для покращення agri1.ai та кращого обслуговування фермерів та агробізнесу в усьому світі.

Я усвідомлюю, що це лише початок. Шлях agri1.ai - це безперервний процес, і я прагну продовжувати вчитися, адаптуватися та вдосконалюватися. Я в захваті від потенціалу штучного інтелекту для трансформації сільського господарства, і я вдячний за можливість бути частиною цієї подорожі. Дякуємо, що приєдналися до нас у цій пригоді.