agri1.ai: גישה דו-צדדית ללימודי לימודים לימודיים, צ'אט-GPT בחקלאות - חזית והטמעה ומודל שפה גדול ספציפי לתחום לחקלאות

ברוכים הבאים לעולם של LLMS כגון קלוד, לאמה ו-chatGPT בחקלאות, ברוכים הבאים ל-agri1.ai, יוזמה שמטרתה לחקור את הפוטנציאל של בינה מלאכותית (AI) בתעשיית החקלאות. ככל שהאוכלוסיה העולמית ממשיכה לגדול, הדרישה לשיטות חקלאות יעילות ובר-קיימא דוחקת מאי פעם. בינה מלאכותית, עם היכולת שלה לנתח כמויות אדירות של נתונים ולבצע תחזיות מדויקות, יכולה להיות מחליף משחק בעמידה בביקוש הזה.

מבוא
המצב הנוכחי של agri1.ai
העתיד של agri1.ai ומודל שפות גדולות ספציפיות לתחום לחקלאות
גישות ומודלים של קוד פתוח LLM
לימודי תואר שני קיימים בחקלאות

מבוא

עם agri1.ai, אנו נוקטים בגישה דו-צדדית לניצול הכוח של AI לחקלאות. מצד אחד, אנו מפתחים ממשק חזיתי המשתמש במודל שפה גדול (LLM) קיים, מכווננים אותו, מטמיעים אותו ומעניקים לו הקשר עם נתונים ציבוריים ופנימיים. מהצד השני, אנחנו בוחנים את האפשרות ליצור LLM ספציפי לתחום שלנו לחקלאות.

בסביבות המשתנות במהירות, הן מבחינת האקלים והן מבחינת השווקים, המושג agri1.ai הופך חשוב יותר ויותר. זה נכון במיוחד עבור חברות ואזורים גדולים מונעי חקלאות כמו יבשת אפריקה, שבהם חוסר ידע יכול להוביל לאתגרים משמעותיים בחקלאות. אחת המשימות של agri1.ai היא לטפל בנושאים אלה, לתמוך בחקלאים קטנים במאבקם בתנאי אקלים המשתנים במהירות, ולספק ייעוץ טוב יותר לתרבויות חקלאיות חדשות בהתאם לתנאי האקלים והקרקע. היעדר השכלה בחלקים מסוימים של העולם הוא גם מניע עבורנו לתמוך בחקלאים באמצעות היוזמה שלנו.

המצב הנוכחי של agri1.ai: גישור על הפער בין בני אדם ובינה מלאכותית

בלב היוזמה שלנו, agri1.ai משמשת כפלטפורמה דינמית, המגשרת על הפער בין בני האדם בחקלאות לעולם של תוכנות ואלגוריתמים של AI. המטרה העיקרית שלנו היא לאפשר אינטראקציה חלקה בין שתי הישויות הללו, לטפח מערכת יחסים סימביוטית המשפרת את היעילות והקיימות של שיטות חקלאיות.

כַּיוֹם, אgri1.ai פועל על בסיס ה-GPT של OpenAI, מודל שפה חדשנית (LLM). התאמנו באופן חלקי, כיווננו את המודל הזה כדי להבין טוב יותר וליצור טקסט ממוקד בחקלאות, ולשפר את הרלוונטיות והשימושיות שלו עבור המשתמשים שלנו. יתר על כן, שילבנו חלקית הטמעות נתונים, המשלבות נתונים ציבוריים ופנימיים כאחד, כדי להגביר את ההבנה ההקשרית של המודל של התחום החקלאי.

בתחום הבינה המלאכותית, פשטות היא לעתים קרובות המפתח להצלחה. בנייה ופריסה של יישומי בינה מלאכותית יכולה להיות תהליך מורכב, ושמירה על תחושת פשטות בפעולות שלנו מאפשרת לנו להתמקד באספקת שירות איכותי וידידותי למשתמש. על ידי בנייה על LLM קיים ומתארח, אנו מסוגלים למנף את הכוח של AI מתקדם תוך שמירה על מערכת יעילה ויעילה.

אחת מאבני היסוד של הפעילות שלנו היא ממשל נתונים. אנו מכירים בחשיבות הקריטית של ניהול הזמינות, השימושיות, השלמות והאבטחה של הנתונים של המשתמשים שלנו. גישה מקיפה זו לממשל נתונים לא רק מבטיחה את המהימנות והתועלת של המידע המסופק על ידי agri1.ai, אלא גם מתייחסת לדאגות מרכזיות כמו ציות לרגולציה, פרטיות, איכות ואבטחה. אנו מבינים שלעסקים חקלאיים יש דאגות תקפות לגבי דליפת נתונים והפוטנציאל של LLMs להיות מאומנים על נתונים פנימיים, מה שפוגע בריבונות הנתונים. אנו רוצים להבטיח למשתמשים שלנו שאנו מתייחסים לחששות אלו ברצינות רבה ועובדים באופן פעיל על אסטרטגיות לטיפול בבעיות אלו.

ככל שאנו ממשיכים לשכלל ולשפר את agri1.ai , אנו גם בוחנים את האפשרות ליצור LLM חדש על ידי הדרכה מחדש או כוונון עדין של LLM קיים. גישה זו עשויה לאפשר לנו ליצור מודל מיוחד ויעיל יותר לחקלאות.

העתיד של agri1.ai: מודל שפה גדול לתחום ספציפי לחקלאות

למרות שאנחנו גאים במה שהשגנו עם agri1.ai עד כה, אנחנו לא עוצרים שם. אנחנו גם בוחנים את האפשרות ליצור LLM ספציפי לתחום שלנו לחקלאות. המודל הזה, שאנו קוראים לו agriLLM (שם עבודה), יוכשר על כמות גדולה של נתוני טקסט הקשורים לחקלאות, מה שיהפוך אותו למומחה בשפה ובניואנסים של תעשיית החקלאות.

יצירת agriLLM תהיה תהליך מורכב, שיכלול איסוף נתונים, ניקוי ועיבוד מקדים של נתונים, בחירת מודלים, הדרכת מודלים, כוונון עדין, הערכה ובדיקה ופריסה. אנחנו גם מתכננים לערב מומחים בתחומים שונים של חקלאות כדי לעזור לנו לבנות מערכי הדרכה מפורטים ולכוונן את המודל.

1. איסוף נתונים: השלב הראשון בבניית LLM ספציפי לתחום לחקלאות כולל איסוף כמות עצומה של נתונים רלוונטיים לתחום. זה יכול לכלול מאמרים מדעיים, מאמרי מחקר, מדריכי חקלאות, דוחות מזג אוויר, נתוני יבול ועוד. הנתונים צריכים לכסות מגוון רחב של נושאים בחקלאות כדי להבטיח שהמודל יהיה מעוגל ובעל ידע בכל ההיבטים של התחום. ניתן להשתמש בכלים כמו גירוד אינטרנט כדי להפוך את תהליך איסוף הנתונים לאוטומטיים ממקורות מקוונים שונים.
2. עיבוד מוקדם של נתונים: לאחר איסוף הנתונים, יש לעבד אותם מראש כדי להכין אותם לאימון ה-LLM. זה כולל ניקוי הנתונים (הסרת כפילויות, תיקון ערכים חסרים או שגויים), נורמליזציה (המרת כל הטקסט לאותיות קטנות, הסרת סימני פיסוק ומילות עצירה), וטוקניזציה (פירוק הטקסט למילים או ביטויים בודדים כדי ליצור את אוצר המילים עבור מודל שפה).
3. בחירת דגם ותצורה: השלב הבא הוא בחירת ארכיטקטורת מודל מתאימה עבור ה-LLM. דגמים מבוססי שנאי כמו GPT-3 ו-BERT הם אפשרויות פופולריות בשל יכולתם להתמודד עם רצפים ארוכים של טקסט ולייצר פלטים באיכות גבוהה. יש לציין בשלב זה את תצורת המודל, כולל מספר השכבות, ראשי הקשב, פונקציית האובדן והיפרפרמטרים.
4. אימון דוגמניות: לאחר מכן המודל מאומן על הנתונים המעובדים מראש. זה כרוך בהצגת המודל עם רצפים של מילים ואימון שלו לחזות את המילה הבאה ברצף. המודל מתאים את משקלו על סמך ההבדל בין החיזוי שלו לבין המילה הבאה בפועל. תהליך זה חוזר על עצמו מיליוני פעמים עד שהדגם מגיע לרמת ביצועים משביעת רצון.
5. הערכה וכיוונון עדין: לאחר ההכשרה הראשונית, המודל מוערך במערך נתונים נפרד לבדיקה. בהתבסס על תוצאות ההערכה, המודל עשוי לדרוש כוונון מסוים. זה יכול לכלול התאמת הפרמטרים ההיפר, שינוי הארכיטקטורה או הדרכה על נתונים נוספים כדי לשפר את הביצועים שלו.
6. כוונון עדין ספציפי לתחום: כדי להפוך את ה-LLM לספציפי לחקלאות, הוא מכוון לפי הנתונים הספציפיים לתחום שנאספו בשלב הראשון. זה עוזר למודל להבין את הטרמינולוגיה, ההקשר והניואנסים הייחודיים של תחום החקלאות.
7. אינטגרציה עם agri1.ai: ברגע שה-LLM הספציפי לתחום מוכן, הוא משולב עם מערכת agri1.ai. זה כרוך בהגדרת ה-API והממשקים הדרושים כדי לאפשר ל-agri1.ai למנף את היכולות של ה-LLM החדש.
8. בדיקת משתמשים ומשוב: מערכת agri1.ai המעודכנת נבדקת לאחר מכן על ידי משתמשי קצה. המשוב שלהם נאסף ומשמש לזיהוי בעיות או אזורים לשיפור.
9. שיפור מתמשך: בהתבסס על משוב משתמשים, ה-LLM מתעדכן ומשתפר כל הזמן. זה יכול לכלול כוונון עדין נוסף, הוספת נתונים נוספים למערך האימונים, או התאמה של ארכיטקטורת המודל.
10. ניטור ותחזוקה: לבסוף, הביצועים של ה-LLM מנוטרים באופן רציף כדי להבטיח שהוא מספק פלט מדויק ושימושי. כמו כן, מתבצעת תחזוקה שוטפת כדי לשמור על תקינות המערכת.

בניית LLM ספציפי לתחום לחקלאות היא משימה מורכבת אך ברת השגה. זה כולל סדרה של שלבים מאיסוף נתונים ועד לשיפור מתמיד. על ידי ביצוע תהליך זה, אנו שואפים לפתח LLM שיכול לספק מידע מדויק, רלוונטי ושימושי למשתמשים בתעשיית החקלאות.

גישות ומודלים של קוד פתוח

אנחנו עוקבים מקרוב אחר ההתפתחויות בקהילת הבינה המלאכותית הרחבה יותר. משאב אחד שמצאנו שימושי במיוחד הוא לוח הישגים של LMSYS, המדרגת LLMs שונים על סמך הביצועים שלהם. חלק מהדגמים בלוח המוביל הזה, כמו GPT-4 של OpenAI ו-Claude-v1 של Anthropic, עשויים לשמש כבסיס ל-agriLLM.

עם זאת, אנו מודעים גם לפער בין מודלים קנייניים למודלים של קוד פתוח. בעוד שדגמים קנייניים כמו GPT-4 מובילים כיום את החבילה, אנחנו אופטימיים לגבי הפוטנציאל של דגמי קוד פתוח להתעדכן. מודל קוד פתוח אחד כזה הוא MosaicML, המספק פלטפורמה גמישה ומודולרית למודלים של למידת מכונה, ואפשר להשתמש בו כדי להכשיר את ה-LLM שלנו.

MosaicML מציע מגוון תכונות שיכולות להיות מועילות לפיתוח של agriLLM. הוא מאפשר הכשרה של מודלים של מיליארדי פרמטרים בשעות, לא ימים, ומציע קנה מידה יעיל בקנה מידה גדול. זה גם מספק שיפורי ביצועים אוטומטיים, המאפשרים למשתמשים להישאר בקצה המדמם של יעילות. הפלטפורמה של MosaicML תומכת באימון מודלים של שפות גדולות בקנה מידה עם פקודה בודדת, והיא מספקת חידוש אוטומטי מתקלות בצמתים ואובדן קוצים, מה שיכול להיות שימושי במיוחד לזמני האימון הארוכים הקשורים לדגמים גדולים כמו agriLLM.

לימודי תואר שני קיימים בחקלאות

במחקר שלנו, נתקלנו במודל ספציפי לחקלאות, בשם AgricultureBERT, מודל שפה מבוסס BERT שעבר הכשרה מוקדמת נוספת מהמחסום של SciBERT. מודל זה הוכשר על מערך נתונים מאוזן של עבודות מדעיות וכלליות בתחום החקלאות, הכולל ידע מתחומים שונים של חקר חקלאות וידע מעשי.

הקורפוס המשמש להכשרת AgricultureBERT מכיל 1.2 מיליון פסקאות מהספרייה הלאומית החקלאית (NAL) מממשלת ארה"ב ו-5.3 מיליון פסקאות מספרים וספרות נפוצה מתחום החקלאות. המודל הוכשר באמצעות גישת הלמידה בפיקוח עצמי של Masked Language Modeling (MLM), הכוללת מיסוך של 15% מהמילים במשפט הקלט ולאחר מכן המודל לחזות את המילים המסכות. גישה זו מאפשרת למודל ללמוד ייצוג דו-כיווני של המשפט, השונה מרשתות עצביות חוזרות ונשנות (RNN) שבדרך כלל רואות את המילים בזו אחר זו, או ממודלים אוטורגרסיביים כמו GPT אשר מסווה באופן פנימי את האסימונים העתידיים.

מודל קיים זה יכול לספק תובנות חשובות ולשמש כנקודת התחלה שימושית, המטרה הסופית שלנו ב-agri1.ai היא לפתח LLM ספציפי לתחום שלנו לחקלאות. אנו מאמינים שעל ידי כך נוכל ליצור מודל שמותאם עוד יותר לצרכי ענף החקלאות ושיכול לספק מידע מדויק ורלוונטי עוד יותר למשתמשים שלנו.

Keep It Agile: The Journey Continues

בתחום המתפתח במהירות של AI, למידה והתאמה מתמשכת הם המפתח. המסע הזה היה חוויה לימודית עמוקה, במיוחד עבורי, מקס.

הבנת הדרכים הייחודיות שבהן משתמשים מקיימים אינטראקציה עם AI בהקשר החקלאי הייתה מאיר עיניים ומלמדים כאחד. כל שאילתה שאנו מקבלים מחקלאים ברחבי העולם מספקת תובנות שלא יסולא בפז לגבי האתגרים האמיתיים שבהם agri1.ai יכולה להתמודד. הגישה שלנו היא איטרטיבית - אנו צופים באינטראקציות של משתמשים, מנהלים דיאלוג עם משתמשים, מפתחים פתרונות, שולחים אותם ואז מעריכים מחדש.

מחזור זה מאפשר לנו כל הזמן לחדד ולשפר את המוצר שלנו, מבטיח שהוא יישאר רלוונטי ושימושי למשתמשים שלנו. אנו שמחים על הפוטנציאל של שיפורים בממשק משתמש (UI) וחווית משתמש (UX) לשיפור השימושיות של agri1.ai . קצב הפיתוח בסצנת ה-AI עוצר נשימה, עם דגמים וטכנולוגיות חדשות שצצים באופן קבוע. אנו מחויבים להישאר מעודכנים בהתפתחויות הללו, ולבחון כיצד נוכל למנף אותן כדי לשפר את agri1.ai ולשרת טוב יותר את החקלאים והעסקים החקלאיים ברחבי העולם.

אני כן מכיר בכך שזו רק ההתחלה. המסע של agri1.ai הוא תהליך מתמשך, ואני מחויב להמשיך ללמוד, להסתגל ולהשתפר. אני נרגש מהפוטנציאל של AI לשנות את החקלאות, ואני אסיר תודה על ההזדמנות להיות חלק מהמסע הזה. תודה שהצטרפת אלינו להרפתקה זו.