agri1.ai: 농업 분야의 LLM, chatGPT에 대한 양면 접근법 - 프론트엔드 및 임베딩, 농업용 도메인별 대규모 언어 모델

농업 산업에서 인공지능(AI)의 잠재력을 탐구하는 것을 목표로 하는 이니셔티브인 agri1.ai에 오신 것을 환영합니다. 전 세계 인구가 계속 증가함에 따라 효율적이고 지속 가능한 농업 관행에 대한 요구가 그 어느 때보다 절실해지고 있습니다. 방대한 양의 데이터를 분석하고 정확한 예측을 할 수 있는 AI는 이러한 수요를 충족하는 데 획기적인 역할을 할 수 있습니다.

소개
agri1.ai의 현재 상태
농업을 위한 agri1.ai 및 도메인별 대규모 언어 모델의 미래
LLM 오픈 소스 접근 방식 및 모델
기존 농업 분야 LLM

소개

와 agri1.ai를 통해 농업에 AI의 힘을 활용하기 위해 양면 접근 방식을 취하고 있습니다. 한쪽에서는 기존의 대규모 언어 모델(LLM)을 사용하는 프론트엔드 인터페이스를 개발하고, 이를 미세 조정하고, 임베딩하고, 공개 및 내부 데이터로 컨텍스트화하는 작업을 진행하고 있습니다. 다른 한편에서는 농업에 특화된 자체 도메인 전용 LLM을 만들 가능성을 모색하고 있습니다.

기후와 시장 측면에서 급변하는 환경 속에서 농업1.ai의 개념은 점점 더 중요해지고 있습니다. 특히 아프리카 대륙과 같이 대규모 농업 중심의 사회와 지역에서는 지식 부족으로 인해 농업 분야에서 심각한 문제가 발생할 수 있습니다. 이러한 문제를 해결하고 급변하는 기후 조건과 싸우는 소규모 농가를 지원하며 기후 및 토양 조건에 따라 새로운 농업 문화에 대한 더 나은 컨설팅을 제공하는 것이 agri1.ai의 사명 중 하나입니다. 세계 일부 지역의 교육 부족도 이니셔티브를 통해 농부들을 지원하려는 동기가 됩니다.

agri1.ai의 현재 상태: 인간과 AI 간의 격차 해소

이 이니셔티브의 핵심인 agri1.ai는 농업 분야의 인간과 AI 소프트웨어 및 알고리즘의 세계 사이의 격차를 해소하는 역동적인 플랫폼 역할을 합니다. 우리의 주요 목표는 이 두 개체 간의 원활한 상호 작용을 촉진하여 농업 관행의 효율성과 지속 가능성을 향상시키는 공생 관계를 조성하는 것입니다.

현재, a gri1.ai 는 최첨단 대규모 언어 모델(LLM)인 OpenAI의 GPT를 기반으로 작동합니다. 이 모델을 부분적으로 조정하고 미세 조정하여 농업 중심 텍스트를 더 잘 이해하고 생성함으로써 사용자에게 관련성과 유용성을 향상시켰습니다. 또한, 공개 데이터와 내부 데이터를 모두 통합하는 데이터 임베딩을 부분적으로 통합하여 농업 영역에 대한 모델의 맥락적 이해를 강화했습니다.

AI 영역에서는 단순함이 성공의 열쇠인 경우가 많습니다. AI 애플리케이션을 구축하고 배포하는 것은 복잡한 프로세스가 될 수 있으며, 운영의 단순성을 유지하면 고품질의 사용자 친화적인 서비스를 제공하는 데 집중할 수 있습니다. 기존의 호스팅된 LLM을 기반으로 구축함으로써 능률적이고 효율적인 시스템을 유지하면서 고급 AI의 강력한 기능을 활용할 수 있습니다.

Dropbox 운영의 초석 중 하나는 데이터 거버넌스입니다. 우리는 사용자 데이터의 가용성, 유용성, 무결성, 보안을 관리하는 것이 매우 중요하다는 것을 잘 알고 있습니다. 데이터 거버넌스에 대한 이러한 포괄적인 접근 방식은 agri1.ai가 제공하는 정보의 신뢰성과 유용성을 보장할 뿐만 아니라 규정 준수, 개인정보 보호, 품질 및 보안과 같은 주요 우려 사항도 해결합니다. 저희는 농업 기업들이 데이터 유출과 LLM이 내부 데이터에 대해 학습하여 데이터 주권을 침해할 가능성에 대해 타당한 우려를 가지고 있다는 것을 잘 알고 있습니다. 이러한 우려를 매우 심각하게 받아들이고 있으며 이러한 문제를 해결하기 위한 전략을 적극적으로 마련하고 있음을 사용자에게 알려드리고자 합니다.

저희는 agri1.ai를 지속적으로 개선하고 향상시키면서 기존 LLM을 재교육하거나 미세 조정하여 새로운 LLM을 만들 가능성도 모색하고 있습니다. 이러한 접근 방식을 통해 보다 전문적이고 효과적인 농업용 모델을 만들 수 있을 것으로 기대됩니다.

agri1.ai의 미래: 농업을 위한 도메인별 대규모 언어 모델

지금까지 agri1.ai를 통해 달성한 성과에 자부심을 느끼지만, 여기서 멈추지 않을 것입니다. 저희는 농업을 위한 자체 도메인 전용 LLM을 개발할 가능성도 모색하고 있습니다. 이 모델은 대량의 농업 관련 텍스트 데이터로 학습되어 농업 산업의 언어와 뉘앙스에 능통한 전문가가 될 것입니다.

데이터 수집, 데이터 정리 및 전처리, 모델 선택, 모델 학습, 미세 조정, 평가 및 테스트, 배포를 포함하는 복잡한 프로세스를 거쳐야 합니다. 또한 다양한 농업 분야의 전문가를 참여시켜 세부적인 학습 데이터 세트를 구축하고 모델을 미세 조정할 수 있도록 지원할 계획입니다.

데이터 수집: 농업을 위한 도메인별 LLM을 구축하는 첫 번째 단계는 해당 분야와 관련된 방대한 양의 데이터를 수집하는 것입니다. 여기에는 과학 기사, 연구 논문, 농업 가이드, 일기 예보, 작물 수확량 데이터 등이 포함될 수 있습니다. 데이터는 농업 분야의 모든 측면에 대해 균형 잡힌 지식을 갖춘 모델이 될 수 있도록 농업 분야의 다양한 주제를 다루어야 합니다. 웹 스크래핑과 같은 도구를 사용하여 다양한 온라인 소스에서 데이터 수집 프로세스를 자동화할 수 있습니다.
데이터 전처리: 데이터를 수집한 후에는 LLM 학습을 위해 데이터를 전처리해야 합니다. 여기에는 데이터 정리(중복 제거, 누락되거나 잘못된 값 수정), 정규화(모든 텍스트를 소문자로 변환, 구두점 및 마침표 제거), 토큰화(언어 모델의 어휘를 생성하기 위해 텍스트를 개별 단어 또는 구문으로 세분화)가 포함됩니다.
모델 선택 및 구성: 다음 단계는 LLM에 적합한 모델 아키텍처를 선택하는 것입니다. 긴 텍스트 시퀀스를 처리하고 고품질 출력을 생성할 수 있기 때문에 GPT-3 및 BERT와 같은 트랜스포머 기반 모델이 널리 사용됩니다. 이 단계에서는 레이어 수, 주의 헤드, 손실 함수 및 하이퍼파라미터를 포함한 모델 구성을 지정해야 합니다.
모델 교육: 그런 다음 사전 처리된 데이터로 모델을 학습시킵니다. 여기에는 모델에 단어 시퀀스를 제시하고 시퀀스의 다음 단어를 예측하도록 훈련하는 과정이 포함됩니다. 모델은 예측한 단어와 실제 다음 단어의 차이에 따라 가중치를 조정합니다. 이 과정은 모델이 만족스러운 수준의 성능에 도달할 때까지 수백만 번 반복됩니다.
평가 및 미세 조정: 초기 훈련 후 별도의 테스트 데이터 세트에서 모델을 평가합니다. 평가 결과에 따라 모델에 약간의 미세 조정이 필요할 수 있습니다. 여기에는 하이퍼파라미터를 조정하거나 아키텍처를 변경하거나 추가 데이터에 대한 학습을 통해 성능을 개선하는 작업이 포함될 수 있습니다.
도메인별 미세 조정: 농업에 특화된 LLM을 만들기 위해 첫 번째 단계에서 수집한 도메인별 데이터를 기반으로 미세 조정합니다. 이를 통해 모델이 농업 도메인의 고유한 용어, 컨텍스트 및 뉘앙스를 이해하는 데 도움이 됩니다.
agri1.ai와 통합: 도메인별 LLM이 준비되면 agri1.ai 시스템과 통합됩니다. 여기에는 agri1.ai가 새로운 LLM의 기능을 활용할 수 있도록 필요한 API와 인터페이스를 설정하는 작업이 포함됩니다.
사용자 테스트 및 피드백: 그런 다음 업데이트된 agri1.ai 시스템을 최종 사용자가 테스트합니다. 이들의 피드백을 수집하여 문제나 개선이 필요한 부분을 파악하는 데 사용합니다.
지속적인 개선: 사용자 피드백을 기반으로 LLM은 지속적으로 업데이트되고 개선됩니다. 여기에는 추가 미세 조정, 학습 세트에 더 많은 데이터 추가 또는 모델 아키텍처 조정이 포함될 수 있습니다.
모니터링 및 유지 관리: 마지막으로 LLM의 성능을 지속적으로 모니터링하여 정확하고 유용한 출력을 제공하는지 확인합니다. 또한 시스템이 원활하게 작동할 수 있도록 정기적인 유지보수를 수행합니다.

농업을 위한 도메인별 LLM을 구축하는 것은 복잡하지만 달성 가능한 작업입니다. 데이터 수집부터 지속적인 개선에 이르기까지 일련의 단계를 거쳐야 합니다. 이 프로세스를 따라 농업 업계 사용자에게 정확하고 관련성 있으며 유용한 정보를 제공할 수 있는 LLM을 개발하는 것이 목표입니다.

오픈 소스 접근 방식 및 모델

저희는 더 넓은 AI 커뮤니티의 발전 상황을 면밀히 주시하고 있습니다. 특히 유용하다고 생각되는 리소스 중 하나는 LMSYS 리더보드에서 다양한 LLM의 성능을 기준으로 순위를 매겼습니다. 이 순위표의 일부 모델(예: OpenAI의 GPT-4 및 Anthropic의 Claude-v1)은 잠재적으로 농업용 LLM의 기초로 사용될 수 있습니다.

그러나 독점 모델과 오픈 소스 모델 간의 격차도 잘 알고 있습니다. 현재 GPT-4와 같은 독점 모델이 선두를 달리고 있지만, 오픈 소스 모델이 따라잡을 수 있는 잠재력을 낙관하고 있습니다. 이러한 오픈 소스 모델 중 하나는 머신러닝 모델을 위한 유연한 모듈형 플랫폼을 제공하는 MosaicML로, 자체 LLM을 학습하는 데 사용할 수 있을 것으로 보입니다.

모자이크ML 는 농업용 머신러닝 개발에 도움이 될 수 있는 다양한 기능을 제공합니다. 수십억 개의 매개변수 모델을 며칠이 아닌 몇 시간 만에 학습할 수 있으며, 대규모로 효율적으로 확장할 수 있습니다. 또한 자동화된 성능 향상 기능을 제공하여 사용자가 최첨단의 효율성을 유지할 수 있도록 지원합니다. MosaicML의 플랫폼은 단일 명령으로 대규모 언어 모델을 대규모로 학습할 수 있도록 지원하며, 노드 장애 및 손실 급증 시 자동으로 재개할 수 있는 기능을 제공하므로 특히 농업용 ML과 같은 대규모 모델과 관련된 긴 학습 시간에 유용할 수 있습니다.

기존 농업 분야 LLM

이번 연구에서 우리는 농업에 특화된 모델인 AgricultureBERT라는 모델을 발견했는데, 이는 SciBERT의 체크포인트에서 추가적으로 사전 학습된 BERT 기반 언어 모델입니다. 이 모델은 다양한 농업 연구 분야의 지식과 실용적인 지식을 포괄하는 농업 분야의 과학 및 일반 저작의 균형 잡힌 데이터 세트를 기반으로 학습되었습니다.

AgricultureBERT를 훈련하는 데 사용된 말뭉치에는 미국 정부의 국립농업도서관(NAL)에서 제공하는 120만 개의 단락과 농업 분야의 서적 및 일반 문헌에서 제공하는 530만 개의 단락이 포함되어 있습니다. 이 모델은 입력 문장의 단어 중 15%를 마스킹한 다음 모델이 마스킹된 단어를 예측하도록 하는 마스크 언어 모델링(MLM)의 자가 지도 학습 방식을 사용하여 학습되었습니다. 이 접근 방식을 통해 모델은 문장의 양방향 표현을 학습할 수 있으며, 이는 일반적으로 단어를 차례로 보는 기존의 순환 신경망(RNN)이나 내부적으로 미래 토큰을 마스킹하는 GPT와 같은 자동 회귀 모델과는 다른 방식입니다.

이 기존 모델은 귀중한 인사이트를 제공하고 유용한 출발점이 될 수 있으며, 저희의 궁극적인 목표는 농업에 특화된 자체 도메인 전용 LLM을 개발하는 것입니다. 이를 통해 농업 업계의 요구사항에 더욱 맞춤화되고 사용자에게 더욱 정확하고 관련성 높은 정보를 제공할 수 있는 모델을 만들 수 있을 것으로 믿습니다.

민첩성 유지: 계속되는 여정

빠르게 진화하는 AI 분야에서는 지속적인 학습과 적응이 핵심입니다. 이 여정은 특히 저 맥스에게 심오한 배움의 경험이었습니다.

농업 분야에서 사용자가 AI와 상호 작용하는 독특한 방식을 이해하는 것은 깨달음과 교훈을 동시에 얻었습니다. 전 세계 농부들로부터 받는 각 쿼리는 agri1.ai가 해결할 수 있는 실제 과제에 대한 귀중한 인사이트를 제공합니다. 사용자 상호 작용을 관찰하고, 사용자와 대화를 나누고, 솔루션을 개발하여 출시하고, 다시 평가하는 반복적인 접근 방식을 취합니다.

이 주기를 통해 제품을 지속적으로 개선하고 개선하여 사용자에게 관련성 있고 유용한 제품을 제공할 수 있습니다. 사용자 인터페이스(UI)와 사용자 경험(UX)을 개선하여 agri1.ai의 사용성을 더욱 향상시킬 수 있는 잠재력에 대해 기대가 큽니다. AI 분야의 발전 속도는 놀라울 정도로 빠르며, 새로운 모델과 기술이 정기적으로 등장하고 있습니다. 저희는 이러한 발전을 따라잡기 위해 최선을 다하고 있으며, 이를 활용하여 agri1.ai를 개선하고 전 세계 농부 및 농업 기업에 더 나은 서비스를 제공할 수 있는 방법을 모색하고 있습니다.

저는 이것이 시작에 불과하다는 것을 잘 알고 있습니다. agri1.ai의 여정은 현재 진행형이며, 저는 계속해서 배우고 적응하고 개선하기 위해 최선을 다할 것입니다. 저는 농업을 변화시킬 수 있는 AI의 잠재력에 대해 기대가 크며, 이 여정의 일부가 될 수 있는 기회에 감사하고 있습니다. 이 모험에 동참해 주셔서 감사합니다.