서론

농업은 전 세계 식량 안보와 경제적 안정에 중추적인 역할을 하지만, 기후 변화, 인구 증가 및 점점 더 불규칙한 날씨 패턴으로 인해 점점 더 큰 압력을 받고 있습니다. 정확한 농작물 수확량 예측은 정부 정책에 대한 정보 제공, 공급망 안정화, 농업 기업 물류 지침 및 관수, 비료 사용, 그리고 수확 일정에 대한 농민의 결정을 지원하는 데 필수적입니다. 이러한 필요성은 한 지역에서 발생한 생산 충격이 국제 시장 전체로 급속히 확산되는 경향으로 인해 더욱 절실해졌습니다.

지구 관측(Earth Observation, EO), 농기상학 및 기계 학습(Machine Learning, ML) 분야에서 이루어진 주요 진전은 데이터 주도의 농업 예측 가능성을 크게 확장시켰습니다. 개방형 EO 프로그램인 코페르니쿠스 센티넬 임무는 고해상도 광학, 레이더 및 대기 측정을 제공하여 작물 상태를 상세하게 모니터링할 수 있게 합니다. MODIS의 장기간 식생 지수는 큰 지역에서 식물학적 분석을 가능하게 하며, ERA5-Land와 NASA POWER 등의 기후 데이터셋은 온도, 강수량, 복사량, 습도 및 바람과 같은 농업 생산성의 주요 촉진 요인에 대한 전 세계적으로 일관된 정보를 제공합니다. SoilGrids와 SRTM의 보조 환경 데이터셋은 토양 구조, 탄소 함량, pH, 고도, 경사 및 미기후적 영향을 설명합니다.

그러나 이러한 진전에도 불구하고 농작물 수확량 예측 모델의 실용적인 개발은 지속적으로 데이터 공학적 병목 현상에 제한받고 있습니다. 대부분의 연구는 특정 작물, 지역 또는 시간대를 대상으로 맞춤형 파이프라인을 구축하는데, 이 과정에서 다양한 데이터셋을 통합하고 공간 및 시간 해상도를 조화시키기 위한 수작업이 많이 필요합니다. 심지어 최신 다중 모드의 심층 학습 접근 방식조차 복잡한, 수작업이 필요한 전처리 워크플로우에 의존하고 있습니다.

이러한 문제를 해결하기 위해 UniCrop을 소개합니다. UniCrop는 농작물 수확량 예측을 위한 다중 출처 환경 데이터의 획득, 조화 및 변환을 자동화하는 보편적이고 구성 설정에 따른 데이터 파이프라인입니다. UniCrop은 필요한 변수 지정과 구현을 분리하여 사용자가 단순한 구성 파일을 수정함으로써 새로운 작물이나 지역에 파이프라인을 적응시킬 수 있도록 합니다.

UniCrop는 특정 작물의 예측 전문 지식 또는 고급 학습 아키텍처를 대체하려는 것이 아니라, 다양한 통계 및 기계 학습 모델을 작물과 지역 간에 일관되게 적용할 수 있는 견고하고 재사용 가능한 투명한 데이터 기반을 제공합니다.

배경

농작물 수확량 예측은 지난 20년 동안 지구 관측, 농기상학 모델링 및 기계 학습(ML) 분야에서 이루어진 진전에 의해 크게 발전했습니다. 초기 접근 방식은 주로 개별 작물과 지역을 위한 통계적 회귀와 경험적 모델에 의존했지만, 최근 연구는 다중 출처 환경 데이터를 ML 아키텍처와 통합하여 비선형 작물-환경 상호작용을 포착하는 경향이 있습니다. 그럼에도 불구하고 확장성, 데이터의 이질성 및 운영적 일반화에 대한 지속적인 도전 과제가 남아있습니다. 본 절에서는 세 가지 관련 분야에서의 주요 발전을 검토합니다: (i) 위성 기반 원격 감지, (ii) 환경 및 농기상 데이터 통합, (iii) 수확량 예측을 위한 머신러닝 접근 방식. 우리는 현재 관행에서 해결되지 않은 한계를 식별하고 UniCrop 프레임워크가 동기를 부여하는 점으로 마무리합니다.

위성 기반 광학 및 레이더 원격 감지

원격 감지는 작물 모니터링, 식물 평가, 생장 추적, 홍수 매핑 및 수확량 예측을 지원하는 데 중추적인 역할을 합니다. 다중 스펙트럼 센서는 특히 Sentinel-2에 탑재된 Multispectral Instrument로 작물을 모니터링하고 Normalized Difference Vegetation Index (NDVI) 및 Enhanced Vegetation Index (EVI)와 같은 식생 지수를 파생시키는 데 사용되는 고해상도 반사율 데이터를 제공합니다. 이러한 지수는 캐노피 녹색, 생물량 축적, 스트레스 반응 등을 위한 프록시를 제공하지만, 특히 모나soon 영향을 받거나 작물 모니터링이 가장 필요한 열대 지역에서 구름 오염에 취약합니다.

Synthetic Aperture Radar (SAR)는 이 한계를 극복하기 위해 구름 관통형 마이크로파 관측을 제공합니다. Sentinel-1 SAR 데이터는 작물 캐노피의 구조적 및 수분 관련 속성을 포착하여 모든 날씨 조건 하에서 견고한 모니터링을 가능하게 합니다. 최근 연구에서는 광학과 SAR 관찰을 결합해 그들의 보완적인 특징을 활용하고 있습니다. Transformer 기반의 융합 모델은 쌀 매핑 및 생장 인식에 성능 향상을 보여주며, 다중 모드 위성-기상 시스템은 앙상블 심층 학습 아키텍처를 통해 쌀 수확량 예측 정확도를 높이는 것으로 나타났습니다. 이러한 추세는 EO 융합의 강점을 보여주지만, 다중 센서 통합에 내재된 데이터 공학적 작업 부담을 강조하기도 합니다.

저해상도 시계열 및 식물 동태

고해상도 이미지 외에도 MODIS와 같은 저해상도 제품은 높은 시간 주기 및 전 세계적인 커버리지를 제공하므로 여전히 중요합니다. MOD13, MOD15, MOD16 및 MOD17과 같이 모니터링에 널리 사용되는 MODIS 식생 지수는 작물 발달의 계절적 동향을 모니터링하는 데 사용됩니다. 일관된 구름 제거 합성은 장기 트렌드 분석을 가능하게 하며, 대규모나 다중 지역 수확량 예측에 유용합니다. NDVI 곡선, 생장 지표 또는 조화된 Landsat-MODIS 시리즈를 사용한 시간 시계열 모델링은 전 세계적으로 밀, 옥수수, 쌀, 콩 및 감자 시스템에 적용되었습니다. 그러나 MODIS와 고해상도 데이터셋을 조정하기 위해서는 세심한 시간적 정렬과 공간 축소가 필요하며 이는 종종 수작업으로 이루어집니다.

기후, 토양 및 지형 요인 통합

작물 발달은 날씨 변동성 및 환경 조건에 의해 강하게 영향을 받습니다. 기후 재분석 제품인 ERA5-Land는 온도, 복사량, 강수량 및 토양 수분과 같은 일관된 전 세계적인 기록을 제공하여 작물-기후 상호작용 모델링에 필수적입니다. 마찬가지로 NASA POWER는 증기 압력 부족(VPD), 이슬점 온도, 바람 속도 및 일간 온도 범위(DTR)와 같은 농업 기상학적으로 사용 가능한 변수를 제공합니다. 이러한 변수는 열파, 습도 변동 및 대기 건조와 관련된 주요 스트레스 요인을 포착합니다.

정적 환경 특성은 또한 작물 성장을 크게 영향받습니다. SoilGrids는 250m 해상도에서 전 세계적인 토양 구조, 탄소, pH 및 체적 밀도 지도를 제공하여 토양-수분 및 영양 가용성 모델링을 가능하게 합니다. SRTM의 지형 데이터는 수문학적 행동, 경사로 인한 침식 및 미기후에 대한 정보를 제공합니다. 이러한 다양한 데이터셋 통합은 세심한 표준화, 재투영, 시간 일치 및 출처 추적을 필요로 합니다. 그러나 기존 농업 분석 워크플로우에서 이 단계들은 거의 자동화되지 않습니다.

수확량 예측을 위한 머신러닝 접근 방식

머신 학습은 복잡하고 비선형 관계를 모델링하는 능력 덕분에 데이터 주도의 수확량 예측에서 주요 도구가 되었습니다. Random Forests, Gradient Boosting Machines 및 LightGBM과 같은 앙상블 트리 기반 모델은 그들의 견고성과 노이지 입력 처리 능력 때문에 고전적인 회귀보다 훨씬 우수한 성능을 보여줍니다. 최근 연구에서는 공간 이미지를 위한 컨볼루셔널 신경망(CNNs) 및 시간 시계열 기후와 생장 모델링에 대한 순환 또는 LSTM 네트워크를 포함하는 신경 구조를 탐색하고 있습니다. EO 이미지, 기상학, 작물 성장 지표를 결합한 앙상블 심층 학습 아키텍처는 쌀, 옥수수 및 밀 수확량 예측에서 강력한 성능을 보여주었습니다.

그럼에도 불구하고 모델링 혁신에도 불구하고 몇 가지 도전 과제가 남아 있습니다. 심층 학습 아키텍처는 대규모 데이터셋이 필요하며 누락되거나 일치되지 않은 입력에 민감합니다. 더욱 중요한 것은, 많은 최신 상태의 모델들이 불일관하게 공정하거나 부족한 데이터셋에서 간단한 베이스라인보다 크게 나아지지 않는다는 것입니다. 이는 중요한 통찰력을 강조합니다: 예측 성능은 모델 복잡도보다 자료의 품질과 조정에 의해 더 많이 결정됩니다.

현재 파이프라인의 한계 및 UniCrop 동기

문헌에서 대부분의 연구는 특정 작물, 지역 또는 위성 제품을 대상으로 맞춤형 워크플로우를 개발합니다. 이러한 워크플로우는 종종 복잡하고 수작업으로 구성되며 재현하기 어렵습니다. 표준화된 파이프라인의 부재로 인해 메소드가 고립되고, 가용성에 제한이 있으며 농업 연구자들에 대한 상당한 진입 장벽이 생깁니다. 여러 검토에서 지적했듯이 확장 가능한 수확량 예측의 주요 장애물은 모델 설계가 아니라 다양한 환경 데이터를 수집, 조정 및 준비하는 데 필요한 공학입니다.

UniCrop는 이러한 한계를 직접적으로 해결하기 위해 다중 출처 환경 데이터를 획득, 정리, 시간 일치, 공간 집약화, 특징 공학 및 선택을 자동화하는 보편적이고 구성 설정에 따른 데이터 파이프라인을 제공합니다. 데이터 공학 기반의 표준화를 통해 UniCrop는 작물 유형이나 지리적 맥락과 관계없이 재현 가능하고 전이 가능한 수확량 예측 모델링을 가능하게 합니다.

자료 및 방법

UniCrop는 다양한 출처 환경 데이터를 분석 준비용 데이터셋으로 획득, 정리, 조정 및 변환하는 보편적이고 재사용 가능하며 구성 설정에 따른 데이터 파이프라인입니다. 이 시스템은 데이터 소스 선택과 구현을 분리하여 작물, 지역 또는 시간 창을 가로지르는 빠른 포터빌리티를 가능하게 합니다. 본 절에서는 데이터 수집부터 특징 공학, 선택 및 모델 훈련까지의 전체 UniCrop 방법론을 상세히 설명합니다.

고수준 파이프라인 아키텍처

UniCrop 아키텍처 (그림 1)는 다섯 가지 모듈러 단계로 구조화되어 있습니다:

1. 구성 및 계획: 사용자는 구조화된 특징 매핑 파일을 통해 필요한 기능을 지정하고 필드 수준 관찰(위도, 경도, 날짜)을 제공합니다. 이러한 입력은 동적으로 구성되는 fetch plan을 주도합니다.

2. 데이터 획득: 다중 출처 환경 데이터는 Google Earth Engine (GEE) 및 공개 API를 통해 위성, 기후, 토양 및 지형 저장소에서 수집됩니다.

3. 데이터 조정: 모든 소스 출력은 시간적, 공간적으로 정렬되고, 정리되어, 표준화되고 통합되며 완전한 출처 기록이 있는 단일 통합 테이블로 합쳐집니다.

4. 특징 공학 및 선택: 통계적 필터링, 농업 특징 공학, 그리고 최소 중복성 최대 관련성(mRMR) 선택은 정보적인 예측자 집합을 도출하는 데 적용됩니다.

5. 기본 모델 훈련 및 평가: 선택된 기능은 엄격한 교차 검증 하에서 여러 기본 모델을 훈련시키며, 제약 조건 앙상블로 이어집니다.

이 모듈러 설계는 UniCrop를 새로운 작물, 지역 또는 시간 해상도에 확장할 때 구성 계층만 변경하면 되도록 보장하며, 기존 파이프라인 논리를 수정하지 않습니다.

특징 매핑 및 Fetch Plan 생성

특징 매핑 파일은 UniCrop에서 필요한 모든 환경 변수를 정의하는 중앙 구성 층입니다. 각 항목은 검색에 사용되는 API 매개변수, 데이터셋 소스, 플랫폼(GEE, NASA POWER, SoilGrids) 및 관련 도출 또는 계산 규칙을 포함한 키 변수 이름을 지정합니다. 이 구조화된 매핑은 UniCrop가 데이터 지정과 구현 사이를 분리하도록 하여 사용자가 코드 변경 없이 단순히 인간 가독성 있는 구성 파일을 수정하여 새로운 작물이나 지역에 파이프라인을 적응시킬 수 있도록 합니다.

특징 매핑 지정

사용자가 필요한 모든 기능은 단일 CSV 지정, unicrop_feature_mapping.csv에 정의됩니다. 각 행은 데이터 변수 하나에 해당하며 포함하는 내용은 다음과 같습니다:

• 키 변수: 인간 가독 가능 식별자 (예: NDVI, T2M, soil_carbon)입니다.
• API 매개변수: 검색을 제어하는 데이터 출처 특정 토큰 (예: Sentinel-2 밴드 이름 또는 NASA POWER API 코드).
• 소스 데이터셋: 제품 식별자 (예: ERA5-Land, MODIS MOD13Q1, Copernicus Sentinel-1)입니다.
• 플랫폼: 검색 경로 (예: GEE 컬렉션 ID, API 엔드포인트).
• 노트/도출: O