자동특징발견을 위한 ReAct 기반 에이전트 FAMOSE

초록

FAMOSE는 ReAct 패러다임을 활용한 AI 에이전트로, 탭형 데이터의 특징을 반복적으로 생성·평가·정제한다. 5‑fold 교차검증과 mRMR 선택을 결합해 회귀·분류 모두에서 기존 자동특징공학 방법보다 우수한 성능을 달성했으며, 특히 10 K 이상의 대규모 분류 데이터에서 ROC‑AUC가 평균 0.23 % 상승하고 회귀에서는 RMSE가 2 % 감소했다.

상세 분석

본 논문은 자동특징공학 분야에 ReAct(Reasoning‑Acting) 에이전트를 최초로 적용한 FAMOSE 프레임워크를 제안한다. 핵심 아이디어는 LLM이 “데이터 과학자” 역할을 수행하면서 메타데이터, 파이썬 코드 실행, 모델 검증 결과를 순환적으로 활용한다는 점이다. 구체적으로 에이전트는 (1) 데이터 컬럼 유형을 파악하고, (2) 가능한 변환·조합을 제안하며, (3) 생성된 파이썬 코드를 실행해 새로운 피처를 만든다. 이후 검증 단계에서 기존 피처와 새 피처를 모두 포함한 모델을 학습·평가하고, 성능 향상이 1 % 이상이면 해당 피처를 후보 집합에 저장한다. 이러한 과정을 최대 20라운드, 각 라운드당 10스텝까지 반복함으로써 “시도‑오류” 학습 루프를 구현한다.

FAMOSE는 두 가지 중요한 설계 선택을 갖는다. 첫째, 피처 선택 단계에서 LLM 대신 전통적인 최소중복‑최대관련(mRMR) 알고리즘을 사용한다. 이는 에이전트가 생성한 다수의 후보 피처 중 중복을 최소화하고 목표 변수와의 상관성을 극대화해 최종 피처 집합을 압축한다는 점에서, 기존 LLM‑기반 선택보다 더 안정적이고 계산 효율적이다. 둘째, 에이전트가 생성한 코드가 오류를 일으키면 정규표현식 기반의 오류 교정 및 재시도를 자동으로 수행한다. 이는 LLM의 환각(hallucination) 문제를 크게 완화하고, 실제 데이터와의 일관성을 유지한다.

실험에서는 20개의 분류 데이터셋(다중 클래스·이진 포함)과 7개의 회귀 데이터셋을 사용했으며, 베이스라인으로 OpenFE, AutoFeat, CAAFE 등 최신 자동특징공학 방법과 전통적인 모델링 파이프라인을 비교했다. 결과는 대규모(>10 K) 분류 데이터에서 ROC‑AUC가 평균 0.23 % 상승, 회귀에서는 RMSE가 평균 2 % 감소하는 등 대부분의 경우 최첨단 수준을 기록했다. 특히 FAMOSE는 일부 AutoML 툴이 실패하는 데이터셋에서도 안정적으로 피처를 생성해 성능 저하를 방지했다.

또한, 에이전트가 각 피처를 제안할 때 “왜 이 피처가 유용한가”에 대한 설명을 함께 출력함으로써 피처 해석성을 제공한다. 이는 모델 투명성을 요구하는 산업 현장에서 중요한 부가가치로 작용한다. 논문은 LLM 기반 에이전트가 단순 생성기가 아니라, 피드백을 통한 학습 루프를 갖출 때 기존 방법보다 뛰어난 창의성과 견고함을 발휘한다는 가설을 실증적으로 뒷받침한다.