자동머신러닝 초보자를 위한 도구 평가

초록

**
본 논문은 머신러닝 초보자 관점에서 TPOT, AutoKeras, AutoGluon 세 AutoML 도구를 실제 은행 데이터셋에 적용해 정확도와 사용성(문서, 초기 설정, 로그)을 비교·분석한다. 실험 결과 AutoGluon이 정확도와 학습 시간 면에서 가장 균형 잡힌 성능을 보였으며, 문서와 초기 사용 편의성에서도 차이가 드러났다. 이를 바탕으로 향후 AutoML 도구가 초보자 친화적으로 발전하기 위한 구체적 개선 방안을 제시한다.

**

상세 분석

**
본 연구는 AutoML 도구의 ‘사용자 경험(UX)’을 정량적 성능 평가와 함께 정성적으로 분석한 점에서 의미가 크다. 먼저 도구 선정 기준은 인지도·오픈소스·가격·기능성을 고려해 TPOT, AutoKeras, AutoGluon을 선택했으며, 각각 유전 알고리즘 기반, 베이지안 최적화 기반 딥러닝 자동화, 앙상블 기반 자동화라는 서로 다른 접근 방식을 갖는다. 실험 데이터는 은행 고객의 거래 기록을 기반으로 한 4가지 연령대 분류 문제이며, 원본 30 000 × 1015 행렬을 연산 제한으로 5 000 × 1015 로 축소한 뒤, 실제 테스트는 250, 500, 1 000 행 규모로 진행했다.

성능 평가는 경쟁과 동일한 ‘정확도(accuracy)’ 지표를 사용했으며, 기본 파라미터와 AutoKeras의 max_trials(5, 20) 등 학습 시간에 영향을 주는 설정을 명시적으로 제어했다. 결과적으로 AutoGluon은 1 000행에서 0.597의 정확도로 가장 높은 성능을 기록했으며, TPOT는 정확도가 뒤따르지만 학습 시간이 가장 길었다. AutoKeras는 max_trials를 낮게 잡을 경우 2 000초 이내에 학습을 마치며 빠른 응답성을 보였지만 정확도는 상대적으로 낮았다. 흥미롭게도 CatBoost 기반 베이스라인 모델이 250·500행에서는 AutoML 도구들을 앞섰으며, 이는 작은 데이터셋에서 전통적인 모델이 여전히 경쟁력을 가질 수 있음을 시사한다.

UX 평가 항목은 문서(빠른 시작 튜토리얼, 통합 예시, 상세 설명), 최초 사용의 간편성(설정 코드 라인 수, 모델 내보내기/불러오기), 로그 제공 여부·커스터마이징 가능성으로 구성되었다. TPOT는 문서가 비교적 풍부하지만 초기 설정에 코드가 다소 복잡하고 로그가 제한적이었다. AutoKeras는 튜토리얼이 직관적이며 로그가 상세하지만, 하이퍼파라미터 조정 옵션이 초보자에게는 다소 난해하게 느껴졌다. AutoGluon은 가장 직관적인 빠른 시작 가이드를 제공하고, 모델 저장·로드가 간단하며, 로그가 단계별 진행 상황을 시각적으로 보여주어 초보자에게 가장 친화적인 UX를 제공한다는 평가를 받았다.

한계점으로는 데이터 규모가 작아 실제 산업 현장의 대규모 데이터 처리 능력을 충분히 검증하지 못했으며, GPU 활용 여부와 클라우드 환경에서의 성능 차이를 다루지 않은 점을 들 수 있다. 또한 UX 평가가 저자 2인의 주관적 경험에 기반했으므로, 보다 폭넓은 사용자 조사와 정량적 설문이 필요하다.

종합하면, AutoML 도구는 정확도 향상과 개발 생산성 측면에서 유의미한 가치를 제공하지만, 초보자를 위한 문서 체계화와 초기 설정 간소화, 로그 가시성 강화가 향후 발전 방향으로 강조된다.

**