AI 기반 자동 데이터 시각화 플랫폼

초록

본 논문은 데이터셋 업로드부터 인터랙티브 시각화까지 전 과정을 AI가 자동으로 수행하는 웹 애플리케이션을 제안한다. Flask와 React 기반 백·프론트엔드에 Firebase Cloud Storage를 연동해 대규모 데이터 처리와 실시간 사용자 요청을 지원한다. 자동 데이터 정제, 특성 선택, 시각화 유형 추천 및 제목 생성 기능을 포함한 시스템을 두 개의 데이터셋으로 평가하였다.

상세 분석

이 연구는 데이터 분석·시각화 파이프라인을 완전 자동화하려는 시도에서 기술적 깊이가 돋보인다. 먼저 백엔드로 Python Flask를 선택한 이유는 머신러닝 라이브러리와의 연동이 용이하고, RESTful API 설계가 직관적이기 때문이다. 데이터는 Firebase Cloud Storage에 저장되며, 이는 서버리스 환경에서 확장성을 확보하고, 여러 사용자가 동시에 업로드·분석 요청을 할 때 병목 현상을 최소화한다는 장점이 있다.

데이터 정제 단계에서는 결측값을 다중 imputation 기법으로 보완하고, IQR 기반 이상치 탐지를 적용한다. 여기서 사용된 알고리즘은 Scikit‑learn의 KNNImputer와 IsolationForest를 조합한 것으로, 정제 품질을 정량적으로 평가하지는 않았지만, 실제 적용 사례에서 결측 비율이 15 % 이하일 때 평균 RMSE가 8 % 감소한 것으로 보고한다.

특성 선택은 네 가지 알고리즘(Chi‑square, Mutual Information, Recursive Feature Elimination, LightGBM 기반 중요도) 중 최적 조합을 자동으로 결정한다. 논문은 각 알고리즘의 선택 기준을 데이터 타입(범주형·연속형)과 목표 변수와의 상관관계에 따라 가중치를 부여하는 방식으로 설명한다. 이 접근법은 일반적인 자동화 도구가 단일 모델에 의존하는 한계를 극복하고, 다양한 데이터 특성에 유연하게 대응한다는 점에서 의미가 크다.

시각화 자동 선택 로직은 데이터의 차원 수와 변수 유형을 매핑해 10가지 이상의 차트 템플릿(히스토그램, 박스플롯, 산점도, 파이차트 등) 중 가장 적합한 것을 추천한다. 또한, GPT‑3 기반 텍스트 생성 모델을 활용해 차트 제목과 설명을 자동 생성한다는 점은 사용자 경험을 크게 향상시킨다. 다만, 텍스트 생성 품질에 대한 정량적 평가가 부족하고, 도메인‑특화 용어가 포함된 경우 오버핏될 위험이 있다.

성능 평가에서는 100 000행 규모의 합성 데이터와 실제 비즈니스 데이터(약 45 000행)를 사용했다. 평균 응답 시간은 3.2 초였으며, 동시 50명 사용 시에도 95 % 응답률을 유지했다. 하지만 메모리 사용량이 2 GB를 초과하는 경우가 있었으며, 이는 클라우드 인스턴스 스케일링 정책에 따라 비용 증가로 이어질 수 있다.

전체적으로 이 시스템은 데이터 과학 비전문가가 복잡한 분석 과정을 거치지 않고도 인사이트를 얻을 수 있게 해준다. 그러나 정제·특성 선택 단계에서의 하이퍼파라미터 자동 튜닝, 시각화 추천의 설명 가능성, 그리고 보안·프라이버시 측면에서 데이터 암호화 및 접근 제어 정책이 구체적으로 제시되지 않은 점은 향후 보완이 필요하다.