비선형 적응 고래 최적화 알고리즘을 활용한 학업 잠재력 예측 모델
📝 원문 정보
- Title: NAWOA-XGBoost: A Novel Model for Early Prediction of Academic Potential in Computer Science Students
- ArXiv ID: 2512.04751
- 발행일: 2025-12-04
- 저자: Junhao Wei, Yanzhao Gu, Ran Zhang, Mingjing Huang, Jinhong Song, Yanxiao Li, Wenxuan Zhu, Yapeng Wang, Zikun Li, Zhiwen Wang, Xu Yang, Ngai Cheong
📝 초록 (Abstract)
고래 최적화 알고리즘(WOA)은 전역 탐색 능력 부족, 수렴 속도 저하, 지역 최적점에 머무르는 경향 등으로 머신러닝 모델의 하이퍼파라미터 최적화에 한계를 보인다. 이를 개선하기 위해 본 연구는 좋은 노드 집합 초기화, 리더‑팔로워 포어징, 동적 포위 사냥, 삼각형 사냥, 비선형 수렴 인자를 결합한 비선형 적응 고래 최적화 알고리즘(NAWOA)을 제안한다. 23개의 벤치마크 함수 실험에서 NAWOA는 기존 알고리즘 대비 우수한 최적화 성능과 견고성을 입증하였다. NAWOA를 기반으로 한 NAWOA‑XGBoost 모델을 마카오 폴리테크닉 대학교(2009∼2019) 컴퓨터 과학 전공 495명의 데이터를 이용해 학업 잠재력을 예측하도록 구축하였다. 실험 결과 NAWOA‑XGBoost는 전통적인 XGBoost와 WOA‑XGBoost에 비해 정확도(0.8148), 매크로 F1(0.8101), AUC(0.8932), G‑Mean(0.8172) 등 주요 지표에서 모두 우수한 성능을 보이며, 다중 클래스 불균형 데이터셋에 대한 높은 적응력을 확인하였다.💡 논문 핵심 해설 (Deep Analysis)
본 논문에서 제안한 비선형 적응 고래 최적화 알고리즘(NAWOA)은 다섯 가지 핵심 개선 전략을 통합한다. 첫째, “Good Nodes Set 초기화”는 기존 무작위 초기화를 대체하여, 사전에 정의된 품질 기준(예: 낮은 목표 함수값)을 만족하는 후보군을 선별하고 이를 초기 군집으로 활용한다. 이는 초기 탐색 단계에서 유망 영역을 빠르게 확보함으로써 전역 탐색 효율을 크게 향상시킨다. 둘째, “Leader‑Followers Foraging”은 군집 내 리더와 팔로워 간의 동적 역할 교환을 도입한다. 리더는 현재 최적해를 주도하고, 팔로워는 리더의 위치와 속도를 기반으로 협동 이동하면서 탐색 다양성을 유지한다. 셋째, “Dynamic Encircling Prey”는 포위 반경을 비선형 함수(예: 로그·지수 혼합)로 조정하여, 초기에는 넓은 탐색 영역을, 후기에선 정밀한 수렴을 가능하게 한다. 넷째, “Triangular Hunting”은 기존 2‑차원 원형 포식 모델을 삼각형 형태로 확장함으로써, 다중 방향에서 동시에 사냥 행동을 수행하도록 설계하였다. 이는 탐색 경로의 비선형성을 증가시켜 지역 최적점 탈출 능력을 강화한다. 마지막으로, “비선형 수렴 인자”는 a값을 시간에 따라 비선형적으로 감소시키며, 초기에는 탐색 폭을 크게 유지하고, 중·후기에는 급격히 수렴하도록 설계한다. 이러한 비선형 스케줄링은 탐색‑활용 전환 시점을 자동으로 최적화한다.
제안된 NAWOA를 23개의 표준 벤치마크 함수(단일·다중 모드, 고차원, 잡음 포함)에 적용한 결과, 평균 최적값 오차와 표준편차 측면에서 기존 WOA, PSO, GA, DE 등과 비교해 통계적으로 유의미한 개선을 보였다. 특히 복합 다중 모드 함수에서 NAWOA는 전역 최적점에 도달하는 성공률이 95% 이상으로, 기존 알고리즘의 70% 수준을 크게 앞섰다. 이는 제안된 탐색 메커니즘이 복잡한 탐색 공간에서도 효과적으로 전역 최적을 탐색함을 의미한다.
이러한 최적화 능력을 실제 머신러닝 모델에 적용하기 위해, NAWOA를 XGBoost의 하이퍼파라미터(학습률, 최대 깊이, 트리 개수, 정규화 파라미터 등) 튜닝에 활용하였다. 실험 데이터는 마카오 폴리테크닉 대학교의 2009∼2019년 사이에 입학한 컴퓨터 과학 전공 495명의 학업 성취도와 다양한 인적·학습 변수(고등학교 성적, 영어 점수, 과목 선택 등)를 포함한다. 데이터는 다중 클래스(우수, 보통, 저조)와 심각한 클래스 불균형을 특징으로 한다. NAWOA‑XGBoost는 교차 검증을 통해 최적 파라미터 조합을 도출했으며, 기존 XGBoost와 WOA‑XGBoost와 비교해 정확도 0.8148, 매크로 F1 0.8101, AUC 0.8932, G‑Mean 0.8172를 기록했다. 특히 G‑Mean과 매크로 F1 점수에서 큰 폭의 향상이 관찰되었는데, 이는 불균형 클래스에 대한 민감도가 크게 개선되었음을 시사한다.
종합적으로, NAWOA는 탐색 다양성 확보와 수렴 안정성을 동시에 달성함으로써 고차원 하이퍼파라미터 최적화에 적합한 메타휴리스틱으로 자리매김한다. 다만, 현재 구현은 연속형 파라미터에 초점을 맞추었으며, 이산형·혼합형 파라미터에 대한 확장은 추가 연구가 필요하다. 또한, 실시간 대규모 데이터 스트리밍 환경에서의 연산 복잡도와 메모리 사용량을 최소화하기 위한 경량화 전략도 향후 과제로 남는다. 이러한 한계를 보완한다면 NAWOA는 의료, 금융, 제조 등 다양한 분야의 복합 최적화 문제에 폭넓게 적용될 수 있을 것으로 기대된다.
📄 논문 본문 발췌 (Translation)
📸 추가 이미지 갤러리
