특징 선택 기반 경량 CNN을 활용한 연속 최적화 프레임워크 MaNet

본 논문은 메타휴리스틱 알고리즘(MA)의 한계를 보완하고자, 딥러닝(DL) 모델을 최적화 도구로 활용하는 새로운 접근법인 MaNet을 제안한다. 연구 배경으로는 최근 DL이 수백만 파라미터를 최적화하는 과정에서 강력한 특징 선택 능력을 보이며, 이를 메타휴리스틱의 탐색·활용 단계에 적용하면 불필요한 진화 정보를 걸러내고 핵심 정보를 집중적으로 활용할 수 있다는 점을 들었다. MaNet의 구조는 전형적인 합성곱 신경망(CNN)과 유사하지만, 규모가 매우 작다. 입력은 초기 해 집합을 n×m 형태의 행렬(예: n=5,000, m=64)로 변환한 것이며, 이는 이미지의 픽셀과 동일하게 처리된다. 첫 번째 컨볼루션 레이어는 3×1 필터 6개를 적용해 1‑차원 특징을 추출하고, 이어지는 두 레이어는 3×6 필터 6개씩을 사용해 점진적으로 고차원 특징을 압축한다. 각 레이어는 비선형 활성화 대신 입력에 비례하는 선형 함수를 사용해 연산 복잡도를 낮춘다. 마지막으로 Flatten 과정을 거친 뒤, 348×10 크기의 Dense 레이어가 최종 해 벡터(차원 10)를 출력한다. 전체 파라미터 수는 3,742개에 불과해, 기존 수백만 파라미터를 갖는 DL 기반 최적화 모델에 비해 학습 데이터가 적어도 과적합 위험이 낮다. 학습 과정에서는 Adam 옵티마이저를 사용하고, 배치 크기를 자동으로 조정한다. 초기 배치 크기는 1 또는 64로 설정되며, 비용 함수가 일정 epoch 이후 개선되지 않으면 배치 크기를 전환하고 현재까지 가장 좋은 성능을 보인 아키텍처를 기준으로 재시작한다. 이 전략은 SDCS(스냅·드리프트 전환 메타휴리스틱)에서 영감을 받아, 탐색 단계와 활용 단계 사이의 전환을 동적으로 제어한다는 점에서 기존 고정 배치 학습과 차별화된다. 실험은 CEC‑2017 벤치마크의 9개 함수를 사용했다. 함수는 단일 최적점(F1, F3)과 다중 모달(F4–F10)으로 구분되며, 차원은 30과 50을 각각 테스트했다. 각 함수당 10,000·D(예: 30차원이면 300,000) 평가 횟수를 제한했으며, 51번의 독립 실행을 통해 통계적 신뢰성을 확보했다. 비교 대상은 최신 차세대 차별화 진화(DE) 변형인 jSO이며, jSO는 CEC‑2017 대회에서 2위에 오른 알고리즘이다. 결과는 표 1·2에 요약된다. 30차원에서는 대부분의 함수에서 MaNet이 jSO와 비슷한 평균 성능을 보였으며, 특히 F4(다중모달)와 F7(비선형)에서 0에 근접한 최적값을 기록했다. 50차원에서는 일부 함수(F5, F9)에서 MaNet이 jSO보다 약간 높은 평균 오차를 보였지만, 전체적으로 차이가 크지 않다. 통계적 검증(Wilcoxon signed‑rank test) 결과, 대부분의 경우 차이가 유의하지 않으며, 몇몇 경우에만 MaNet이 열위함을 나타냈다. 논문은 MaNet의 장점으로 (1) 파라미터 수가 적어 학습이 빠르고 메모리 효율이 높다, (2) 컨볼루션 기반 특징 선택이 고차원·다중모달 문제에서 유용한 구조적 정보를 포착한다, (3) 배치 크기 자동 조정이 탐색·활용 균형을 동적으로 유지한다 점을 강조한다. 반면 한계점으로는 (1) 하이퍼파라미터(필터 수·크기·레이어 수·배치 전환 기준)가 고정돼 있어 다양한 문제에 대한 일반화가 미확인, (2) 비교 대상이 jSO 하나뿐이며, 최신 CMA‑ES, SHADE, DNGO 등과의 포괄적 비교가 부족, (3) 초기 인구 규모와 입력 차원 설정이 고정돼 있어 실제 제한된 데이터 상황에서의 성능 검증이 부족함을 지적한다. 추가 연구 방향으로는 (a) 메타러닝을 도입해 MaNet의 하이퍼파라미터를 자동 튜닝하는 방법, (b) 다양한 베이스라인과의 광범위한 비교, (c) 연산 비용을 줄이기 위한 경량화 및 하드웨어 가속(예: FPGA) 적용, (d) 실시간 제어·설계 최적화와 같은 실제 응용 분야에 대한 적용 사례 연구를 제시한다. 결론적으로, MaNet은 메타휴리스틱과 딥러닝을 결합한 새로운 연속 최적화 프레임워크로, 특징 선택 메커니즘을 통해 불필요한 탐색 공간을 축소하고, 경량 CNN 구조로 학습 효율성을 확보한다. 실험 결과는 기존 최첨단 메타휴리스틱과 경쟁 가능한 성능을 보여주지만, 실제 적용을 위해서는 하이퍼파라미터 자동화, 다양한 비교, 그리고 연산 효율성에 대한 추가 검증이 필요하다.