양자 제어 실험을 활용한 진화형 다목적 최적화 연구

본 논문은 ‘양자 제어 실험을 이용한 진화형 다목적 알고리즘 테스트베드’라는 새로운 연구 패러다임을 제시한다. 서론에서는 양자 제어(QC)가 이론(QCT)과 실험(QCE) 두 축으로 나뉘며, 특히 초고속 레이저 펄스 형성을 통한 실험적 최적화가 고차원·고잡음 문제를 내포하고 있음을 강조한다. 기존 연구는 대부분 단일 목표 최적화에 집중했으나, 실제 화학·물리 실험에서는 이온화·파편화·형광·라만 등 여러 관측값이 동시에 고려되어야 한다. 이를 ‘다관측 양자 제어(MOQC)’라 정의하고, 다목적 최적화 문제로 공식화한다. 다음으로, 잡음이 존재하는 환경에서의 다목적 진화 알고리즘(EMOA) 연구 현황을 정리한다. 잡음은 크게 (1) 입력 파라미터(스펙트럼 위상) 잡음, (2) 출력 관측 잡음, (3) 장시간 드리프트로 구분된다. 특히 위상 잡음은 각 픽셀마다 독립적인 가우시안 노이즈가 추가되는 형태이며, 비선형 전파를 통해 목표 함수에 복합적인 왜곡을 일으킨다. 기존 EMOA는 주로 잡음이 가우시안이며 독립적이라는 가정 하에 평균화, 재평가, 혹은 강인성 기준 추가 등을 사용했지만, 양자 제어 실험의 특수성을 충분히 반영하지 못한다. 알고리즘적 접근으로는 다목적 CMA‑ES(MO‑CMA‑ES)를 선택한다. CMA‑ES는 공분산 행렬을 적응적으로 업데이트하며, 탐색 방향과 스케일을 자동으로 조정한다. 다목적 버전은 엘리트 보존을 기반으로 파레토 전선을 유지하면서, 각 목표에 대한 적합도 벡터를 동시에 최적화한다. 그러나 엘리트 보존은 잡음이 큰 경우 ‘과적합’ 현상을 초래할 수 있다. 이를 해결하기 위해 저자들은 (i) 엘리트 재평가, (ii) 적합도 평균화, (iii) 확률적 파레토 순위, (iv) 무작위 교체 비율 조정 등 네 가지 변형을 제안하고, 각각을 시뮬레이션 및 실험에 적용한다. 시뮬레이션 섹션에서는 다목적 ‘멀티‑스피어(Multi‑Sphere)’와 ‘라그랑주(Lagrange)’ 테스트 함수군을 사용한다. 각 함수는 80~100 차원의 결정 변수와 2~3개의 목표를 갖는다. 잡음 강도는 0.01~0.1 수준으로 변동시키며, 알고리즘별 하이퍼볼륨, 파레토 다양성, 수렴 속도를 비교한다. 결과는 MO‑CMA‑ES가 NSGA‑II, SPEA2 등에 비해 적은 평가 횟수(≈10 000)로도 높은 하이퍼볼륨을 달성하고, 잡음이 심할수록 재평가 전략이 가장 효과적임을 보여준다. 실험 파트에서는 실제 양자 제어 실험 장비를 이용해 두 가지 MOQC 사례를 수행한다. 첫 번째는 동일 분자 내에서 이온화와 파편화 비율을 동시에 최적화하는 과제로, 목표는 이온화 수율 최대화와 파편화 최소화를 동시에 달성하는 것이다. 두 번째는 두 종류의 유사 분자를 구분하기 위한 형광 신호와 라만 신호를 동시에 최적화하는 ‘Optimal Dynamic Discrimination(ODD)’ 실험이다. 각 실험은 80개의 위상 파라미터를 최적화 대상으로 하며, 1 kHz 반복률로 1 ms당 한 번씩 측정한다. 실험 결과는 시뮬레이션과 일치하게, MO‑CMA‑ES가 5 000~10 000번의 평가 내에 안정적인 파레토 전선을 형성한다. 특히 엘리트 보존 비율을 20% 이하로 낮추고, 매 10세대마다 엘리트를 재평가하면 파레토 전선의 수렴 속도가 30% 가량 향상된다. 논의 섹션에서는 잡음이 엘리트 선택에 미치는 부정적 영향을 ‘엘리트 오버피팅’이라 명명하고, 이를 완화하기 위한 실용적 가이드라인을 제시한다. 첫째, 잡음 수준을 사전에 측정하고, 그에 맞는 재평가 횟수를 설정한다. 둘째, 파레토 순위 계산 시 확률적 우위(예: 95% 신뢰 구간 내 우위)를 적용한다. 셋째, 고차원 실험에서는 결정 변수의 일부를 고정하거나, 차원 축소(예: PCA) 후 최적화를 수행한다. 결론에서는 양자 제어 실험이 고차원·고잡음 다목적 최적화 연구에 이상적인 테스트베드임을 강조한다. MO‑CMA‑ES는 잡음에 강인하면서도 빠른 수렴을 보이며, 실험적 재평가와 확률적 파레토 순위가 그 성능을 크게 향상시킨다. 향후 연구는 (1) 다변량 잡음 모델링을 통한 상관 잡음 처리, (2) 실시간 드리프트 보정을 위한 적응형 제어, (3) 하드웨어‑소프트웨어 공동 설계 기반의 하이브리드 최적화 프레임워크 구축 등을 제안한다.