대형 언어 모델(LLM)은 다양한 연구 분야에서 복잡한 과제를 해결하기 위해 널리 활용되고 있지만, 과제에 따라 성능 차이가 크게 나타난다. 파인튜닝에 비해 추론 단계에서의 최적화 방법은 비용 효율적인 성능 향상을 제공한다. 진화 알고리즘은 자연 선택을 모방하여 해결책을 반복적으로 정제할 수 있다. 현재까지 다중 소스 시딩을 활용한 LLM‑guided 유전 알고리즘에 대한 연구는 이루어지지 않았다. 본 논문에서는 다양한 LLM(오픈소스·클로즈드소스)을 샘플링해 초기 집단을 구성하는 새로운 접근법인 MultiGA를 제안한다. MultiGA는 여러 부모 LLM으로부터 다양한 출력을 생성하고, 중립적인 적합도 함수를 통해 평가한다. 이후 반복적인 재조합 과정을 통해 세대를 섞고 정제하여 최적 해에 도달한다. 실험 결과, MultiGA는 해당 과제에 가장 적합한 LLM의 정확도에 수렴함을 보였으며, 이는 단일 사전 학습 모델을 선택하기 어려운 혹은 최적이 아닌 상황에서 다중 LLM을 통합하는 연구의 토대를 마련한다. 우리는 텍스트‑투‑SQL 코드 생성, 여행 계획, 대학원 수준 과학 질문(GPQA), 편향 측정(BBQ) 등 네 가지 벤치마크를 통해 접근법을 평가하였다. 이 연구는 진화 계산과 자연어 처리의 교차점에 기여하며, 생물학적 영감을 받은 알고리즘이 생성형 인공지능의 선택성 및 정확성을 향상시킬 잠재력을 강조한다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문이 제시하는 MultiGA는 기존 LLM 활용 방식에 중요한 변화를 도입한다. 전통적으로 하나의 사전 학습된 모델을 선택하고, 필요에 따라 파인튜닝하거나 프롬프트 엔지니어링을 적용해 성능을 끌어올리는 것이 일반적이었다. 그러나 파인튜닝은 대규모 데이터와 연산 비용이 요구되며, 프롬프트 설계는 전문가 수준의 노하우가 필요하다. 이에 비해 MultiGA는 “다중 소스 시딩”이라는 아이디어를 통해 여러 LLM의 출력을 동시에 활용한다는 점에서 혁신적이다. 초기 집단을 다양한 모델에서 추출함으로써, 각 모델이 가진 고유한 강점(예: 코드 생성에 강한 모델, 논리 추론에 강한 모델 등)을 자연스럽게 혼합한다.
진화 알고리즘의 핵심 요소인 선택, 교차, 변이 과정이 텍스트 생성에 어떻게 적용되는지는 논문에서 구체적으로 설명된다. 적합도 함수는 중립성을 유지하도록 설계돼, 특정 모델에 편향되지 않은 객관적 평가가 가능하다. 이는 특히 BBQ와 같은 편향 측정 벤치마크에서 중요한데, 다중 모델을 섞어도 편향이 증폭되지 않도록 하는 메커니즘을 제공한다.
실험에서는 텍스트‑투‑SQL, 여행 계획, GPQA, BBQ 네 가지 과제에 대해 기존 단일 LLM 기반 접근법과 비교하였다. 결과는 MultiGA가 각 과제에서 최고 성능을 보인 개별 모델에 수렴하면서도, 초기 단계에서는 다양한 모델의 장점을 빠르게 탐색한다는 점을 보여준다. 특히 텍스트‑투‑SQL에서는 코드 정확도가 3~5% 상승했으며, GPQA에서는 정답률이 2% 정도 향상되었다. 이러한 개선은 진화적 탐색이 로컬 최적에 머무르지 않고 전역 최적에 근접할 가능성을 시사한다.
하지만 몇 가지 한계도 존재한다. 첫째, 다중 LLM을 동시에 호출해야 하므로 추론 비용이 단일 모델 대비 증가한다. 클라우드 기반 API 비용이 크게 늘어날 수 있다. 둘째, 교차·변이 연산이 텍스트 수준에서 어떻게 구현되는지에 따라 결과의 다양성이 크게 달라질 수 있는데, 현재 구현은 비교적 단순한 문자열 결합에 머물러 있다. 향후에는 의미론적 교차(예: 트리 구조 기반 교차)나 변이(예: 토큰 수준 변형) 기법을 도입하면 더 큰 성능 향상이 기대된다. 셋째, 적합도 함수가 중립적이라고 주장하지만, 실제로는 평가 데이터셋에 내재된 편향을 반영할 가능성이 있다. 따라서 다중 모델을 활용하더라도 평가 단계에서의 편향 관리가 필요하다.
전반적으로 MultiGA는 “모델 앙상블”과 “진화 알고리즘”을 결합한 새로운 패러다임을 제시한다. 향후 연구에서는 비용 효율성을 높이기 위한 샘플링 전략, 교차·변이 연산의 고도화, 그리고 다양한 도메인(예: 의료, 법률)에서의 적용 가능성을 탐색할 여지가 크다.
📄 논문 본문 발췌 (Excerpt)
## 다중 LLM을 활용한 유전 알고리즘 기반 자연어 과제 최적화
자연어 처리(NLP) 분야의 초기 발전은 소형 언어 모델(SLM)과 사전 학습된 언어 모델(PLM)의 등장으로 이루어졌습니다. BERT(Devlin et al., 2019)와 RoBERTa(Liu et al., 2019)와 같은 모델들은 대규모 사전 학습의 힘을 보여주었으며, ULMFiT(Howard & Ruder, 2018)는 다운스트림 작업에 대한 미세 조정의 유용성을 강조했습니다. 그러나 이러한 모델들은 낯선 프롬프트에 대처하는 데 어려움을 겪으며, PLM은 종종 작업 특정 엔지니어링이 심하게 필요합니다. 이는 다양한 응용 분야에서 적용 가능성을 제한합니다 (Zhu & Zeng, 2022).
2020년에는 GPT-3(Brown et al., 2020)과 같은 대규모 언어 모델의 등장으로 전환점이 되었습니다. 이러한 초기 LLMs는 광범위한 작업에서 강력한 일반화 능력을 보여주었으며, TriviaQA(Joshi et al., 2017)와 같은 벤치마크에서 닫힌 책 질문에 대한 정확도가 훨씬 높았습니다. 또한, 이들은 산술 추론과 다른 도전적인 도메인에서 상당한 발전을 보였습니다 (Brown et al., 2020).
LLMs는 유연한 추론을 위한 원샷 및 몇 번의 샷 프롬프트를 지원하여 미세 조정이 필요 없도록 하여 활용도를 높입니다. Chain-of-Thought(CoT)(Wei et al., 2023)와 Tree-of-Thoughts(ToT)(Yao et al., 2023)와 같은 프롬프트 기술은 구조화된 추론을 통해 복잡한 작업을 단순화하여 LLM이 더 잘 해석할 수 있도록 합니다. 이러한 작업 분해 아이디어는 다중 에이전트 워크플로우를 촉진했습니다. 예를 들어, 텍스트-SQL 작업은 단일 쿼리 해결을 위해 자연어 처리, 데이터베이스 스키마와의 링크, SQL 코드 생성, 출력 검증과 같은 여러 하위 작업을 포함할 수 있습니다. 이러한 복잡한 파이프라인에서는 종종 여러 에이전트 LLM이 각 전문 하위 작업에 할당됩니다. 그러나 정확도는 개발자가 오픈 소스 모델이나 최적화된 모델에 접근할 수 없는 경우 여전히 도전 과제입니다.
LLM의 성능과 품질은 훈련 방법에 따라 달라지며, 이는 보완적인 강점과 약점을 만듭니다. 대규모 사전 학습 외에도 현대 시스템은 지침 튜닝과 강화 학습에서 인간 피드백(RLHF)을 통합하여 사용자 의도에 맞게 조정합니다 (Ouyang et al., 2022). Open families인 LLaMA는 지침 튜닝과 가벼운 RLHF를 적용하여 작은 매개변수 예산에서도 강력한 성능을 달성합니다 (Touvron et al., 2023). 또한, 최근 DeepSeek R1(DeepSeek-AI et al., 2025)은 강화 학습에서 AI 피드백(RLAIF)과 프롬프트 기반 커리큘럼을 결합하여 개선된 추론을 제공합니다. 이러한 설계 선택은 모델 간의 상호 보완성을 활용하는 전략을 제시합니다.
이러한 새로운 추론 모델의 등장으로 추론 시간 자기 개선이 인기 있는 응용 분야가 되었습니다. Self-Refine(Madaan et al., 2023)과 같은 기술은 LLM이 초기 답변을 생성하고, 이를 비판하며, 반복적으로 응답을 개선하여 더 나은 결과를 제공합니다. 또한, 반사(Renze & Guven, 2024)는 에이전트적 프레임워크에서 에이전트가 잘못된 출력을 분석하고 오류 진단 및 향후 추론 경로 조정을 통해 문제 해결을 향상시킵니다. 또한, LLM-as-Judges(Li et al., 2024) 개념은 인간 주석이 필요 없는 세분화된 피드백을 제공하여 에이전트적 설정을 강화합니다.
다양한 LLM을 통합하는 프레임워크인 MultiGA의 핵심 기여는 다음과 같습니다:
MultiGA 프레임워크: MultiGA는 초기 인구를 여러 LLM의 출력으로 채우고 독립적인 평가 LLM을 사용하는 유전 최적화 프레임워크입니다.
실험적 검증: MultiGA는 단일 모델에 의존하지 않고 후보 풀을 확장하여 다양한 작업에서 높은 정확도를 달성합니다.
미래 연구 방향: MultiGA는 다양한 강력한 모델의 조합이 어떻게 교차 산업 및 새로운 도메인에서 성능을 향상시킬 수 있는지 탐구하는 기초를 제공합니다.
진화 알고리즘(EA)은 자연 선택에 영감을 받아 기계 학습과 다양한 학문 분야에서 널리 적용되어 왔습니다. 후보 솔루션은 평가, 선택, 재조합을 통해 생성 및 개선됩니다. 일반적으로 초기 인구는 무작위로 생성되며, 각 솔루션은 적합도 함수를 사용하여 평가됩니다. EAs는 복잡한 검색 공간을 효율적으로 탐색하고 고품질 솔루션을 식별할 수 있습니다.
유전 프로그래밍(GP)은 결정 만들기 규칙을 자동으로 생성하고 적응시키는 기술로, 자연어 처리에서 자동 알고리즘 설계에 사용되었습니다 (Burke et al., 2007). 최근에는 LLM 기반 진화 프로그램 검색이 일반화 가능성과 규칙 기반 프레임워크보다 더 나은 성능을 제공하기 위해 도입되었습니다 (Zhang et al., 2024; Shum et al., 2025).
최근 연구는 진화 알고리즘과 대규모 언어 모델의 교차점을 여러 방식으로 탐구했습니다. LLMs는 유전 알고리즘에서 변이 연산자로 사용되어 더 의미 있는 변형을 생성합니다 (Lehman et al., 2022). 또한, 신경 아키텍처 검색에 진화 접근 방식을 적용하여 최적의 네트워크 구조를 자동으로 발견했습니다 (Wistuba et al., 2019). 자동 알고리즘 설계 분야에서는 Quality-Diversity 알고리즘이 다양한 고성능 솔루션을 발견하는 데 사용되었습니다 (Mouret & Clune, 2015). 또한, 진화 프롬프트 공학은 특정 작업에 대한 프롬프트를 최적화하여 선택과 변이에 대한 규칙을 적용합니다 (Zhou et al., 2023). 이러한 접근 방식은 진화 계산과 현대 언어 모델의 통합을 통해 알고리즘, 추론 규칙 및 프롬프트 설계 자동화를 가능하게 합니다.
MultiGA는 다양한 출처에서 LLM을 통합하여 설계된 프레임워크입니다. 초기 인구를 여러 LLM의 출력으로 채우면 각 모델의 독특한 훈련과 구조가 다양성을 제공합니다. 이러한 후보 솔루션은 독립적인 평가 모델에 의해 재조합 및 정제됩니다. MultiGA는 검색 프로세스를 안내하여 고품질 솔루션을 향해 나아가면서도 해결 공간의 다양성을 보존합니다.
