대화형 장기 금융추천 벤치마크 Conv‑FinRe 소개

초록

Conv‑FinRe는 투자자의 위험 선호를 반영한 효용 기반 순위와 실제 선택 행동을 동시에 평가하는 대화형 장기 주식추천 벤치마크이다. 온보딩 인터뷰, 단계별 시장 상황, 전문가 조언 대화를 통해 LLM이 투자자의 잠재 효용을 추론하고, 합리적 효용, 시장 모멘텀, 위험 민감도 등 네 가지 관점에서 순위를 생성하도록 설계되었다. 실험 결과, 효용 최적화에 강한 모델은 사용자 선택과 일치하지 않는 경우가 많고, 행동을 모방하는 모델은 단기 변동성에 과도히 적응한다는 긴장 관계를 밝혀냈다.

상세 분석

Conv‑FinRe는 기존 추천 벤치마크가 행동(클릭·구매·평점)만을 정답으로 삼아 효용을 간과하는 문제를 근본적으로 해결한다. 첫째, ‘다중‑뷰’ 설계를 도입해 사용자 선택(y_user), 합리적 효용(y_util), 시장 모멘텀(y_mom), 위험 민감도(y_safe) 네 가지 상충하는 순위 기준을 동시에 제공한다. 이를 통해 모델이 어느 신호에 과도히 의존하는지 진단할 수 있다. 둘째, 투자자의 위험·변동성 선호 파라미터(λ,γ)를 역최적화(inverse optimization) 방식으로 추정한다. 사용자의 장기 행동 로그를 멀티노미얼 로그잇 모델에 맞춰 최적화함으로써, 실제 효용 함수를 모델에 노출하지 않으면서도 ‘합리적 효용’ 뷰를 생성한다. 셋째, 데이터 수집 단계에서 실제 S&P 500 종목을 베타 기반으로 10종목으로 축소하고, 30일 동안의 일·분 데이터와 10명의 투자자를 대상으로 온보딩 설문·시뮬레이션 트레이딩을 진행했다. 이렇게 구축된 시나리오는 시장 변동성과 사용자 위험 프로필이 동시에 변하는 현실적인 환경을 재현한다. 넷째, 대화 시뮬레이션은 온보딩 인터뷰와 단계별 조언 대화를 구조화하여, LLM이 텍스트 입력만으로 복합적인 의사결정 정보를 받아들일 수 있게 만든다. 실험에서는 GPT‑4, Claude‑2, Llama‑2 등 최신 LLM을 평가했으며, 효용 기반 순위에서 높은 점수를 받은 모델은 종종 시장 모멘텀에 편향된 순위를 제시하거나 사용자 선택과 괴리를 보였다. 반대로 사용자 선택을 잘 맞추는 모델은 단기 가격 변동에 과도히 반응해 위험 관리가 약화되는 경향이 있었다. 이러한 결과는 ‘합리적 효용 vs. 행동 일치’ 사이의 근본적인 트레이드오프를 명확히 보여준다. 마지막으로, 코드와 데이터셋을 공개함으로써 재현 가능성을 확보하고, 향후 위험 선호 추정, 다중‑에이전트 협상, 실시간 포트폴리오 최적화 등 확장 연구의 기반을 제공한다.