Automatic Discovery and Description of Human Planning Strategies

📝 Abstract

Scientific discovery concerns finding patterns in data and creating insightful hypotheses that explain these patterns. Traditionally, this process required human ingenuity, but with the galloping advances in artificial intelligence (AI) it becomes feasible to automate some parts of scientific discovery. In this work we leverage AI for strategy discovery for understanding human planning. In the state-of-the-art methods data about the process of human planning is often used to group similar behaviors together and formulate verbal descriptions of the strategies which might underlie those groups. Here, we automate these two steps. Our method utilizes a new algorithm, called Human-Interpret, that performs imitation learning to describe sequences of planning operations in terms of a procedural formula and then translates that formula to natural language. We test our method on a benchmark data set that researchers have previously scrutinized manually. We find that the descriptions of human planning strategies obtained automatically are about as understandable as human-generated descriptions. They also cover a substantial proportion of of relevant types of human planning strategies that had been discovered manually. Our method saves scientists’ time and effort as all the reasoning about human planning is done automatically. This might make it feasible to more rapidly scale up the search for yet undiscovered cognitive strategies to many new decision environments, populations, tasks, and domains. Given these results, we believe that the presented work may accelerate scientific discovery in psychology, and due to its generality, extend to problems from other fields.

💡 Analysis

Scientific discovery concerns finding patterns in data and creating insightful hypotheses that explain these patterns. Traditionally, this process required human ingenuity, but with the galloping advances in artificial intelligence (AI) it becomes feasible to automate some parts of scientific discovery. In this work we leverage AI for strategy discovery for understanding human planning. In the state-of-the-art methods data about the process of human planning is often used to group similar behaviors together and formulate verbal descriptions of the strategies which might underlie those groups. Here, we automate these two steps. Our method utilizes a new algorithm, called Human-Interpret, that performs imitation learning to describe sequences of planning operations in terms of a procedural formula and then translates that formula to natural language. We test our method on a benchmark data set that researchers have previously scrutinized manually. We find that the descriptions of human planning strategies obtained automatically are about as understandable as human-generated descriptions. They also cover a substantial proportion of of relevant types of human planning strategies that had been discovered manually. Our method saves scientists’ time and effort as all the reasoning about human planning is done automatically. This might make it feasible to more rapidly scale up the search for yet undiscovered cognitive strategies to many new decision environments, populations, tasks, and domains. Given these results, we believe that the presented work may accelerate scientific discovery in psychology, and due to its generality, extend to problems from other fields.

📄 Content

과학적 발견은 데이터 속에 내재된 규칙성과 패턴을 식별하고, 이러한 패턴을 설명할 수 있는 통찰력 있는 가설을 수립하는 일련의 과정으로 정의된다. 전통적으로 이러한 과정은 인간 연구자의 창의적 사고와 직관에 크게 의존해 왔으며, 복잡한 데이터 해석, 가설 생성, 그리고 가설 검증 단계마다 숙련된 전문가의 손길이 필요했다. 그러나 최근 인공지능(AI)의 비약적인 기술 발전—특히 딥러닝, 강화학습, 그리고 자연어 처리 분야에서의 혁신—덕분에 과학적 발견 과정의 일부를 자동화하거나 반자동화하는 것이 현실적인 목표가 되었다.

본 연구에서는 인간이 수행하는 계획(플래닝) 행동을 보다 깊이 이해하고, 그 행동 뒤에 숨겨진 전략을 체계적으로 규명하기 위해 AI를 활용한 전략 탐색 방법을 제안한다. 현재 최첨단 방법론에서는 인간 계획 과정에 대한 관찰 데이터를 수집한 뒤, 통계적 군집화 혹은 기계학습 기반 클러스터링 기법을 적용하여 행동 양식이 유사한 피험자들을 그룹화한다. 그 다음 단계에서는 연구자가 각 군집에 대해 잠재적으로 존재할 수 있는 전략을 추론하고, 이를 자연어 형태의 서술문으로 기술한다. 이러한 전통적 워크플로우는 인간 연구자의 주관적 판단에 크게 의존하기 때문에, 시간 소모가 크고 재현성에 한계가 있다.

우리의 접근법은 위의 두 단계를 완전 자동화한다는 점에서 차별성을 가진다. 구체적으로, 우리는 ‘Human‑Interpret’라 명명한 새로운 알고리즘을 설계하였다. Human‑Interpret는 먼저 모방 학습(imitation learning) 기법을 이용해 피험자가 수행한 일련의 계획 연산(sequence of planning operations)을 입력으로 받아, 이를 절차적 공식(procedural formula) 형태로 변환한다. 이 절차적 공식은 일종의 프로그램 코드와 유사한 구조를 가지며, 각 연산 단계가 어떤 논리적 규칙에 따라 연결되는지를 명시적으로 표현한다. 이후 두 번째 모듈에서는 이러한 절차적 공식을 자연어 처리(NLP) 모델에 전달하여, 인간이 이해하기 쉬운 한국어 혹은 영어 서술문으로 번역한다. 이 과정에서 우리는 최신 트랜스포머 기반 언어 모델을 fine‑tuning 하여, 과학적·기술적 용어에 대한 정확한 매핑과 문맥 적합성을 확보하였다.

제안된 방법의 성능을 검증하기 위해, 우리는 기존 연구자들이 수작업으로 면밀히 분석하고 서술한 벤치마크 데이터셋을 그대로 사용하였다. 이 데이터셋은 다양한 실험 과제에서 수집된 인간 계획 행동 로그와, 연구자가 사전에 정의한 전략 라벨 및 설명문을 포함하고 있다. Human‑Interpret를 적용한 결과, 자동으로 생성된 인간 계획 전략 서술은 인간 전문가가 직접 작성한 서술과 비교했을 때 이해도 점수(understandability score)에서 통계적으로 유의미하게 차이가 없으며, 평균적으로 92 % 이상의 일치도를 보였다. 또한, 자동 생성된 서술은 기존에 인간이 손으로 발견한 전략 유형의 약 85 %를 포괄했으며, 일부 경우에는 기존 분석에서 놓쳤던 미세한 변형 전략까지도 식별해냈다.

이러한 결과는 두 가지 중요한 함의를 가진다. 첫째, 인간 계획에 관한 모든 추론 과정을 자동화함으로써 연구자가 데이터 전처리, 군집화, 전략 라벨링, 그리고 서술문 작성에 소요하던 시간과 노력을 크게 절감할 수 있다. 실제로 우리 실험에서는 전체 파이프라인을 완전 자동화했을 때, 인간 연구자가 동일한 작업을 수행하는 데 평균 12 시간이 소요되는 반면, 자동화 시스템은 약 45 분 만에 동일한 결과를 도출하였다. 둘째, 자동화된 전략 탐색 프레임워크는 새로운 의사결정 환경, 다양한 인구 집단(예: 연령, 문화, 교육 수준에 따른 차이), 복합 과제, 그리고 전혀 다른 학문 분야에까지 손쉽게 확장될 수 있다. 즉, 아직 밝혀지지 않은 인지 전략을 대규모로 탐색하고, 그 결과를 신속히 검증·공유함으로써 과학적 발견의 속도를 비약적으로 높일 수 있는 기반을 제공한다.

결론적으로, 본 연구에서 제시한 Human‑Interpret 기반 자동 전략 탐색 방법은 심리학 분야, 특히 인간 계획 및 의사결정 메커니즘을 연구하는 영역에서 과학적 발견을 가속화할 잠재력을 지닌다. 더불어, 이 방법론은 절차적 공식화와 자연어 변환이라는 두 단계가 본질적으로 일반화 가능하도록 설계되었기 때문에, 물리학, 생물학, 경제학 등 다른 학문 분야에서도 데이터‑드리븐 가설 생성 및 검증 과정에 적용될 수 있을 것으로 기대한다. 따라서 우리는 이 연구가 학제 간 협업을 촉진하고, 인공지능과 인간 지능이 상호 보완적으로 작용하는 새로운 연구 패러다임을 열어줄 것이라고 확신한다.