불투명 시스템 측정을 위한 다중소스 삼각측량과 해석가능 머신러닝

초록

본 논문은 직접 관측이 불가능하거나 데이터가 고의적으로 은폐된 고위험 시스템을 측정하기 위해, 여러 부분적으로 독립적인 데이터 흐름을 결합하고 해석가능한 머신러닝 모델을 적용하는 삼각측량 프레임워크를 제안한다. 정확도 대신 모델 간 일관성을 검증 기준으로 삼아, 이론적 기대와 실제 모델 성능의 수렴·발산을 통해 현상의 존재 여부와 방향성을 추론한다. 실증 사례로 알카에다 아라비아 반도(AQAP)의 조직 성장과 내부 압력 변화를 다중 신호(행동 이벤트, 선전 텍스트, 외부 미디어)로 재구성해 프레임워크의 유용성을 입증한다.

상세 분석

이 논문은 “측정 불가능”이라는 전통적 통계·인과추론의 전제조건을 회피하고, ‘구조적 결측’과 ‘적대적 데이터’라는 새로운 데이터 레짐을 정의한다. 핵심 아이디어는 (1) 이론이 제시하는 미시적 메커니즘을 정량적 기대값으로 변환하고, (2) 각 기대값에 대응하는 관측 가능한 트레이스를 다중 소스에서 추출한다는 점이다. 여기서 트레이스는 행동 이벤트 로그, 조직 선전문, 외부 언론 보도 등 서로 다른 형식·시간적 해상도를 가진 데이터이다.

각 트레이스마다 해석가능한 머신러닝 모델(예: 규칙 기반 분류기, 결정트리, SHAP 기반 로지스틱 회귀)을 독립적으로 학습시켜 ‘모델‑트레이스 매핑’을 만든다. 모델 선택 시 투명성, 변수 중요도 해석 가능성, 과적합 방지를 위한 교차검증 등을 강조한다. 이후 모델 성능을 전통적 정확도 대신 ‘이론‑모델 일관성’이라는 메트릭으로 평가한다. 구체적으로는 (a) 이론이 예측한 패턴(예: 급속 성장 시 지역적 목표 전환)과 모델이 실제 예측한 라벨·확률 분포의 수렴 여부, (b) 대조 가설(예: 중앙 지휘부의 전략적 변동)과의 발산 정도를 비교한다.

이러한 ‘컨트라펙추얼 삼각측량’은 두 가지 통계적 가정을 완화한다. 첫째, 단일 데이터 스트림이 전체 현상을 대표한다는 가정이 사라진다; 둘째, 라벨이 없는 상황에서도 모델 자체가 진단 도구가 된다. 모델 오류를 ‘노이즈’가 아니라 ‘이론‑데이터 불일치 신호’로 해석함으로써, 오류 패턴 자체가 조직 내부 갈등이나 전략적 모호성을 드러내는 증거가 된다.

실증 부분에서는 AQAP의 성장 궤적을 REVMOD 회원수 추정치와 UCDP 충돌 데이터로 매크로 레벨에서 정의하고, 세 가지 메커니즘(채용‑사회화 불균형, 탈퇴 압력, 위임 구조)에 기반한 기대 패턴을 설계한다. 행동 이벤트(공격 대상 변화), 텍스트 토픽 모델(지역·전략적 어휘 비중), 외부 미디어 보도(긍정·부정 톤) 각각에 대해 해석가능 모델을 학습하고, 모델 출력이 성장 트랩 이론이 예측한 시점(2011년 영토 확보·수축)과 일치하는지를 검증한다. 결과는 (i) 급속 성장기에 지역적 목표로의 전환이 감지되었으며, (ii) 앙사르 알-샤리아와의 행동·언어적 수렴이 관측돼 조직 내부 위임이 진행됐음을 시사한다. 반면, 중앙 알카에다와의 전략적 경고와 불일치하는 모델 결과는 ‘바텀‑업’ 적응이 주도됐음을 뒷받침한다.

이 프레임워크의 장점은 (1) 데이터 요구량이 전통적 인과추론보다 현저히 낮으며, (2) 모델‑이론 간 교차 검증을 통해 결과의 견고성을 확보한다는 점이다. 한계는 (가) 충분히 독립적인 다중 소스가 존재하지 않을 경우 적용이 어려워진다, (나) 이론 자체가 부정확하거나 과도하게 구체화되면 오류 신호 해석이 왜곡될 위험이 있다. 또한, 모델 선택과 변수 해석에 전문가 주관이 개입될 여지가 있어 투명한 프로세스 설계가 필수적이다.

전반적으로 이 논문은 ‘측정’이라는 개념을 ‘정확도’ 중심에서 ‘일관성·진단 가능성’ 중심으로 전환시키는 방법론적 혁신을 제시한다. 특히 정책·안보 분야에서 비공개·비정형 데이터에 의존해야 하는 상황에 실용적인 도구를 제공한다는 점에서 학술적·실무적 의미가 크다.