숨겨진 인터페이스 드러내기 LLM 기반 타입 추론으로 macOS 프라이빗 프레임워크 역공학

초록

본 논문은 macOS 프라이빗 프레임워크의 바이너리만 제공되는 상황에서, 대규모 언어 모델(LLM)을 활용해 Objective‑C 메서드 시그니처를 자동으로 추론하는 시스템 MOTIF을 제안한다. 에이전트가 런타임 메타데이터와 정적 분석 도구를 조합해 정보를 수집하고, 파인튜닝된 LLM이 후보 시그니처를 생성·검증한다. MOTIF‑Bench 벤치마크에서 기존 정적 분석 대비 시그니처 복원율을 15 %에서 86 %로 크게 향상시켰으며, 재구성된 헤더는 실제 컴파일·링크가 가능해 보안 연구에 바로 활용될 수 있다.

상세 분석

MOTIF은 크게 세 가지 구성 요소로 이루어진다. 첫 번째는 툴‑보강 에이전트로, LLDB, class‑dump, otool 등 기존 macOS 바이너리 분석 도구를 자동화하고, 런타임에 객체 인스턴스와 메서드 호출 트레이스를 수집한다. 에이전트는 수집된 메타데이터를 구조화된 프롬프트 형태로 변환해 LLM에 전달한다. 두 번째는 파인튜닝된 LLM이다. 연구팀은 공개된 Objective‑C 프레임워크의 헤더와 구현을 이용해 1.2 B 파라미터 모델을 추가 학습시켰으며, 타입 힌트, 메서드 네이밍 규칙, Cocoa 런타임 규약 등을 명시적으로 학습시켜 타입 추론 정확도를 높였다. 모델은 “클래스명‑메서드명”을 입력받아 반환형, 파라미터 타입, 프로퍼티 어노테이션 등을 포함한 후보 시그니처를 생성한다. 세 번째는 제약 검증 및 정제 모듈이다. 에이전트가 제공한 런타임 시그니처와 정적 바이너리 분석 결과를 교차 검증해 불일치를 탐지하고, 후보 시그니처를 반복적으로 수정한다. 이 과정에서 타입 일관성, 메서드 선택자 충돌, 메모리 레이아웃 오류 등을 자동으로 해결한다. MOTIF‑Bench는 30개의 공개 프레임워크(총 12 000개 메서드)에서 ground‑truth 헤더와 비교했을 때, 기존 class‑dump 기반 정적 분석이 15 % 수준에 머물렀던 반면 MOTIF은 86 %의 정확도로 거의 완전한 헤더를 복원했다. 또한, 툴 사용 정확도와 LLM 응답 안정성도 크게 개선돼, 동일 입력에 대해 95 % 이상의 일관성을 보였다. 케이스 스터디에서는 AppleTalk, CoreSymbolication 등 비공개 프레임워크에 대해 재구성된 헤더가 실제 Xcode 프로젝트에 포함돼 컴파일·링크가 성공했으며, 이를 기반으로 취약점 탐색 및 악성 코드 분석이 가능함을 입증했다. 한계점으로는 매우 복잡한 제네릭 타입이나 Swift‑ObjC 브리징 구조에 대한 추론이 아직 불완전하고, 모델이 학습되지 않은 최신 API에 대해 오탐이 발생할 수 있다는 점을 제시한다.