안드로이드 코드에서 자동으로 정확한 프라이버시 캡션을 생성하는 LLM 기반 프레임워크

초록

본 논문은 PCapGen이라는 시스템을 제안한다. PCapGen은 휴리스틱 기반의 타인트 분석으로 개인 정보 흐름을 포착하고, 정적 분석으로 관련 소스 코드를 추출한 뒤, 대형 언어 모델(LLM)을 활용해 해당 흐름을 자연어로 요약해 정확하고 간결한 프라이버시 캡션을 자동 생성한다. 평가 결과, 생성된 캡션은 기존 개발자 작성 캡션보다 71 % 이상 선호되었으며, LLM‑as‑judge도 76 % 이상 높은 점수를 부여했다.

상세 분석

PCapGen은 기존 프라이버시 캡션 자동 생성 연구가 갖는 세 가지 주요 한계를 극복한다. 첫째, 개발자 입력 의존도를 최소화한다. 기존 방법은 설문지, 템플릿, 혹은 개발자가 직접 주석을 달아야 하는 등 높은 인적 비용을 요구했지만, PCapGen은 FlowDroid 기반의 타인트 분석을 자동화하여 개인 정보가 흐르는 소스‑싱크 경로를 식별한다. 여기서 “휴리스틱 기반”이라는 점은 기존 고정된 소스·싱크 리스트에 얽매이지 않고, 새로운 API 호출이나 미확인 싱크 메서드까지 탐지하도록 설계되었다는 의미이다.

둘째, 코드 컨텍스트의 폭을 크게 확장한다. 기존 연구는 최대 3개의 메서드 호출 그래프 혹은 API 호출만을 활용해 제한된 정보만을 추출했지만, PCapGen은 타인트 경로에 포함된 클래스, 메서드, 그리고 메서드 내부 문장까지 모두 수집한다. 이렇게 확보된 “대규모 코드 컨텍스트”는 개인 정보가 어떻게 수집·가공·전송되는지를 정밀하게 파악할 수 있게 해준다.

셋째, LLM을 두 단계에 걸쳐 활용한다. 추출된 코드 조각에 대해 LLM을 사용해 개인 정보를 직접 다루는 구문을 식별하고, 이후 In‑Context Learning(ICL) 기법을 적용해 전체 흐름을 이해한 뒤 자연어 캡션을 생성한다. 세 가지 LLM(GPT‑4, Claude Opus 4, DeepSeek) 중 Claude Opus 4가 가장 높은 정확성·간결성·완전성을 보였으며, 이는 프롬프트 설계와 샘플 제공 방식이 캡션 품질에 큰 영향을 미친다는 점을 시사한다.

평가 설계는 RQ 1~4로 구성된다. RQ 1에서는 모델별 캡션 품질을 정확성, 간결성, 완전성 세 축으로 비교했으며, Claude 기반 설정이 전반적으로 우수했다. RQ 2는 의미적 유사성을 측정해 PCapGen 캡션이 기존 개발자 캡션과 높은 유사도를 유지함을 확인했다. RQ 3과 RQ 4는 각각 LLM‑as‑judge와 실제 프라이버시 전문가에게 평가를 의뢰했는데, 두 평가 모두 PCapGen 캡션을 현저히 선호했다. 특히 전문가가 71 % 이상, LLM‑as‑judge가 76 % 이상 선택한 점은 자동 생성된 캡션이 실무에서 충분히 신뢰될 수 있음을 보여준다.

기술적 기여는 네 가지로 정리된다. (1) 정적·동적 분석과 LLM을 결합한 새로운 프레임워크, (2) 새로운 휴리스틱 타인트 분석으로 기존 분석의 확장성 확보, (3) 전문가와 LLM을 동시에 활용한 포괄적 평가 방법론, (4) 개발자 주석이 포함된 안드로이드 코드와 캡션 데이터셋 및 자동화 스크립트를 공개함으로써 재현성과 후속 연구를 촉진한다. 전체적으로 PCapGen은 프라이버시 규제 준수와 사용자 투명성 확보를 위한 실용적인 자동화 도구로서, 특히 소규모 개발팀이나 개인 개발자에게 큰 가치를 제공한다.