비정형 데이터 활용 신뢰성 이슈 조기 탐지

본 논문은 사후 서비스 분야에서 축적되는 고객 불만과 기술자 코멘트라는 비정형 텍스트 데이터를 활용해 제품 신뢰성 문제를 조기에 탐지하는 방법론을 제시한다. 서론에서는 고객 불만이 실제 고장이나 클레임으로 이어지는 시점과 그 사이의 시간 지연을 설명하고, 이러한 데이터를 실시간으로 분석함으로써 리콜 등 사전 대응이 가능함을 강조한다. 2장에서는 텍스트 마이닝의 기본 개념을 소개한다. 텍스트를 용어‑문서 행렬로 변환하고, TF‑IDF 가중치를 적용해 각 문서를 고차원 벡터로 표현한다. 이때 ‘bag‑of‑words’ 접근이 사용되며, 차원 축소를 위해 불용어 제거, 어간 추출, 맞춤법 교정, 빈도 기반 필터링 등 규칙 기반 전처리와 특이값 분해(SVD) 같은 수학적 방법을 병행한다. 차원 축소는 행렬의 희소성을 감소시켜 이후 알고리즘의 효율성을 높인다. 3장에서는 문서 내 다중 토픽을 식별하는 절차를 설명한다. 고객 불만은 종종 부품·시스템 수준의 고장 원인과 증상을 동시에 포함하므로, 하나의 문서가 여러 토픽에 할당될 수 있다. 논문에서는 SAS Enterprise Miner의 Text Topics 노드를 활용해 SVD 기반 개념 벡터에 회전 변환을 적용, 해석 가능한 토픽을 도출한다. 또한 도메인 전문가가 정의한 ‘custom topics’를 사전에 입력해 부품·증상에 대한 의미를 강화한다. 4장에서는 이러한 토픽을 이용해 신뢰성 이슈를 감지하는 통계적 방법을 제시한다. 기존 문헌에서 사용된 이벤트 카운트 기반 포아송 스캔 통계를 차용해, 각 토픽 j의 기준 발생률 b_j(문서당 평균 발생 빈도)를 과거 36개월 데이터로 추정한다. 새로운 기간 t에서 실제 카운트 C_{jt}와 기대값 B_{jt}=b_j·t를 비교하고, 포아송 로그우도비 F_{jt}=log L(C_{jt}|q·b_j·t)−log L(C_{jt}|b_j·t) (q>1) 를 계산한다. F_{jt}>1이면 해당 토픽이 ‘emerging’ 즉, 급격히 증가하고 있는 것으로 판단한다. 이 절차는 토픽 빈도의 변화를 정량적으로 감시함으로써 초기 고장 징후를 포착한다. 5장에서는 실제 사례 연구를 제시한다. 연구 대상은 특정 자동차 모델에 대한 2001~2014년 사이 5,259건의 고객 불만이다. 처음 36개월(각 월 최소 1건) 데이터를 사용해 기존 토픽을 정의하고, 각 토픽의 b_j를 계산한다. 전처리 과정에서는 불용어 리스트와 동의어 리스트를 구축하고, 4번 이하로 등장하는 용어는 제외하였다. 텍스트 토픽 노드를 통해 ‘Power Steering Locking’, ‘Air Bags’, ‘Engine’ 등 여러 커스텀 토픽이 도출되었다. 특히 ‘Power Steering Locking’ 토픽은 “power, steer, lock, indicator, light” 등 키워드로 구성되었으며, 2008년 5월부터 포아송 우도비가 급격히 상승하는 추세를 보였다. 이는 파워 스티어링 잠김 현상이 현장에서 급증하고 있음을 시사하며, 조기 리콜 및 설계 개선의 근거가 된다. 결론에서는 제안된 방법이 텍스트 마이닝과 포아송 기반 통계 감시를 결합해 비정형 데이터에서도 신뢰성 이슈를 조기에 탐지할 수 있음을 강조한다. 그러나 초기 단계에서 스톱리스트·시놉시스·커스텀 토픽 정의 등 인간 전문가의 개입이 필요하고, 완전 자동화는 아직 어려움이 있다. 향후 연구로는 딥러닝 기반 임베딩, 시계열 이상 탐지 기법과의 통합, 다중 제품 라인에 대한 확장 검증 등을 제안한다.