로마우두 의견 마이닝 시스템 RUOMiS 분석

초록

본 논문은 로마자 표기 우두(Roman Urdu)로 작성된 온라인 제품 리뷰를 자동으로 수집·번역·감성 분석하여 제품 평점을 제공하는 RUOMiS 시스템을 제안한다. 웹 크롤링, Bing 번역 API, SharpNLP 기반 품사 태깅, 사전 구축형 형용사 어휘를 활용해 긍정·부정·중립 의견을 구분하고, 결과를 그래프 형태로 시각화한다. 실험은 파키스탄 모바일 쇼핑 사이트의 세 제품에 대해 1,620개 댓글을 대상으로 진행했으며, 재현율 100%와 정밀도 27.1%를 기록했다. 주요 한계는 중립 댓글(광고·요청 등)을 긍정·부정으로 오분류하는 잡음 문제이며, 향후 어휘 확장 및 의미 기반 필터링이 필요하다.

상세 분석

RUOMiS는 로마우두(Roman Urdu)로 작성된 사용자 리뷰를 활용해 비우두어 사용자에게도 제품 선택 정보를 제공하고자 하는 실용적 목표를 갖는다. 시스템 아키텍처는 크게 네 단계(크롤링, 번역, 품사 태깅·의견어 추출, 평점 산출)로 구성되며, 각 단계는 기존 오픈소스 도구와 외부 API에 의존한다.

1. 데이터 수집(Crawling)

   • 대상 웹사이트는 파키스탄 모바일 쇼핑 포털(whatmobile.com)이며, 제품 페이지당 댓글을 자동 수집한다.
   • 크롤링 과정에서 HTML 파싱 오류나 중복 수집을 방지하기 위한 구체적 로직이 논문에 서술되지 않아, 데이터 품질 관리 측면에서 불확실성이 존재한다.

2. 번역(Translation)

   • Microsoft Bing Translator API를 이용해 로마우두를 영어로 번역한다. 자동 번역은 어휘·구문 오류가 빈번할 수 있는데, 특히 로마우두는 비표준 철자와 혼용이 많아 번역 정확도가 크게 좌우된다. 논문에서는 번역 품질 평가를 제시하지 않아, 이후 감성 분석 결과에 대한 신뢰도가 낮아진다.

3. 품사 태깅(POS Tagging)

   • SharpNLP(SharpNLP는 C# 포트이며 OpenNLP 기반)를 사용해 영어 번역문에 대해 토큰화·품사 태깅을 수행한다. 여기서 핵심은 형용사(Adjective) 추출이다. 그러나 영어 번역문에 포함된 형용사가 원문 감성을 정확히 반영하는지는 검증되지 않았다. 또한, 로마우두 고유의 감성 어휘가 번역 과정에서 사라질 위험이 있다.

4. 감성 어휘 사전 및 의견 문장 식별

   • 연구진은 200개의 긍정·부정 형용사를 수작업으로 구축한 사전을 사용한다. 사전 규모가 작고, 도메인(모바일) 특화 어휘가 충분히 반영되지 않아 다수의 의견을 놓칠 가능성이 있다.
   • 의견 문장은 ‘형용사 포함 여부’로 판단하고, 사전 매칭을 통해 긍정·부정·중립을 구분한다. 이 방식은 ‘긍정적 형용사 + 부정적 맥락(예: not good)’을 제대로 처리하지 못한다는 한계가 있다.

5. 평점 산출 및 시각화

   • 긍정·부정·중립 댓글 비율을 기반으로 파이 차트·바 차트 형태의 평점을 제공한다. 평점 계산식이 단순히 비율에 의존하므로, 댓글 수가 적은 제품에 대해 과도한 변동성을 보일 수 있다.

실험 결과

• 세 개 제품에 대해 각각 540개 댓글(총 1,620개)을 분석했으며, RUOMiS는 긍정 527건, 부정 177건, 중립 916건을 도출했다. 실제 수치는 각각 120, 71, 1,429건이었다.
• 재현율(Recall) 1.0은 모든 실제 긍정·부정 댓글을 포착했음을 의미하지만, 정밀도(Precision) 0.271은 27%만이 올바르게 분류됐음을 나타낸다. 즉, 73%가 중립(광고·요청 등) 댓글을 오분류한 것이다.
• 오분류 원인으로는 ‘Excellent condition’, ‘Good condition’ 등 제품 상태를 나타내는 형용사가 긍정 어휘 사전에 포함돼 중립 댓글을 긍정으로 잘못 판단한 점이 강조된다.

비판 및 개선점

• 번역 품질: 로마우두는 표준화된 철자가 없으며, 자동 번역에 크게 의존하는 현재 구조는 감성 분석 정확도를 저해한다. 자체 로마우두‑>영어 사전 구축이나, 번역 후 품질 검증 절차를 도입해야 한다.
• 감성 사전 규모: 200개 어휘는 매우 제한적이다. 기존 영어 감성 사전(SentiWordNet, VADER 등)과 결합하거나, 도메인 특화 어휘를 자동 추출하는 방법(LDA, Word2Vec 기반)으로 확대할 필요가 있다.
• 문맥 기반 분류: 현재는 형용사 매칭만으로 감성을 판단한다. 부정어(not, never)나 조동사 등 문맥 정보를 반영한 규칙 기반 혹은 머신러닝(예: SVM, BERT) 모델을 적용하면 정밀도를 크게 향상시킬 수 있다.
• 중립 댓글 필터링: 광고·거래 요청 등 비제품 관련 댓글을 사전에 탐지하는 필터링 모듈을 추가하면 오분류를 감소시킬 수 있다.
• 평가 지표: 정밀도·재현율 외에 F1-score, 정확도, ROC‑AUC 등 다양한 지표와 교차 검증을 제공하면 결과의 신뢰성을 높일 수 있다.

전반적으로 RUOMiS는 로마우두라는 저자원 언어에 대한 실용적 접근을 시도했지만, 번역·어휘·문맥 처리 단계에서의 한계가 정밀도 저하로 이어졌다. 향후 연구에서는 언어 특화 전처리, 대규모 감성 어휘 구축, 머신러닝 기반 감성 분류 모델 도입을 통해 시스템의 정확성을 크게 개선할 수 있을 것으로 기대된다.