Title: Churn analysis using deep convolutional neural networks and autoencoders
ArXiv ID: 1604.05377
발행일: 2016-04-20
저자: Artit Wangperawong, Cyrille Brun, Olav Laudy, Rujikorn Pavasuthipaisit
📝 초록 (Abstract)
이 연구에서는 심층 학습, 특히 컨볼루션 신경망(CNN)과 오토인코더를 활용하여 통신 산업에서의 고객 이탈(churn)을 예측하는 방법을 제시합니다. 각 고객의 행동 패턴(데이터 사용량, 충전 금액 등)을 이미지로 표현하고 이를 CNN 모델에 입력하여 이탈 여부를 분류합니다. 실험 결과, DL-2 모델이 CHAID 결정 트리 모델보다 우수한 AUC(Area Under the Curve) 값을 보여주며, 특히 테스트 데이터에서 높은 성능을 나타냈습니다. 또한 오토인코더를 통해 고객 행동 패턴의 이해도를 높이고 이탈 원인을 파악하는 데에도 효과적임을 입증했습니다.
💡 논문 핵심 해설 (Deep Analysis)
이 논문은 통신 산업에서의 고객 이탈(churn) 문제를 해결하기 위해 심층 학습, 특히 컨볼루션 신경망(CNN)과 오토인코더를 활용한 접근법을 제시하고 있습니다. 연구는 고객 행동 패턴을 이미지로 표현하여 이를 CNN 모델에 입력하는 방법으로 이탈 여부를 예측하는데 초점을 맞추고 있으며, 이러한 접근법이 기존의 CHAID 결정 트리 모델보다 우수한 성능을 보여주었다는 것을 입증하고 있습니다.
1. 고객 행동 패턴의 이미지화
논문은 각 고객의 일별 데이터를 행으로, 다양한 행동 유형(데이터 사용량, 충전 금액 등)을 열로 구성하는 2차원 정규화된 픽셀 배열을 생성하여 고객 행동 패턴을 이미지로 표현합니다. 이러한 이미지는 훈련 및 테스트 데이터셋에서 이탈 여부를 나타내는 레이블과 함께 제공됩니다.
2. LTL(Lifetime Line) 기반의 이탈 정의
고객의 평생 라인(LTL)을 활용하여 이탈, 마지막 통화, 예측 창을 결정합니다. 이탈 평가 창은 30일로 설정되며, 해당 기간 내에 활동이 없는 고객은 이탈로 분류됩니다. 마지막 통화 창은 최근 14일 동안의 통화를 기준으로 하며, 이 기간 내에 통화가 없으면 고객을 분석에서 제외합니다.
3. CNN 모델 구조 및 성능
CNN 모델 중 DL-2는 가장 우수한 성능을 보여주었습니다. DL-2는 Topup 횟수/금액이라는 두 가지 추가 기능과 드롭아웃(0.25)을 포함하며, 여러 컨볼루션 레이어와 완전 연결 레이어를 통해 이탈 예측을 수행합니다. DL-2는 훈련 데이터에서의 AUC가 DL-1보다 낮지만, 테스트 데이터에서는 현저히 높은 성능을 보여주며, 과적합도 감소시켰습니다.
4. 오토인코더를 통한 고객 행동 패턴 이해
오토인코더는 비지도 학습 방법으로, 입력과 출력이 동일한 신경망입니다. 이 연구에서는 오토인코더를 통해 고객 행동 패턴을 이해하고 이탈 원인을 파악하는데 활용했습니다. 특히, 이탈한 고객의 하위 집합에 대해 오토인코더를 학습시켜 발견된 기본 이미지들은 Topup 빈도/금액, 통화 수/기간, 데이터 다운로드/업로드 볼륨/기간 등을 나타내며, 이를 통해 이탈 원인을 분석할 수 있음을 보여주었습니다.
5. 연구의 중요성 및 적용 가능성
이 논문은 통신 산업에서 고객 이탈 예측에 심층 학습 기법을 활용한 새로운 접근 방식을 제시하고 있습니다. 특히, CNN과 오토인코더를 통해 고객 행동 패턴을 이미지로 표현하고 이를 분석하는 방법은 다양한 산업에서의 이탈 문제 해결에도 적용 가능할 것으로 보입니다.
6. 향후 연구 방향
향후 연구에서는 추가적인 특징 개발 및 증강, 스택된 합성 자가 코딩 신경망을 활용한 사전 학습 등으로 모델의 성능을 더욱 높일 수 있을 것으로 기대됩니다. 또한, 다양한 산업에서 이탈 문제를 해결하는 데에도 이러한 접근 방식이 광범위하게 적용될 수 있습니다.
이 논문은 통신 산업에서 고객 이탈 예측에 심층 학습을 활용한 새로운 지평을 열었으며, 이를 통해 기존의 방법보다 우수한 성능을 달성할 수 있음을 입증하고 있습니다.
📄 논문 본문 발췌 (Excerpt)
**고급 학습을 통한 고객 이탈 예측: CNN 기반 접근법**
심층 학습은 컨볼루션 신경망(CNN)을 통해 이미지 처리 작업에서 뛰어난 성능을 보여주었습니다 (참고 문헌 1, 2, 3). 이러한 발전을 활용하여 이탈을 예측하고 사전 조치를 취하기 위해, 우리는 고객을 이미지로 표현합니다. 구체적으로, 각 행이 일별 데이터이고 각 열이 추적되는 행동 유형을 나타내는 2차원 정규화된 픽셀 배열을 생성합니다 (그림 1 참조). 행동 유형에는 데이터 사용량, 충전 금액, 충전 빈도, 음성 통화, 통화 시간, SMS 메시지 등이 포함됩니다. 훈련 및 테스트 데이터에서 각 이미지는 해당 고객의 이탈 여부를 나타내는 레이블 (-1: 이탈, 0: 이탈 아님)과 함께 제공됩니다. 본 분석에서는 선불 고객에 초점을 맞춥니다.
이탈, 마지막 통화, 예측 창을 결정하기 위해 각 고객의 평생 라인(LTL)에 따라 정의합니다 (그림 2 참조). 가장 잘 이해하려면 그림 2를 오른쪽에서 왼쪽으로 보세요. 첫 번째 항목은 이탈 평가 창으로, 우리는 30일을 선택했습니다. 고객이 이 기간 내에 활동을 등록하면 0 (활성/이탈 아님)으로 레이블을 지정하고, 활동이 없으면 1 (이탈)로 레이블을 지정합니다. 그림 2의 첫 번째, 가장 위 LTL은 이러한 레이블을 나타냅니다. 마지막 통화 창은 그림 2에서 14일간의 최신 통화가 발생하는 시점입니다. 이 기간 내에 통화가 없으면 고객을 분석에서 제외하는데, 이는 우리가 사전에 유지 조치를 취하기 전에 고객이 이미 이탈했다고 간주하기 때문입니다. 마지막 통화로부터 14일을 거슬러 올라가 예측 창의 끝을 정의합니다. 여기서는 30일 예측 창을 사용했지만, 더 나은 결과를 위해 시간 범위를 조정할 수 있습니다. 예측 창의 정확한 날짜는 각 고객의 사용 행동에 따라 달라지는데, 이는 새로운 무표 데이터를 준비하여 실제 예측에 사용할 동일한 프로토콜을 적용하기 위함입니다.
각 고객의 LTL 방법에 따라 훈련 및 테스트 이미지를 생성한 후, 심층 CNN을 통해 이를 전달합니다. 성공적으로 이미지 분류에 사용된 유사한 구조 중 하나는 그림 3에 표시된 DL-1입니다. 이 구조는 두 개의 연속적인 컨볼루션 레이어, 2x1 최대 풀링 레이어, 128 유닛의 완전 연결 레이어, 그리고 이진 분류를 위한 소프트맥스 출력 2개의 유닛으로 구성됩니다. 첫 번째 컨볼루션 레이어는 각 사용 행동 열을 7일 동안 스캔하는 7x1 필터 4개를 포함합니다. 7일을 선택한 이유는 고객의 주간 패턴을 각 사용 행동 유형별로 분석하기 위함입니다. 각 필터는 이미지 처리에서 일반적으로 사용되는 것처럼 공유 가중치와 편향을 유지합니다. 그 후, 두 번째 컨볼루션 레이어에서 1x10 크기의 필터 2개가 모든 사용 행동 특징을 스캔하고 첫 번째 컨볼루션 레이어의 한 행의 출력을 전달합니다. 이 필터는 고객의 시간에 따른 사용을 분석하기 위함입니다.
컨볼루션 후, 2x1 크기의 최대 풀링 레이어가 적용되어 번역 불변성을 돕습니다 (참고 문헌 4). 그 후, 완전 연결 레이어는 데이터를 소프트맥스 출력 이진 분류기에 맞게 평탄화합니다. 이 구조를 전체적으로 훈련하고 테스트한 결과는 CHAID 결정 트리 모델보다 AUC(영역 아래 곡선) 벤치마크에서 우수한 성능을 보였습니다 (표 1 참조). ROC 곡선의 AUC는 양성 및 음성 진단 모두를 고려하는 일반적으로 받아들여지는 벤치마크입니다 (참고 문헌 5, 6). DL-1은 20에포크 동안 이진 교차 엔트로피 손실 함수, 직선 단위 활성화 함수, 그리고 배열 크기 100의 스텝 그래디언트 하강법으로 백프로파게이션을 사용하여 훈련되었습니다 (참고 문헌 7, 8).
심층 학습과 비지도 학습을 통한 고객 이탈 예측
[이전 텍스트에서 계속]
0 적응형 학습률을 가진 모델 [9]을 비교했을 때, SPSS CHAID 모델과 DL-1 모델 모두 과적합 현상을 보였지만, 딥러닝 구현은 훈련 및 테스트 데이터 양에서 우월성을 보였습니다.
다양한 딥러닝 하이퍼파라미터와 아키텍처를 테스트한 결과, DL-2가 최적의 성능을 보였습니다. DL-2는 Topup 횟수/금액이라는 두 가지 추가 기능을 포함하고 있으며, 0.25 드롭아웃 [10]과 함께 12x7x1 컨볼루션 레이어를 포함합니다. 그 후 2x1 맥스 풀링 레이어, 7x1x12 컨볼루션 레이어, 또 다른 2x1 맥스 풀링 레이어, 100개의 유닛을 가진 완전 연결 레이어 (0.2 드롭아웃), 40개의 유닛을 가진 완전 연결 레이어 (0.2 드롭아웃), 20개의 유닛을 가진 완전 연결 레이어 (0.2 드롭아웃) 그리고 이진 분류를 위한 소프트맥스 출력 두 개의 유닛으로 구성되어 있습니다. DL-2는 더 많은 완전 연결 레이어와 드롭아웃 사용으로 과적합이 감소하는 것으로 보이며, 이는 훈련 데이터와 테스트 데이터의 DL-2 AUC 값을 비교한 표 1에서 확인할 수 있습니다. 훈련 AUC는 DL-1보다 낮지만, 테스트 AUC는 현저히 높습니다. 또한, 40 에포크에서 학습된 DL-2는 20 에포크에서도 DL-1보다 우수한 성능을 보였습니다. 다른 모든 파라미터는 DL-1과 동일합니다.
지금까지 우리는 고객 이탈 예측을 위한 감독 학습에 대해 논의했습니다. 그러나 고객 행동 패턴을 이해하고 이탈의 원인을 파악하기 위해서는 비지도 학습 접근법, 특히 오토인코더를 적용할 수 있습니다. 오토인코더는 입력과 출력이 동일한 신경망입니다. 데이터 차원 축소에는 더 우수한 성능을 보이며 [11], 주성분 분석보다 더 효과적입니다.
이전 데이터셋으로 오토인코더를 학습시킨 후, 숨겨진 유닛을 최대 활성화하여 차원 축소 정보를 얻는 이미지를 생성할 수 있습니다. 입력이 정규화 제약 조건에 따라 주어질 때 (방정식 1), 각 숨겨진 유닛 xi에 대한 원하는 이미지 픽셀 xj는 가중치 Wij에 따라 [12] (방정식 2) 생성될 수 있습니다.
그림 4. 전체 고객 기반의 숨겨진 유닛을 최대 활성화하는 오토인코더 이미지의 예시입니다. 픽셀 값은 흰색에서 검정으로 증가합니다.
이러한 이미지는 그림 4에 표시되어 있습니다. 이 이미지 세트에서 열 0-3은 통화 수/기간, 열 4-7은 데이터 다운로드/업로드 볼륨/기간, 열 8-9는 SMS 수/발송을 나타냅니다. 각 실제 고객의 이미지는 이러한 기본 이미지의 선형 중첩으로 대략적으로 재구성될 수 있습니다. 두 번째 기본 이미지를 살펴보면, 매일 들어오는 마케팅 SMS 메시지 (요청 및 비요청 모두)가 모든 고객의 주요 구성 요소임을 알 수 있습니다. 데이터 사용에 관한 세 가지 다른 기본 이미지는 고객 간 데이터 사용량의 가장 큰 변동성을 나타내며, 따라서 이를 표현하기 위해 가장 많은 구성 요소가 필요합니다. 우리가 고객 이탈을 방지하는 데 관심이 있다면, 이탈한 고객의 하위 집합으로 오토인코더를 학습시킬 수 있습니다. 그림 5에 따르면, 우리는 세 가지 구별되는 기본 이미지를 이탈한 고객에게 발견했습니다. 이 경우, 열 0-1은 Topup 빈도/금액을 나타내고, 열 2-5는 통화 수/기간을 나타내며, 열 6-9는 데이터 다운로드/업로드 볼륨/기간을 나타냅니다. 열 10-11은 SMS 수/발송을 나타냅니다. 첫 두 이미지는 30일 동안 Topup, 음성 및 데이터 사용의 변동을 반영합니다.
세 번째 이미지는 많은 이탈 고객이 전체 30일 기간 동안 일관된 Topup, 데이터 사용 및 SMS 발송을 유지하지만, 음성 사용량이 낮다는 것을 시사합니다. 이는 많은 고객들이 전화번호를 사회적으로 연결하지 않고 SIM 카드를 버리는 것으로 추정됩니다. 그들의 이탈을 방지하기 위한 한 가지 조치는 음성 인센티브나 프로모션을 제공하는 것입니다. 또한, 이러한 고객들은 적절한 SMS 마케팅 메시지를 받지 못하여 서비스 활동이 저하되었을 가능성도 있습니다.
심층 컨볼루션 신경망과 오토인코더는 고객 이탈 예측 및 이해에 유용한 도구임을 증명했습니다.
