개요

공식 개념 분석(FCA)을 기반으로 한 분류는 규칙 유도를 활용하여 분류기를 생성하는 머신러닝 접근법입니다. 이를 수학적 프레임워크인 공식 컨텍스트, 갈루아 연결, 그리고 개념 격자에 기반하고 있습니다.

최근 여러 FCA 기반의 분류 방법이 제안되었습니다: CNC(Classifier Nominal Concept), CpNC_CORV(Classifier pertinent Nominal Concept based on Closure Operator for Relevant-Values), DFC(Dagging Formal Concept), NextPriorityConcept, Adapted SAMME Boosting 등입니다. 하지만 이들 방법들은 높은 오차율과 거부율, 그리고 과적합 문제를 안고 있습니다.

또한 모든 공식 개념의 완전한 생성은 계산적으로 비효율적이며 때로는 컨텍스트 상관성이 부족합니다. 적절한 개념을 선택하는 유연한 전략이 거의 없다는 점도 주목할 만합니다. 이러한 제약점을 해결하기 위해, 앙상블 학습 기법과 패턴 구조 등의 다양한 개선 사항들이 연구되었습니다. 그러나 생성된 개념의 품질은 여전히 충분히 탐구되지 않았습니다.

이 논문에서는 CNC 방법을 강화하는 새로운 속성 선택 전략을 소개합니다. 제안된 방법론에 대한 세부사항은 각 섹션에서 다룹니다:

• 섹션 2는 공식 개념 분석의 기초를 설명합니다.
• 섹션 3은 최근 FCA 기반의 분류 방법들을 검토합니다.
• 섹션 4에서는 제안된 CNC-TP 방법을 소개합니다.
• 섹션 5는 실험적 평가를 자세히 다룹니다.
• 마지막으로, 섹션 6은 논문의 요약과 향후 연구 방향을 정리합니다.

공식 개념 분석

공식 개념 분석(FCA)은 격자 이론과 명제 논리를 기반으로 하는 수학적 프레임워크입니다. FCA는 데이터에서 개념 구조를 추출하고 이러한 개념들을 개념 격자로 조직화합니다. FCA는 공식 컨텍스트라는 것을 사용하며, 이는 객체(인스턴스) 집합과 속성 집합 간의 관계를 나타냅니다.

weather.symbolic 데이터셋을 예시로 들어서 설명하겠습니다. 이 데이터셋은 기상 조건과 외부 활동 여부를 결정합니다. 표 1은 weather.symbolic 데이터셋에서 첫 번째 7개 인스턴스를 포함한 공식 및 명목 컨텍스트의 예입니다.

이 명목 데이터는 이진 공식 컨텍스트로 변환됩니다. 여기서 각 속성-값 쌍은 독립적인 이진 특징으로 표현됩니다. 결과 이진 컨텍스트는 표 2에 제시되어 있습니다. 표 3은 각 이진 속성 $`a_i`$와 원래 명목 데이터셋의 대응하는 속성-값 쌍 간의 매핑을 제공합니다.

공식 컨텍스트는 삼위일체 $`\langle I, A, R \rangle`$로 정의되며:

• $`I = \{i_1, i_2, \dots, i_7\}`$: 객체(인스턴스) 집합입니다.
• $`A = \{a_1, a_2, \dots, a_9\}`$: 이진 속성 집합입니다. 예를 들어, $`a_1`$은 ‘outlook = sunny’, $`a_4`$는 ’temperature = hot’ 등을 의미합니다.
• $`R \subseteq I \times A`$: $`R(i_k, a_l) = 1`$이면 인스턴스 $`i_k`$가 속성 $`a_l`$을 갖습니다.

두 연산자로 갈루아 연결을 정의합니다:

• $`\varphi(X) = \{ a \in A \mid \forall i \in X, (i, a) \in R \}`$: $`X`$ 내 모든 객체가 공유하는 속성 집합입니다.
• $`\delta(Y) = \{ i \in I \mid \forall a \in Y, (i, a) \in R \}`$: $`Y`$의 모든 속성을 갖는 객체 집합입니다.

이 연산자는 클로저를 계산하는 데 사용됩니다:

X" = \delta(\varphi(X)), \quad Y" = \varphi(\delta(Y))

공식 개념은 쌍 $`(X, Y)`$이며, 여기서 $`\varphi(X) = Y`$이고 $`\delta(Y) = X`$입니다.

예를 들어, $`X = \{i_1, i_2\}`$라면:

\varphi(X) = \{a_1, a_4, a_7\}, \quad \delta(\{a_1, a_4, a_7\}) = \{i_1, i_2\}

따라서 $`(\{i_1, i_2\}, \{a_1, a_4, a_7\})`$은 공식 개념입니다.

이러한 개념들은 격자 구조로 조직되어 각 노드가 하나의 개념을 나타내고 엣지는 집합 포함 관계를 기반으로 하는 부분 순서를 정의합니다. 이 계층적 구조는 속성과 객체를 통해 개념들이 어떻게 연결되는지, 일반화-특수화 관계를 강조해줍니다. 그림 1은 Galicia 도구를 사용하여 weather.symbolic 공식 컨텍스트에서 파생된 개념 격자를 보여줍니다. 이 격자는 FCA 기반 응용 프로그램의 기반이 되며, 규칙 추출 및 분류와 같은 작업에 활용됩니다.

FCA 기반 분류의 현재 상태

공식 개념 분석(FCA)은 이진 및 명목 데이터에서 구조화된 지식을 추출할 수 있는 능력 때문에 다양한 분야에서 점점 더 큰 관심을 받고 있습니다. 본 섹션에서는 실제 분류 문제에 FCA를 적용한 주요 기여들을 검토합니다. 특히, 명목 데이터를 처리하는 FCA 기반의 분류기를 중점적으로 다룹니다. 이러한 연구들은 FCA의 유연성과 복잡한 데이터셋에서 확장성 및 해석 가능성 향상을 위한 지속적인 노력이 강조됩니다.

은 전통적 (a posteriori) 접근법인 기존 FCA와 비전통적 (a priori) 방법론인 측정 속성 시스템(SMP)을 결합하여 경험 데이터에서 공식 개념을 생성하는 방법을 제안합니다. 연구는 불완전하고 모순된 데이터를 다루기 위해 다중 값 논리를 사용합니다. 저자들은 의미 있는 공식 개념을 도출하기 위해서는 두 가지 방법론 모두 필수적이라고 결론짓고, 다중 값 논리에 대한 형식 컨텍스트의 정규화 중요성을 강조합니다.

은 갈루아 연결에서 유래한 폐쇄 연산자를 사용하여 명목 데이터로부터 관련성 있는 개념을 추출하는 새로운 접근법을 소개합니다. 저자들은 CpNC_COMV(Closure Operator for Multi-Values), CpNC_CORV, CaNC_COMV 및 CaNC_CORV 등 4개의 분류 방법을 제안하고 평가합니다. 실험 결과는 CpNC_CORV가 다른 방법들보다 분류 정확도에서 우수함을 보여줍니다.

은 개념 격자의 부분만 생성하는 방법을 제안하여 가장 관련성이 높은 개념에 집중합니다. 저자들은 DAGGING 기법을 활용한 FCA 기반 분류기의 앙상블인 DNC(Dagging Nominal Concept) 분류기를 소개합니다. 연구는 병렬 학습이 단일 분류기보다 성능을 크게 향상시킨다는 것을 보여주지만, 이 접근법은 계산 복잡도를 줄이는 대신 덜 주목받는 개념을 생략하여 분류 정확도에 영향을 미칠 수 있습니다.

NextPriorityConcept 알고리즘은 우선순위 큐와 필터링 전략을 사용해 효율적으로 개념을 계산합니다. 데이터를 논리적 명제로 변환함으로써 형식 독립성을 제공하지만, 큰 또는 매우 복잡한 데이터셋에 적용할 때 계산 복잡도가 지수적으로 증가하여 확장성 문제가 발생할 수 있습니다.

에서는 패턴 구조를 활용한 게으른 분류 강화 방법을 탐구합니다. 저자들은 SAMME 부스트링 알고리즘을 패턴 구조에 적용하고 다양한 집합 함수와 가중치 방안을 조사합니다. 그들의 연구는 해석 가능성에 손해 없이 예측 정확도를 향상시킬 수 있음을 보여줍니다.

마지막으로에서는 FCA가 주제 모델링 기법의 대체물로서 문서 시각화에 적용되었습니다. 연구는 FCA가 키워드와 문서 관련성을 효과적으로 시각화할 수 있으며, LDA(Latent Dirichlet Allocation)를 대체하는 유망한 방법임을 보여줍니다.

FCA 기반 분류 방법은 다양성과 진행 상황에도 불구하고 문헌에 걸쳐서 여러 공통 제약 사항이 지속되고 있습니다. 첫째, 많은 접근법들은 모든 공식 개념의 완전 생성으로 인해 계산 복잡도가 높아져 큰 또는 복잡한 데이터셋에는 적용하기 어렵습니다. 일부 방법은 개념 격자의 부분만 생성하여 이 부담을 줄이지만, 유용한 정보를 잃어 분류 정확도에 영향을 미칠 수 있습니다. 둘째, 대부분의 기존 기술들은 동적으로 분류 작업에 가장 관련성이 높은 개념을 선택하는 컨텍스트 적응성을 가지고 있지 않습니다. 셋째, 명목 및 다중 값 데이터 처리는 여전히 도전 과제로 남아 있으며 특히 이진 컨텍스트로 변환할 때 중복이나 정보 손실이 발생합니다. 또한 여러 방법은 생성된 개념이 너무 특정적이거나 충분히 구별력이 없는 경우 높은 오차율 또는 거부율을 보입니다. 과적합도 큰 규칙이나 개념을 생성하는 모델에서 반복적으로 나타나는 문제이며, 대부분의 연구에서는 분류에 사용된 개념의 품질을 명시적으로 평가하지 않습니다. 마지막으로 앙상블 방법인 Dagging 및 SAMME Boosting은 성능을 개선하였지만 해석 가능성이라는 FCA의 핵심 장점을 손해 보는 경우가 있습니다.

제안된 접근법: CNC-TP

이전에 검토한 연구들은 FCA가 다양한 데이터 유형과 분류 문제를 해결하는 데 얼마나 적응력이 있으며 효과적인지 보여줍니다. 개념 추출 최적화에서 앙상블 기법 및 전문 측정을 활용한 분류기 성능 향상에 이르기까지, FCA는 계속해서 강력한 분석 프레임워크로 진화하고 있습니다. 그러나 큰 규모나 다중 값 데이터셋과 관련된 계산 복잡성 및 분류 정확도 균형을 맞추는 데 어려움이 있으며 이러한 통찰은 본 논문에서 제안하는 더욱 정교한 FCA 기반의 분류 방법 개발을 촉구합니다.

제안된 접근법은 Classifier Nominal Concept (CNC)를 기반으로 합니다. CNC는 명목 속성을 활용하여 결정 규칙을 유도하는 분류 방법입니다. 명목(다중 값) 컨텍스트에서 시작하여 CNC는 Galois 연결(폐쇄 연산자)을 사용해 정보 이득을 최대화하고 데이터의 구분력을 높이는 가장 중요한 명목 개념을 추출합니다. CNC의 주요 목표는 학습 시간과 복잡성을 줄이면서 결과 모델의 해석 가능성 및 설명 가능성을 보장하는 것입니다.

본 논문에서는 CNC-TP (CNC based on Top Pertinent attributes)라는 분류 접근법을 소개합니다. 이 방법은 정보 이득 비율 측정을 사용하여 가장 중요한 속성을 선택함으로써 CNC를 강화합니다. 기존의 FCA 기반 분류기와 달리, CNC-TP는 고정된 임계값 대신 속성의 관련성에 따라 상위 순위 속성 집합을 동적으로 선택합니다. 이 전략은 노이즈를 줄이고 가장 구별력 있는 패턴에 초점을 맞춤으로써 분류기의 해석 가능성과 성능을 모두 향상시킵니다. 접근법은 속성 순위, 공식 개념 추출 및 규칙 기반 분류라는 구조적인 파이프라인을 따릅니다.

CNC-TP의 핵심 단계는 가장 관련성이 높은 속성을 정보 이득 비율에 따라 선택하는 것입니다. 이를 통해 분류 정확도와 해석 가능성을 동시에 향상시킵니다.