GreCon3 고성능 불리언 행렬 분해 메모리와 시간 최적화

초록

본 논문은 기존 GreCon·GreCon2 알고리즘이 갖는 높은 메모리 사용량과 긴 실행 시간을 극복하기 위해, 공간 효율적인 데이터 구조와 단계적 초기화 전략을 도입한 GreCon3을 제안한다. 새로운 구조는 미처리 데이터를 추적하고, 불필요한 개념을 배제함으로써 메모리 발자국을 크게 줄이며, 첫 번째 요인들을 적은 연산으로 찾는다. 실험 결과 GreCon3은 GreCon2 대비 메모리 사용량과 실행 시간이 현저히 감소했음을 보인다.

상세 분석

GreCon3은 Formal Concept Analysis(FCA)를 기반으로 한 Boolean Matrix Factorization(BMF)에서 가장 큰 병목인 ‘모든 형식 개념의 열거와 커버리지 계산’ 과정을 근본적으로 재설계한다. 기존 GreCon2는 각 1에 대해 해당 1을 커버하는 모든 개념의 인덱스를 미리 저장하는 셀 배열을 사용했으며, 이는 메모리 소모와 초기화 비용을 급증시켰다. GreCon3은 두 가지 핵심 개선을 적용한다. 첫째, 희소 행렬을 모방한 2차원 가변 배열(‘셀 배열’)을 도입해 실제 1이 존재하는 위치만을 저장한다. 각 행은 열‑인덱스와 해당 열에 속한 개념 인덱스 리스트를 쌍으로 보관함으로써 캐시 친화성을 높이고, 불필요한 0‑셀에 대한 메모리 할당을 완전히 배제한다. 둘째, 개념 초기화를 ‘필요 시점에 동적 삽입’ 방식으로 전환한다. 개념들을 크기(extent·intent 곱) 기준으로 내림차순 정렬한 뒤, 현재까지 발견된 최고 커버리지를 초과할 가능성이 있는 경우에만 커버리지를 계산하고 셀 배열에 인덱스를 기록한다. 이 과정에서 이미 커버된 1은 즉시 무시되며, 작은 개념은 초기 단계에서 자연스럽게 제외된다. 결과적으로 메모리 사용량은 전체 개념 수에 비례하지 않고, 실제 남은 1의 수와 큰 개념의 수에만 비례한다. 또한, 첫 번째 몇 개의 요인이 데이터의 대다수를 설명한다는 특성을 활용해, 초기 단계에서 큰 개념만을 집중적으로 탐색함으로써 전체 반복 횟수를 크게 줄인다. 알고리즘 복잡도 분석에 따르면, 최악의 경우에도 GreCon3의 시간 복잡도는 O(|C|·|I₁|)에서 O(|Cₗₐᵣɡₑₛₜ|·|I₁|)로 감소한다(여기서 |C|는 전체 개념 수, |Cₗₐᵣɡₑₛₜ|는 초기 단계에서 고려되는 큰 개념 수, |I₁|은 아직 커버되지 않은 1의 수). 실험에서는 다양한 크기와 희소성을 가진 벤치마크 데이터셋(예: Mushroom, Chess, Netflix)에서 GreCon3이 GreCon2 대비 평균 메모리 사용량을 60 % 이상 절감하고, 실행 시간은 2배~5배 가량 단축되는 것을 확인하였다. 이러한 성능 향상은 특히 수십만 행·열 규모의 대형 이진 데이터에 대해 GreCon 계열이 실용적으로 활용될 수 있음을 의미한다.