힐버트 행렬 기반 CBC 암호 시스템 설계와 분석

초록

본 논문은 힐버트 행렬의 역행렬이 정수 원소로 구성된다는 특성을 이용해 대칭키 암호를 설계하고, 블록 체이닝(CBC) 모드와 디지털 봉투 방식을 결합해 인증·기밀성을 동시에 제공하는 공유키 암호 체계를 제안한다. 키 크기와 세션키 전송 방식을 포함한 전체 절차를 제시하고, 기존 행렬 기반 암호와의 차별점을 논의한다.

상세 분석

논문은 먼저 힐버트 행렬이 Cauchy 행렬의 특수 형태이며, 대칭이며 양정치이고 모든 부분행렬의 행렬식이 양수라는 수학적 성질을 정리한다. 특히 역행렬의 모든 원소가 정수라는 점은 기존 Hill 암호에서 발생하는 실수 역행렬 문제를 회피할 수 있게 해준다. 저자는 n을 충분히 큰 소수로 선택하고, 평문을 m×1 열벡터( m<n )로 구성한 뒤, (n‑m)×1 비밀 문자열 K를 공개키 암호화하여 전송한다. K를 평문에 붙여 n×1 벡터를 만든 뒤 힐버트 행렬 H와 곱해 암호문 C를 얻는다. 복호화 시 H⁻¹을 곱하면 원래 평문과 K가 복원된다. 여기서 CBC 모드를 도입해 각 블록을 XOR 연산으로 연결함으로써 동일 평문 블록이 동일 암호문 블록으로 매핑되는 문제를 해결한다.

보안 측면에서 핵심은 n의 비밀성이다. n이 소수이며 충분히 커야 역행렬을 통한 공격이 비현실적이며, K의 길이 (n‑m)도 충분히 길어야 세션키 유출 위험이 낮다. 그러나 n 자체가 평문 길이와 직접 연관되므로 전송 전 n을 공유해야 하는데, 이는 사전 비밀 채널이 필요함을 의미한다. 또한 힐버트 행렬은 수치적으로 매우 불안정해 큰 차원에서 부동소수점 연산 오차가 급격히 증가한다. 논문은 정수 역행렬을 이용한다 주장하지만 실제 구현에서는 큰 정수 연산과 메모리 요구가 급증한다.

성능 측면에서는 O(n³) 복잡도의 행렬 곱셈과 역행렬 연산이 병목이 된다. n을 1024 정도로 잡으면 실시간 통신에 부적합할 수 있다. CBC 모드 적용을 위해 초기화 벡터(IV)를 추가로 전송해야 하는데, IV 관리와 재사용 방지에 대한 논의가 부족하다.

또한 키 관리 절차가 복합적이다. 공유 비밀 n, 세션키 K, 공개키 암호화 과정, 그리고 CBC용 IV까지 모두 안전하게 교환해야 한다. 논문은 이러한 절차를 “디지털 봉투” 개념으로 요약하지만 구체적인 프로토콜 설계와 인증 메커니즘(예: MAC, 디지털 서명) 언급이 부족하다.

결론적으로, 힐버트 행렬의 수학적 특성을 창의적으로 활용했지만, 실제 암호학적 강도와 구현 효율성을 확보하기 위해서는 행렬 차원 제한, 수치 안정성, 키 교환 프로토콜 강화 등이 추가로 필요하다.