비선형 변환을 활용한 효율적 Hill 암호 변형 연구

초록

본 논문은 기존 Hill 암호의 선형성 문제를 보완하기 위해 비선형 비트 수준 퍼뮤테이션을 도입한 두 변형을 분석한다. 반복 횟수가 암호 강도와 애벌랜치 효과에 미치는 영향을 실험적으로 조사하고, 열 교환 및 임의 퍼뮤테이션을 이용한 두 새로운 변형을 제안한다. 제안 방식은 16회 반복 대신 2회 반복으로 계산 복잡도를 크게 낮추면서도 충분한 애벌랜치 효과와 보안성을 유지한다는 점에서 실용적이다.

상세 분석

Hill 암호는 n×n 키 행렬을 이용해 평문 블록을 선형 변환하는 고전적인 대칭키 암호이다. 선형성 때문에 차분 공격이나 알려진 평문 공격에 취약하다는 것이 오래전부터 지적되어 왔으며, 이를 보완하기 위해 비선형 요소를 도입하는 연구가 활발히 진행되어 왔다. 본 논문이 다루는 두 최근 변형은 ‘interweaving’과 ‘interlacing’이라는 이름으로, 각각 비트 수준에서 행과 열을 교차(interweave)하거나 겹쳐(interlace) 배치하는 방식을 채택한다. 이러한 비트 레벨 퍼뮤테이션은 실제로는 비선형 변환에 해당하며, 입력 비트의 위치를 복잡하게 뒤섞어 키 행렬만으로는 복원하기 어려운 구조를 만든다.

논문은 먼저 이러한 변형이 보안에 기여하는 핵심 메커니즘을 분석한다. 비트 퍼뮤테이션은 단순히 행렬 곱셈 뒤에 적용되는 비선형 함수로 작동한다. 이 함수는 입력 비트의 의존성을 높여 차분 전파(diffusion)를 강화하고, 작은 입력 변화가 출력 전체에 고르게 퍼지도록 만든다. 특히 ‘avalanche effect’를 정량적으로 측정하기 위해 반복 횟수와 비트 변동률을 실험적으로 조사했는데, 반복 횟수가 증가할수록 평균 비트 변동률이 급격히 상승한다는 결과를 얻었다. 그러나 반복이 많아질수록 연산량과 암호화·복호화 지연 시간이 비례적으로 늘어나는 문제가 발생한다.

이에 저자들은 두 가지 새로운 변형을 제안한다. 첫 번째는 ‘column swapping’ 방식으로, 매 반복마다 키 행렬에 의해 정의된 열 순서를 교환한다. 두 번째는 ‘arbitrary permutation’ 방식으로, 미리 정의된 임의의 비트 퍼뮤테이션 테이블을 사용해 전체 블록을 재배열한다. 두 방식 모두 비선형성을 유지하면서도 구현이 단순하고, 반복 횟수를 16에서 2로 감소시켜도 충분한 애벌랜치 효과를 확보한다. 실험 결과, 2회 반복 시 평균 비트 변동률이 45% 이상으로, 기존 16회 반복 대비 30% 정도 빠른 암호화 속도를 보이며 보안 수준은 크게 저하되지 않았다.

또한 논문은 복호화 과정에서 퍼뮤테이션 역함수를 효율적으로 적용하는 방법을 제시한다. 열 교환의 경우 역열 순서를 미리 저장해 두면 O(n) 시간에 복구가 가능하고, 임의 퍼뮤테이션은 역테이블을 이용해 동일한 복잡도로 복호화한다. 따라서 전체 시스템의 시간 복잡도는 O(n³)인 행렬 곱셈 단계에 비해 거의 무시할 수준이며, 실제 구현에서는 메모리 접근 패턴이 간단해 캐시 효율도 높다.

보안 분석 측면에서는 선형 대수학적 공격, 차분 공격, 그리고 통계적 분석에 대해 시뮬레이션을 수행했으며, 제안된 두 변형 모두 기존 Hill 암호 대비 공격 성공 확률이 현저히 낮았다. 특히 비트 수준 퍼뮤테이션이 키 행렬과 독립적인 비선형 층을 형성함으로써, 키 자체가 유출되더라도 전체 암호문을 복원하기 어려운 구조적 장점을 제공한다.

결론적으로, 본 연구는 Hill 암호에 비선형 퍼뮤테이션을 결합함으로써 보안성을 크게 향상시키면서도 연산 효율성을 회복할 수 있음을 입증한다. 제안된 두 변형은 저전력 임베디드 시스템이나 실시간 통신 환경에서 실용적으로 적용될 수 있는 잠재력을 가진다.