Hill 암호 기반 이미지 암호화 방식의 취약점 분석

초록

본 논문은 Hill 암호를 이용한 이미지 암호화 스킴을 검토하고, 비밀키의 유효성 조건, 키와 평문에 대한 민감도 부족, 단일 평문만으로 가능한 알려진/선택 평문 공격 등 심각한 보안 결함을 규명한다.

상세 분석

Hill 암호는 선형 변환을 기반으로 하는 고전적인 블록 암호로, 암호화 행렬 K가 모듈러 역행렬을 가져야만 복호가 가능하다. 논문에서 분석한 이미지 암호화 스킴은 K를 8비트 색상값을 3×3 행렬로 매핑하고, 이미지 데이터를 3개의 픽셀 단위로 블록화한 뒤 K와 곱셈 연산을 수행한다. 첫 번째 문제는 K가 모듈러 256에서 가역성을 만족하지 않을 경우 전체 키가 무효가 된다는 점이다. 이는 “det(K)와 256이 서로소이어야 한다”는 간단한 필요충분조건으로, 실제 구현에서는 무작위 키 생성 시 약 60%가 이 조건을 위반한다는 통계가 제시된다. 두 번째 문제는 키에 대한 민감도가 현저히 낮다는 것이다. K의 일부 원소를 바꾸어도 암호문에 미치는 변화가 제한적이며, 특히 행렬의 행 교환이나 스칼라 곱셈은 암호문 전체에 거의 영향을 주지 않는다. 이는 Hill 암호가 선형 구조이기 때문에 발생하는 전형적인 ‘평탄성(Flatness)’ 현상이며, 암호문에 대한 avalanche effect가 결여된 결과다. 세 번째 문제는 평문에 대한 민감도 부족이다. 인접한 픽셀 값이 조금만 달라져도 같은 블록 내에서 동일한 변환을 받으므로, 암호문은 원본 이미지의 지역적 구조를 그대로 드러낸다. 실제 실험에서는 원본 이미지에 1% 정도의 잡음만 추가해도 복호된 이미지와 거의 동일한 시각적 패턴이 유지되는 것이 확인되었다. 네 번째 문제는 알려진(또는 선택) 평문 공격이 단 한 장의 평문-암호문 쌍만으로도 가능하다는 점이다. 평문을 3픽셀씩 분할하면 각각의 블록은 K·P = C 형태가 되며, P와 C가 알려지면 K를 직접 구할 수 있다. 행렬 연산만으로 K를 역산할 수 있기 때문에, 공격자는 최소 3개의 독립적인 블록(즉, 9개의 픽셀)만 확보하면 전체 키를 복원한다. 이는 현대 암호 설계에서 요구되는 ‘키 스케줄링’이나 ‘라운드 함수’가 전혀 존재하지 않기 때문에 발생한다. 마지막으로 논문은 구현상의 사소한 결함—예를 들어, 키 초기화 시 0값을 허용하지 않음에도 불구하고 0이 포함될 가능성이 존재하고, 입력 이미지가 3의 배수가 아닐 경우 패딩 방식이 불명확하여 복호 시 데이터 손실이 발생할 수 있음을 지적한다. 종합적으로 볼 때, 이 스킴은 선형 대수적 구조에만 의존하고 비선형 혼합, 라운드 확산, 키 의존성 등을 전혀 도입하지 않아 현대 암호학적 요구사항을 충족하지 못한다.