P2P 네트워크를 위한 중간자 공격 방지 효율적 암호화 알고리즘

초록

본 논문은 P2P 환경에서 발생하기 쉬운 중간자 공격(MITM)에 대비한 새로운 공개키 암호체계를 제안한다. RSA와 난이도가 높은 배낭(knapsack) 문제를 결합한 설계로, 메시지 전송 전 단계에서 배낭 기반의 순열 및 랜덤 패딩을 수행한다. 제안된 알고리즘은 기존 방식에 비해 연산 효율성이 높으며, 활성 공격자에 대한 완전한 보안을 증명한다.

상세 분석

이 논문은 P2P 네트워크 특유의 직접 연결 구조가 초래하는 보안 위협, 특히 중간자 공격(Man‑in‑the‑Middle, MITM)에 초점을 맞춘다. 기존의 P2P 보안 메커니즘은 주로 전통적인 공개키 암호(RSA, ECC)와 디지털 서명에 의존하지만, 키 교환 과정에서 인증이 충분히 이루어지지 않을 경우 공격자는 양쪽 노드 사이에 끼어들어 메시지를 변조하거나 탈취할 수 있다. 논문은 이러한 문제를 해결하기 위해 두 가지 수학적 난제—RSA와 배낭 문제—를 결합한 하이브리드 암호체계를 설계한다.

첫 번째 단계는 전통적인 RSA 암호화이다. 송신자는 수신자의 RSA 공개키 (n, e)를 사용해 메시지 M을 C₁ = M^e mod n 형태로 암호화한다. 여기서 RSA의 보안은 큰 소수 p, q의 곱인 n을 소인수분해하기 어려운 점에 기반한다. 그러나 RSA 자체만으로는 MITM 공격을 완전히 차단하기 어렵다. 따라서 논문은 RSA 위에 ‘전처리(pre‑coding)’ 레이어를 추가한다.

전처리 레이어는 배낭(knapsack) 문제를 이용한다. 구체적으로, 송신자는 사전에 정의된 초대형 초밀도 배낭 인스턴스 B = {b₁, b₂, …, b_k}와 비밀 무작위 시드 s를 사용해 가중치 w_i = H(s‖i) (H는 충돌 저항 해시) 를 생성한다. 이후 메시지 M을 비트열로 변환하고, 각 비트에 대응하는 w_i 를 더해 합계 S = Σ_{i∈M=1} w_i 를 만든다. 이 합계 S는 배낭 문제의 ‘해답’ 역할을 하며, 공격자는 w_i 를 알지 못하면 S 로부터 원본 비트를 복원할 수 없다.

다음으로, S 를 RSA 암호화 단계에 앞서 ‘패딩’ 및 ‘순열’에 활용한다. 구체적으로, S 를 이용해 메시지 블록들의 순서를 무작위로 섞고, 추가적인 랜덤 비트 R (예: 128비트) 를 삽입해 패딩한다. 이렇게 변형된 블록 시퀀스는 C₂ 라는 중간값을 만든 뒤, 최종적으로 RSA 공개키로 C = (C₁‖C₂)^e mod n 형태로 전송된다. 수신자는 자신의 개인키 d 로 복호화한 뒤, 동일한 배낭 인스턴스와 시드 s 를 재생성해 순열 및 패딩을 역복원한다.

보안 분석에서는 두 가지 주요 가정을 제시한다. 첫째, RSA 문제(즉, n 의 소인수분해)가 난이도가 충분히 높아야 한다. 둘째, 배낭 문제는 초밀도 형태이므로 일반적인 다항식 시간 알고리즘으로는 해답을 찾기 어렵다. 논문은 이 두 문제를 각각 독립적인 보안 근거로 사용함으로써, 공격자가 RSA만을 깨뜨리거나 배낭만을 풀어도 전체 시스템을 위협할 수 없음을 증명한다. 특히, MITM 공격자는 전송 중인 C 를 가로채더라도, 내부에 숨겨진 배낭 기반 순열·패딩 정보를 알지 못하면 원본 메시지를 재구성할 수 없으며, 위조된 메시지를 삽입하려면 RSA 서명을 위조하거나 배낭 문제를 해결해야 한다.

성능 측면에서는 RSA 연산이 여전히 가장 큰 비용이지만, 배낭 전처리와 역전처리는 O(k) 수준의 선형 연산에 불과해 전체 지연을 크게 증가시키지 않는다. 실험 결과, 2048비트 RSA 키와 1024비트 배낭 인스턴스를 사용했을 때 평균 암호화/복호화 시간은 기존 RSA‑OAEP 대비 15% 정도 향상되었으며, 전송 데이터 크기도 패딩 비율을 조절함으로써 5~10% 수준으로 제한할 수 있었다.

결론적으로, 이 논문은 RSA와 배낭 문제를 결합한 새로운 하이브리드 암호체계를 제시함으로써, P2P 네트워크에서 흔히 발생하는 MITM 공격에 대한 실질적인 방어 메커니즘을 제공한다. 설계가 비교적 단순하면서도 보안 증명이 엄격하고, 구현 비용이 낮아 실제 P2P 애플리케이션에 적용하기에 충분히 실용적이다.