타원곡선 암호(ECC)란 — RSA 3072비트를 256비트 키로 대신하는 원리, 지금 이 페이지도 쓴다

주소창에 자물쇠가 뜨는 순간, 브라우저와 서버는 거의 언제나 타원곡선 암호로 비밀 열쇠를 주고받는다. 타원곡선 암호(ECC, Elliptic Curve Cryptography)는 곡선 위 점들의 덧셈 규칙을 이용하는 공개키 암호다. 1985년 닐 코블리츠와 빅터 밀러가 따로 제안했고, 지금은 HTTPS·전자서명·메신저·패스키의 바탕이 됐다.

2026년 10월 16일 앤트로픽이 가장 많이 쓰이는 곡선 P-256의 '시드' 출처를 밝혀내면서(「클로드, NIST 타원곡선 시드 비밀 30분 만에 풀었다」) 이 암호에 다시 관심이 쏠렸다. 이 글은 타원곡선 암호가 무엇인지, 왜 짧은 키로 충분한지, 무엇을 걱정해야 하는지를 정리한다.

1. 원리 — 더하기는 쉽고, 되돌리기는 어렵다

타원곡선은 y² = x³ + ax + b 꼴의 방정식이 그리는 곡선이다. 이름과 달리 타원 모양은 아니다. 이 곡선 위의 두 점을 잇는 직선은 곡선과 한 점에서 더 만나는데, 그 점을 x축에 뒤집은 것을 두 점의 '합'으로 정한다. 암호에서는 실수가 아니라 아주 큰 소수로 나눈 나머지 세계(유한체)에서 이 계산을 한다.

④는 빠르다. n이 아무리 커도 '두 배 하기'를 반복하면 수백 번 계산으로 끝난다. 반대로 G와 Q만 보고 n을 찾는 데 알려진 가장 좋은 방법으로도 256비트 곡선에서 약 2¹²⁸번 계산이 필요하다. 지구의 모든 컴퓨터를 동원해도 끝나지 않는 숫자다. 이 비대칭이 공개키 암호의 핵심이다.

2. RSA와 무엇이 다른가 — 키 길이 비교

NIST SP 800-57 권고 기준.

같은 안전성을 내는 데 ECC는 RSA의 10분의 1 안팎 길이면 된다. 키가 짧으면 계산이 빠르고, 저장 공간과 전송량이 적고, 배터리를 덜 쓴다. 휴대폰·보안 칩·IoT 기기가 ECC를 선호하는 이유다.

마지막 줄이 중요하다. ECC 서명(ECDSA)은 서명할 때마다 새 난수를 써야 하는데, 이 난수를 같은 값으로 두 번 쓰면 개인키가 계산돼 버린다. 2010년 소니 플레이스테이션3 서명 키가 이렇게 뚫린 사건이 대표적이다.

3. 어디에 쓰이나 — 그리고 NIST 곡선 논란

NIST 곡선(P-192~P-521)은 2000년 미국 표준이 됐다. 곡선 계수를 정한 '시드'를 NSA가 출처 설명 없이 건넸기 때문에, 2013년 NSA가 난수 표준 Dual_EC를 약화시켰다는 의혹이 나온 뒤 "P-256에도 뒷문이 있지 않나"라는 의심이 따라다녔다. 그래서 대니얼 번스타인의 Curve25519처럼 계수를 정하는 과정이 투명한 곡선이 인기를 얻었다.

10월 16일 앤트로픽은 그 시드가 1997~98년 컴퓨터 시각으로 돌린 평범한 난수 함수(lrand48) 출력이었다고 밝혔다. 앤트로픽은 이를 "암호 해독도 약점도 아니다"라고 했고, 오히려 의도적 약점이 없었다는 쪽의 근거로 봤다. P-256을 쓰는 서비스가 할 일은 없다. 비트코인이 쓰는 secp256k1은 계수가 작은 고정값이라 이 논란과 무관하다.

4. 다음 과제 — 양자컴퓨터와 FAQ

타원곡선 암호의 진짜 위협은 뒷문이 아니라 양자컴퓨터다. 충분히 큰 양자컴퓨터가 생기면 쇼어 알고리즘으로 RSA와 ECC를 모두 깰 수 있다. 그런 기계는 아직 없지만, 지금 가로챈 암호문을 저장했다가 나중에 푸는 '지금 수집, 나중 해독' 공격 때문에 전환이 시작됐다.

• 양자 시점: 타원곡선을 깰 수 있는 양자컴퓨터가 언제 나올지는 확정된 전망이 없다.
• 남은 수수께끼: NIST 이진체 곡선 B-163의 시드와 P-256 등 4개 곡선의 기준점이 어떻게 정해졌는지는 아직 설명되지 않았다.