보이스 클로닝이란 — 3초 녹음으로 목소리를 복제하는 원리와 막는 법

전화 속 목소리가 엄마 목소리와 똑같아도, 엄마가 아닐 수 있다. 보이스 클로닝(voice cloning)은 AI로 특정인의 목소리를 복제해 그 사람이 한 적 없는 말을 하게 만드는 기술이다. 2026년 10월 이탈리아 멜로니 총리가 자기 목소리를 상표로 출원한 것(「멜로니 총리, 자기 목소리 상표 출원」)도 이 기술 때문이다. 원리를 알면 왜 막기 어려운지, 그리고 무엇이 실제로 통하는지가 보인다.

1. 원리 — '말하는 법'과 '누구의 목소리'를 나눠 배운다

예전 음성 합성은 한 사람의 목소리를 만들려면 그 사람이 스튜디오에서 수십 시간을 녹음해야 했다. 지금은 두 단계로 나뉜다.

이렇게 한 번도 듣지 못한 화자를 짧은 샘플로 흉내 내는 것을 제로샷(zero-shot) 음성 합성이라고 한다. 2023년 마이크로소프트 연구진의 발리(VALL-E)는 약 6만 시간의 영어 음성으로 학습한 뒤 3초 녹음만으로 처음 듣는 사람의 목소리와 말할 때의 감정, 녹음 환경의 울림까지 따라 했다. 2024년 오픈AI는 15초 샘플로 목소리를 복제하는 보이스 엔진을 공개했지만 악용 우려로 일반에 풀지 않고 제한된 협력사에만 제공했다.

2. 어디에 쓰이고, 어떻게 악용되나

좋은 쓰임은 분명하다. 오디오북·강의 낭독을 저자 목소리로 만들거나, 루게릭병 등으로 목소리를 잃어 가는 환자가 미리 녹음해 두었다가 자기 목소리로 말하는 데 쓴다. 영상 더빙에서 배우 목소리를 유지한 채 다른 언어로 바꾸는 것도 같은 기술이다.

악용 사례도 일찍 나왔다.

공통점은 목소리를 신원 증명으로 믿는 습관을 노린다는 것이다. 사람은 익숙한 목소리를 들으면 의심을 내려놓는다. 여기에 "지금 당장"이라는 시간 압박이 붙으면 확인할 틈이 사라진다. 한국에서 흔한 보이스피싱이 가족 목소리까지 갖추면 위력이 커지는 이유다.

3. 탐지는 왜 어려운가

AI가 만든 음성을 가려내는 탐지기도 있지만 한계가 뚜렷하다.

EU AI법은 AI가 만든 음성에 기계가 읽을 수 있는 표식을 넣으라고 요구하지만(「EU AI법 50조란」), 표식을 지키는 쪽은 합법 서비스뿐이다. 텍스트 워터마크조차 단어 일부를 바꾸면 탐지율이 크게 떨어졌다(「챗GPT 텍스트 워터마크, EU부터」).

4. 실제로 통하는 방어 — 기술보다 절차

결국 핵심은 하나다. 목소리를 신원 증명으로 쓰지 않는 것. 기술이 목소리를 흉내 낼 수 있게 된 이상, 확인은 목소리가 아니라 별도의 경로로 해야 한다. 금융사 개인정보 유출로 연소득·대출한도까지 알려진 경우라면(「금융권 AI 해킹 7곳 6만6천 명 유출」) 사칭 전화의 신빙성이 더 높아지므로 더 조심해야 한다.

5. 남은 것과 확인되지 않은 것

• 국내 보이스피싱 중 AI 음성 복제가 쓰인 건수에 대한 공식 통계는 확인하지 못했다.
• 상용 복제 서비스의 최소 녹음 길이·본인 확인 절차는 서비스마다 다르고 자주 바뀐다.
• AI 음성 탐지 도구의 정확도에 대한 독립 평가는 확인하지 못했다.