엔비디아 음성 AI 공개 — 말을 끊고 들어가도 0.48초 만에 비켜 준다
NVIDIA opens an 11B full-duplex speech model that yields the floor 0.48 seconds after you interrupt
엔비디아가 8월 9일 공개한 NemotronLabs VoiceChat 11B는 음성인식·언어모델·음성합성 세 단계를 한 신경망으로 합쳐, 말 차례를 넘기는 데 448밀리초가 걸리고 사용자가 말을 끊고 들어오면 480밀리초 안에 100% 비켜 주는 오픈 가중치 모델이다
3줄 요약
- ASR → LLM → TTS 3단 파이프라인을 하나의 네트워크로 대체 — 단계 사이 지연이 사라진다
- 턴테이킹 448ms, 말 끊기 대응 480ms에 성공률 1.00 (Full-Duplex-Bench 1.0 기준)
- 가중치는 공개(OpenMDW-1.1)지만 연구용 표기이고, 돌리려면 80GB GPU 한 장이 필요하다
핵심 질문
- 풀듀플렉스가 무슨 뜻이야
- 듣기와 말하기를 동시에 한다는 뜻이다. 지금 대부분의 음성 비서는 반이중(half-duplex)이다 — 내가 말을 끝내야 듣기를 멈추고, 답을 다 해야 다시 듣는다. 그래서 답하는 도중에 '아니 그거 말고'라고 끼어들면 잘 안 먹힌다. 풀듀플렉스 모델은 말하는 동안에도 계속 듣고 있어서, 사람끼리 대화하듯 끊고 들어갈 수 있다.
- 3단계를 하나로 합치면 뭐가 좋아
- 지연과 정보 손실 두 가지가 줄어든다. 기존 방식은 음성을 텍스트로 바꾸고(ASR), 텍스트로 답을 만들고(LLM), 그 텍스트를 다시 음성으로 바꾼다(TTS). 단계마다 대기가 쌓이고, 텍스트로 바뀌는 순간 말투·억양·머뭇거림 같은 정보가 버려진다. 한 네트워크로 처리하면 그 손실이 줄고 응답이 빨라진다.
- 그럼 지금 내 폰에서 쓸 수 있어
- 아니다. 80GB 메모리를 가진 데이터센터급 GPU 한 장이 필요하고, 엔비디아는 이 체크포인트를 연구용으로 표기했으며 호스팅 API도 아직 없다. 개인이 바로 쓰는 물건이 아니라 음성 서비스를 만드는 쪽이 실험하는 재료에 가깝다. 모델이 개인 기기로 내려오는 흐름 자체는 「온디바이스 AI란」에 정리했다.
음성 비서를 쓰다 보면 반드시 만나는 순간이 있다. 답이 엉뚱한 방향으로 가고 있는데, 끊을 수가 없다. "아니 그게 아니라"를 세 번 말해야 겨우 멈춘다. 이건 인식률 문제가 아니라 구조 문제다. 지금 대부분의 음성 비서는 듣기와 말하기를 번갈아 한다.
엔비디아가 8월 9일 공개한 NemotronLabs VoiceChat 11B는 그 구조를 바꿨다. 말하는 동안에도 계속 듣는다.
1. 세 개의 서비스를 하나로
기존 음성 비서는 보통 세 조각을 이어 붙인 파이프라인이다.
| 단계 | 하는 일 | 이 방식의 비용 |
|---|---|---|
| ASR | 음성 → 텍스트 | 대기 발생, 억양·머뭇거림 소실 |
| LLM | 텍스트 → 답변 텍스트 | 대기 발생 |
| TTS | 텍스트 → 음성 | 대기 발생, 감정 재생성 필요 |
문제는 대기만이 아니다. 첫 단계에서 음성이 텍스트가 되는 순간 말투·속도·주저함·감정이 버려진다. 마지막 단계에서 TTS가 그것을 처음부터 다시 지어낸다. 사람이 실제로 말한 방식과 기계가 되돌려 주는 방식 사이에 아무 연결이 없다.
VoiceChat 11B는 이 세 단계를 한 네트워크에 넣었다. 스트리밍 음성 이해와 음성 생성을 동시에 수행하는 단일 모델이다.
2. 숫자로 본 차이
| 항목 | 측정값 | 기준 |
|---|---|---|
| 턴테이킹 지연 | 448ms | Full-Duplex-Bench 1.0 |
| 말 끊기 대응 | 480ms에 성공률 1.00 | 같은 벤치마크 |
| 파라미터 | 11B | 하이브리드 Mamba/Transformer |
| 학습 데이터 | 약 55만 시간 오디오 | 구성 비공개 |
448밀리초는 사람 대화의 자연스러운 턴 간격과 비슷한 수준이다. 사람끼리 말을 주고받을 때 침묵 구간은 보통 200밀리초 안팎이고, 1초를 넘으면 상대가 어색해한다. 0.45초는 그 사이에 있다.
더 눈에 띄는 것은 480ms에 take-over rate 1.00이다. 사용자가 말을 끊고 들어왔을 때 모델이 0.48초 안에 예외 없이 말을 멈추고 자리를 넘겼다는 뜻이다. 벤치마크 조건에서의 값이라는 단서는 붙지만, 이 항목이 기존 음성 비서에서 가장 자주 실패하는 지점이라는 점에서 의미가 있다.
3. 구조와 제약
내부는 세 부품으로 되어 있다. Nemotron-Speech-Streaming-En-0.6b에서 가져온 Fast Conformer 음성 인코더가 오디오 토큰을 만들고, Nemotron Nano v2 언어모델 백본이 텍스트 토큰을 예측하며, 엔비디아 TTS 디코더와 코덱이 소리로 되돌린다. 백본은 Mamba와 Transformer를 섞은 하이브리드다.
여기에 툴 콜링이 붙었다. 대화 중에 외부 도구(검색, 예약, 계산)를 호출하면서도 대화 흐름을 끊지 않는다는 것이 엔비디아의 설명이다. 오픈 풀듀플렉스 모델로는 처음이라고 주장했다.
제약은 분명하다.
- 가중치는 OpenMDW-1.1로 비교적 자유롭게 공개됐지만, 엔비디아는 이 체크포인트를 연구용으로 표기했다
- 실행에 80GB GPU 한 장이 필요하다 — 노트북은 물론 일반 소비자용 GPU로도 안 된다
- 호스팅 API가 없다 — 직접 돌려야 한다
즉 이건 소비자 제품이 아니라 음성 서비스를 만드는 쪽이 뜯어볼 재료다. 메타가 30억 파라미터급 모델을 노트북에 올린 흐름과는 방향이 다르다 — 그쪽은 「메타, 300억 파라미터 모델을 노트북에」에 있다.
4. 남은 것 · 확인되지 않은 것
숫자의 출처를 먼저 봐야 한다. 448ms와 1.00은 Full-Duplex-Bench 1.0이라는 특정 벤치마크의 결과다. 실제 서비스에서는 네트워크 지연, 마이크 품질, 주변 소음이 얹히므로 체감 지연은 이보다 크다. 벤치마크 값은 상한이지 체감치가 아니다.
학습 데이터 약 55만 시간의 구성도 공개되지 않았다. 언어 분포가 특히 그렇다. 모델명에 붙은 인코더가 영어 스트리밍용(-En-)이라는 점을 보면 영어 중심일 가능성이 크고, 한국어 대화 성능에 대한 공개 벤치마크는 없다. 국내에서 이 모델을 그대로 쓰기 어렵다는 뜻이다.
'오픈 풀듀플렉스 최초 툴 콜링'이라는 표현도 회사 주장이며 제3자 검증 자료를 찾지 못했다.
확인해야 할 것은 두 가지다. 첫째, 연구용 표기가 상업용으로 풀리는지. 둘째, 80GB라는 문턱이 양자화로 얼마나 내려오는지다. 두 번째가 해결되면 이 구조는 빠르게 퍼진다.