RoCo: Robust Code for Fast and Effective Proactive Defense against Voice Cloning Attack

2025년부터 2026년까지 RoVo의 neural-codec 잠재공간 방어를 실제 사용에 더 가까운 형태로 발전시키는 연구를 수행했다. RoVo가 embedding-level perturbation이 음성 향상과 적응형 제거 공격에도 남을 수 있음을 보였다면, RoCo(Robust Code)는 같은 방향을 이산 perturbation code로 다시 설계해 보호 음성 생성 시간을 줄이는 데 초점을 맞췄다.

이 연구는 ICASSP 2026 프로시딩에 RoCo: Robust Code for Fast and Effective Proactive Defense against Voice Cloning Attack으로 게재됐고, 스페인 바르셀로나에서 구두 발표했다. 논문에서는 전용 perturbation code, Straight-Through Estimator(STE), two-stage loss optimization을 결합하고, 6개 음성 코퍼스·3개 복제 모델·3개 화자 검증 모델에서 방어력과 음질, 후처리 강건성, 생성 시간을 함께 평가했다.

01 · From RoVo to RoCo

RoVo의 잠재공간 방어를 더 빠른 code-level 방어로 발전시켰다

RoVo 연구는 보호 교란을 파형에 직접 더하지 않고 neural audio codec의 연속 embedding에 넣었다. 비선형 decoder를 통과한 교란은 음성 구조와 결합되므로 speech enhancement가 일반 잡음처럼 분리하기 어려웠다. 대신 발화마다 연속값 교란을 여러 단계 최적화해야 하므로, 공개할 음성이 많거나 빠른 처리가 필요한 상황에서는 생성 비용이 남았다.

RoCo는 이 병목을 없애기 위해 보호 신호를 별도의 discrete codebook channel로 분리했다. 원 음성의 acoustic token은 그대로 두고, 화자 정체성 추출만 방해하는 perturbation code를 추가한 뒤 codec decoder로 함께 복원했다. RoVo의 핵심 가정인 “교란을 codec 표현 내부에 결합하면 제거하기 어려워진다”를 유지하면서, 최적화 단위를 연속 embedding에서 양자화된 code로 바꾼 후속 설계다.

02 · Research problem

방어 교란은 제거하기 어려워야 했고 생성도 오래 걸리지 않아야 했다

기존 proactive defense는 공개 전 음성에 적대적 교란을 넣어 TTS나 voice conversion 모델의 speaker encoder가 원 화자의 특징을 정확히 읽지 못하게 한다. 그러나 파형에 더한 작은 교란은 최신 speech enhancement나 denoising 모델에서 배경 잡음으로 취급될 수 있다. 공격자가 보호 음성을 먼저 정화한 뒤 복제하면 초기 방어 성공률이 크게 떨어질 수 있다.

두 번째 문제는 처리 시간이다. Signal-domain 방법은 한 발화의 수많은 waveform sample을 반복적으로 갱신한다. 5–10초 음성을 보호하는 데 수십 초에서 2분 가까이 걸리면, 영상·방송·실시간 대화처럼 연속 음성이 생성되는 환경에 적용하기 어렵다.

따라서 RoCo의 연구 질문은 다음 두 조건을 동시에 만족하는가로 정리했다.

03 · Perturbation code

원래 acoustic token 옆에 방어 전용 codebook channel을 붙였다

Neural codec 기반 음성 모델은 입력 음성을 여러 codebook의 acoustic token으로 표현한다. Coarse Transformer가 앞쪽 codebook의 장기 구조를 autoregressive하게 예측하고, Fine Transformer가 뒤쪽 codebook의 세부 음향 정보를 보완한다. 시간 프레임 t와 codebook q에 따른 원래 latent token을 a(q,t)라고 두면, RoCo는 같은 시간 길이를 갖는 perturbation code p(t)를 하나 더 만든다.

ã = [a; p]

여기서 [a; p]는 시간축이 아니라 codebook 축의 결합이다. 원래 codebook은 음소·운율·음색을 복원하는 역할을 유지하고, 추가된 p는 speaker identity 추출을 방해하는 목적에만 사용된다. 방어 성분을 별도 channel로 분리했기 때문에 원 음성 내용을 담은 token 전체를 다시 흔드는 것보다 갱신 범위를 좁힐 수 있다.

04 · Straight-Through Estimator

이산 code를 유지하면서 STE로 gradient를 전달했다

Perturbation code는 codebook index이므로 정수값이다. Forward pass에서 one-hot index로 codebook vector를 선택하는 quantization은 미분할 수 없고, 그대로는 Target Loss의 gradient가 code 선택까지 전달되지 않는다. RoCo는 이 지점을 Straight-Through Estimator로 연결했다.

z_STE = q + (e − stopgrad(e))

q는 forward에서 선택된 실제 discrete codebook vector이고, e는 embedding matrix에서 얻은 연속 표현이다. Forward pass에서는 e − stopgrad(e)의 값이 0이므로 실제 양자화 결과 q가 유지된다. Backward pass에서는 stopgrad(e)가 gradient를 막고 e 쪽 경로만 남기 때문에, 이산 code를 사용하면서도 연속 embedding을 통하듯 gradient를 전달할 수 있다.

05 · Two-stage optimization

먼저 화자 정체성을 흔들고 임곗값 이후에 음질을 보정했다

Target Loss와 SNR Loss를 처음부터 함께 최적화하면 두 목적이 충돌했다. Target Loss는 보호 음성의 speaker embedding을 미리 정한 target speaker 쪽으로 이동시켜 복제 모델이 원 화자를 읽지 못하게 한다. 반면 SNR Loss는 원본과 보호 음성의 차이를 줄여 자연스러움을 보존한다. 실험에서는 SNR Loss가 지나치게 강하면 perturbation code가 충분히 자라지 못해 방어 성능이 떨어졌다.

RoCo는 두 손실을 가중합하지 않고 단계로 분리했다. perturbation code의 embedding-space 크기 ||P||₂가 임곗값 τ보다 작을 때는 Target Loss만 최적화한다. 임곗값에 도달하면 Target Loss 업데이트를 멈추고 SNR Loss로 전환해 지각 품질을 보정한다.

L = L_Target if ||P||₂ < τ, otherwise L_SNR

이 순서는 먼저 최소 방어력을 확보하고, 확보한 화자 교란을 크게 되돌리지 않는 범위에서 음질을 회복하려는 설계다. 전환 임곗값은 VCTK에서 정한 뒤 다른 다섯 코퍼스에는 재튜닝 없이 적용했다.

06 · Dataset and protocol

여섯 코퍼스의 120명·1,200개 발화에서 같은 설정을 평가했다

평가에는 VCTK, FST, MCV, CSNED, CSUKIED, LibriSpeech를 사용했다. 코퍼스 전체에서 120명을 선택하고 화자마다 발화 10개를 사용해 총 1,200개 음성을 보호했다. VCTK는 two-stage 임곗값 선택에 사용했고, 나머지 코퍼스에서는 동일한 임곗값을 유지해 특정 데이터에만 맞춘 설정을 피했다.

방어 성공률(DSR)은 보호 음성으로 만든 복제 음성이 원 화자로 받아들여지지 않은 비율이다. 높을수록 방어가 강하다. 음질은 1–5 범위의 NISQA MOS로 측정했고, 생성 시간은 5–10초 입력 음성을 보호하는 데 걸린 초 단위 시간으로 비교했다.

07 · Base defense performance

세 복제 모델에서 일관된 방어력을 확보했다

보호하지 않은 RAW 음성은 대부분 복제 뒤 원 화자로 받아들여져 DSR이 낮았다. RoCo를 적용하면 세 verifier와 세 cloning model 조합 모두에서 DSR이 증가했다. 특히 AVC 평균에서는 RoCo가 81.5%로 AntiFake 74.8%, VoiceGuard 66.9%, AttackVC 60.1%보다 높았다.

SV2TTS에서는 AttackVC와 AntiFake가 더 높은 평균을 보였지만 RoCo도 84.6%를 기록했다. YourTTS에서는 RoCo 75.3%와 가장 높은 AntiFake 77.1%의 차이가 1.8%p였다. 특정 한 모델에서 가장 높은 값만 만드는 대신 TTS와 VC 전반에서 방어력·후처리 강건성·속도를 함께 유지하는 것이 RoCo의 목표였다.

08 · Enhancement robustness

음성 향상 뒤 평균 하락 폭을 기존 방법보다 작게 줄였다

공격자는 Spectral Masking, DeepFilterNet, MP-SENet으로 보호 음성을 정화한 뒤 복제를 다시 시도했다. 네 enhancement와 세 cloning model, 세 verifier를 결합한 36개 조건에서 RoCo의 평균 DSR 하락은 논문 기준 약 15%p였다. 비교 baseline의 평균 하락은 약 38%p였다.

아래 값은 논문 Table 2의 각 enhancement별 9개 cloning·verification 조합을 평균한 결과다. MP-SENet DNS의 일부 조합에서는 44.7%까지 내려갔지만, 다른 조건에서는 80% 안팎을 유지했다. 방어가 제거되지 않았다는 결론과 모든 조건에서 동일하게 강하다는 주장은 구분했다.

De-AntiFake purification도 별도로 적용했다. AVC에서는 Resemblyzer 77.4%, ECAPA 80.3%, ResNet 79.1%를 유지했다. YourTTS는 63.1–79.2%, SV2TTS는 49.4–70.5%로 모델별 차이가 있었지만, 정화 이후에도 보호 효과가 완전히 사라지지는 않았다.

09 · Speed and quality

5–10초 보호 음성을 13–22초에 생성했다

RoCo의 가장 직접적인 개선점은 생성 시간이다. SV2TTS 조건에서 AntiFake 113초, AttackVC 122초가 걸린 반면 RoCo는 20초가 걸렸다. YourTTS에서는 89초·40초 대비 22초, AVC에서는 105초·59초 대비 13초였다. 엄밀한 실시간 처리에는 아직 도달하지 않았지만, 발화마다 1–2분이 필요했던 signal-domain 최적화보다 적용 가능성을 크게 높였다.

음질은 NISQA MOS로 함께 확인했다. Enhancement 전 RoCo 평균 MOS는 2.42였고, DeepFilterNet과 MP-SENet DNS를 적용하면 각각 3.23, 3.17로 증가했다. 그러나 enhancement 뒤 MOS 상승을 곧바로 방어 개선으로 해석하지 않았다. 정화 모델이 음질을 높이는 동시에 보호 성분을 줄일 수 있으므로 DSR과 함께 봐야 한다.

10 · ICASSP presentation

ICASSP 2026에서 RoVo 이후의 설계 변화를 발표했다

RoCo는 2026년 5월 4–8일 스페인 바르셀로나에서 열린 IEEE ICASSP 2026에서 구두 발표했다. 발표에서는 RoVo와 이어지는 codec 기반 proactive defense의 배경을 먼저 설명하고, perturbation code·STE·two-stage loss optimization이 생성 속도와 후처리 강건성을 어떻게 바꿨는지 논문 Figure 1을 중심으로 정리했다.

논문 본문만으로는 모델의 출력 음질과 enhancement 전후 변화를 직접 듣기 어렵다. 별도 데모 페이지에는 AVC, SV2TTS, YourTTS별 원본·보호 음성·복제 결과·enhancement 이후 음성과 재복제 결과를 나란히 구성했다. 수치로 나타낸 DSR과 MOS가 실제 청취에서 어떤 차이로 이어지는지 확인할 수 있다.

11 · Publication and resources

연구 결과를 ICASSP 2026 프로시딩 논문으로 정리했다

이 연구는 2025년에 시작해 방법과 실험을 정리했고, 2026년 ICASSP 프로시딩에 5쪽 논문으로 게재했다. IEEE Xplore DOI는 10.1109/ICASSP55912.2026.11462176이며, 프로시딩 페이지는 1671–1675다.