Comparison of Korean Speech De-identification Performance of Speech De-identification Model and Broadcast Voice Modulation
2022년 7월부터 2023년 3월까지 수행한 음성 익명화 위탁연구다. 방송에서 흔히 사용하는 피치 변조가 실제로 화자 식별을 얼마나 막는지 확인하고, 이를 대체할 Lightweight 음성 비식별화 기법을 한국어 상담 통화음성에서 비교했다.
목표는 목소리를 낯설게 만드는 데 그치지 않았다. 사람과 화자 검증 모델이 모두 원 화자를 연결하기 어려워야 했고, 변조 뒤에도 통화 내용을 이해할 수 있어야 했다. 연구 결과는 2023년 KCI 논문으로 게재했다.
01 · Research question
방송형 피치 변조를 다시 검증한 이유
뉴스나 취재 프로그램은 제보자의 신원을 가리기 위해 목소리의 피치를 올리거나 내린다. 구현은 간단하지만 변조 방향을 추정해 반대로 조정하면 원래 목소리와 가까운 음성을 얻을 수 있다. 화자를 구별하는 단서에는 기본 주파수뿐 아니라 포먼트, 성도 길이, 공명 특성, 발화 습관도 포함된다. 피치 하나만 바꾸는 방식으로는 이 단서를 충분히 제거하기 어렵다.
방송형 피치 이동을 기준선으로 두고 VoicePrivacy 계열 Lightweight 모델의 McAdams, Resampling, VTLN을 같은 한국어 통화음성에서 비교했다. 평가는 세 축으로 나눴다. 사람이 원 화자와 얼마나 다르게 듣는지, 화자 검증 모델이 원 화자를 얼마나 혼동하는지, 변조 뒤 발화 내용을 얼마나 보존하는지를 각각 측정했다.
비식별화의 두 조건
화자 프라이버시는 높이고 언어 정보 손실은 낮춰야 한다. EER 하나만 높거나 음성이 크게 훼손된 방법은 최종 후보로 보지 않았다.
02 · Method screening
본 실험 전에 후보 기법을 선별했다
Lightweight 모델이 제공하는 모든 변조 모듈을 곧바로 통화 코퍼스에 적용하지 않았다. 먼저 AI Hub 화자 인식용 한국어 음성에서 후보 기법의 비식별화 성능과 청취 품질을 함께 확인했다. 해당 코퍼스는 3,000명·7,000시간 규모였으며, 이 가운데 화자 100명을 골라 한 사람당 30개씩 총 3,000개 발화를 구성했다.
각 발화를 후보 기법으로 변조한 뒤 ECAPA-TDNN으로 화자 임베딩을 추출하고 EER을 계산했다. Modspec은 EER만 보면 강한 결과를 냈지만 직접 들었을 때 음성이 뭉개져 발화 내용을 활용하기 어려웠다. 수치가 높더라도 음성 유용성이 낮으면 실제 가명처리에 적합하지 않다고 판단했다. 최종 비교에는 McAdams, Resampling, VTLN을 남겼다.
선별 단계에서 확인한 점
후보 선택 기준을 EER로만 두면 Modspec을 선택할 가능성이 있었다. 직접 청취를 함께 사용하면서 프라이버시와 음질을 동시에 만족하는 세 방법으로 범위를 좁혔다.
03 · Source corpus
97,285개 한국어 상담 통화음성
본 실험에는 Timegate가 관리한 실제 상담 통화음성 코퍼스를 사용했다. 창원시, 한국우편사업진흥원, 한국소비자원이 제공한 상담사와 고객의 통화 녹음으로 구성됐다. 전체 규모는 97,285개, 약 180 GB였다.
| 제공 기관 | 녹음 수 | 용량 | 도메인 |
|---|---|---|---|
| 창원시 | 78,114 | 81.93 GB | 문화·관광, 보건·복지, 도시·교통 |
| 한국우편사업진흥원 | 10,430 | 27.95 GB | 전자상거래, 우편 |
| 한국소비자원 | 8,741 | 70.10 GB | 교통·차량, 금융, 보험, 생활·패션 |
| 합계 | 97,285 | 약 180 GB | 9개 도메인 |
원본은 PCM, 128 Kbps, 8 kHz 형식이었다. 변조 파일은 16 kHz, 256 Kbps로 저장해 청취평가와 자동평가에 사용했다. 실제 상담 통화에는 대화 내용과 화자 정보가 포함되므로 원본 음성, 전사문, 식별 정보는 이 페이지에 공개하지 않았다.
JSON 라벨에서 단일 화자 구간을 만들었다
한 통화 파일에는 상담사와 고객의 발화가 함께 들어 있었다. JSON 라벨에서 상담사·고객 ID와 각 대화의 시작·종료 시점을 읽어 화자별 구간을 분리했다. 파일명에는 기관 도메인, 상담사·고객 구분, 대화 ID를 남겨 변조와 평가 단계에서 표본을 추적할 수 있게 했다.
청취평가용 발화에는 다음 조건을 적용했다.
- 발화 내용이 명확하게 들리는 2–6초 구간
- 두 화자의 목소리가 겹치지 않는 구간
- 사투리나 배경 잡음의 영향이 과도하지 않은 구간
- 같은 성별과 같은 상담 도메인 안에서 비교할 수 있는 표본
이 과정을 거쳐 142명 화자의 발화를 선별했다. 청취평가에는 반복 제시를 포함한 3,000개 음성을 사용했고, 자동평가에는 중복을 제거한 1,677개를 사용했다. 자동평가 표본은 남성 837개와 여성 840개로 구성했다.
04 · Anonymization methods
네 가지 변조 방법과 한국어 파라미터
방송형 Pitch 변조를 기준선으로 구현하고, 나머지 세 방법은 영어 음성에서 정한 기본값을 그대로 사용하지 않았다. Lightweight 모델 논문이 제시한 범위 안에서 값을 0.05 단위로 바꿔 한국어 통화음성에 적용했다. 변조 강도와 문장 청취 가능성을 직접 비교해 최종 값을 정했다.
| 방법 | 주로 바꾸는 단서 | 설정 | 원본–변조 유사도 |
|---|---|---|---|
| Pitch | 기본 주파수 | 방송형 기준선 | 1.99 |
| McAdams | 포먼트·공명 주파수 | 계수 0.80 | 2.05 |
| Resampling | 샘플링 특성 | rate 0.85 | 2.49 |
| VTLN | 주파수 축·성도 특성 | factor 0.175 | 1.52 |
McAdams 변환은 선형 예측 부호화로 얻은 극의 각도를 조정해 포먼트와 관련된 공명 주파수를 이동한다. VTLN은 주파수 축을 워핑해 성도 길이와 관련된 화자 특성을 바꾼다. Resampling은 음성의 지속시간을 유지하면서 샘플링 특성을 바꾼다. 세 방법 모두 기본 주파수 하나만 이동하는 방송형 변조보다 넓은 화자 단서를 다룬다.
05 · Evaluation protocol
사람, 화자 검증 모델, 받아쓰기로 나누어 평가했다
블라인드 청취평가
10대부터 50대까지 연령대별 10명씩 총 50명을 모집했다. 참가자는 두 음성을 들은 뒤 같은 사람이 말한 것처럼 느껴지는 정도를 0점부터 5점까지 선택했다. 0점은 ‘아주 다름’, 5점은 ‘아주 비슷함’을 뜻했다.
평가지는 300문항씩 5개 세트, 총 1,500문항으로 구성했다. 원본과 같은 화자의 다른 발화, 원본과 다른 화자의 발화, 원본과 각 방법으로 변조한 발화를 섞어 제시했다. 비교하는 두 음성은 같은 성별·같은 도메인으로 맞췄다. 참가자에게는 대화 내용보다 목소리 톤을 중심으로 판단하고, OX 문제가 아니므로 양 끝 점수만 반복해서 선택하지 않도록 안내했다. 한 문항에는 최소 20초를 사용하게 했다.
ECAPA-TDNN 화자 검증
자동평가는 ECAPA-TDNN으로 각 음성의 화자 임베딩을 추출한 뒤 코사인 유사도를 계산했다. 임곗값을 바꾸면서 타인을 본인으로 받아들이는 오인식률과 본인을 거부하는 오거부율이 같아지는 지점의 EER(Equal Error Rate)을 구했다.
일반적인 화자 검증에서는 EER이 낮을수록 성능이 좋다. 이 실험에서는 반대로 변조 뒤 EER이 높을수록 모델이 원 화자를 구별하기 어려워졌다고 해석했다. 50%에 가까우면 두 클래스를 무작위에 가깝게 판단한다는 뜻이다.
세 개의 평가 축
- 청취 유사도 — 사람이 원 화자를 얼마나 다르게 듣는가
- EER — 화자 검증 모델이 원 화자를 얼마나 혼동하는가
- CER — 변조 뒤에도 발화 내용을 얼마나 읽을 수 있는가
06 · Results
사람에게는 VTLN, 모델에는 Resampling이 가장 강했다
네 방법 중 최저
비교 방법 중 최고
남성 837 · 여성 840
총 1,500문항
위탁과제 보고서 집계에서 원본과 같은 화자의 다른 발화는 평균 4.40점, 다른 화자의 발화는 2.72점이었다. 게재 논문은 같은 값을 반올림 차이로 각각 4.41점과 2.73점으로 표기했다. 변조 전에는 청취자가 같은 화자와 다른 화자를 구분할 수 있음을 먼저 확인했다.
네 방법은 모두 원본–변조 유사도를 1.52–2.49점으로 낮췄다. VTLN은 보고서 기준 1.52점으로 가장 낮았고, 다른 화자의 원본 음성 2.72점보다도 더 다르게 들렸다. 논문 집계에서는 VTLN의 같은 화자 비교를 1.53점, 다른 화자 비교를 1.26점으로 제시했다.
도메인별 VTLN 유사도는 생활·패션 1.27점부터 우편 1.59점까지 분포했다. 남성은 1.42점, 여성은 1.62점이었다. 도메인과 성별에 따라 차이는 있었지만 특정 집단에서 효과가 사라지는 수준은 아니었다. 청취자 연령별로는 20대 0.93점, 50대 1.89점으로 차이가 나타났다.
자동평가의 순위는 청취평가와 달랐다. 원본 조건의 EER은 14.88%였으며, 방송형 Pitch 변조는 43.68%, VTLN은 44.00%, Resampling은 46.39%였다. 사람에게 가장 다르게 들린 방법은 VTLN이었지만 화자 검증 모델을 가장 어렵게 한 방법은 Resampling이었다.
핵심 관찰
‘사람에게 다르게 들리는가’와 ‘화자 검증 모델이 실패하는가’는 같은 순위를 만들지 않았다. 비식별화 방법을 고를 때 청취평가와 자동평가를 함께 봐야 하는 이유다.
07 · Utility and limits
발화 내용 보존은 별도로 확인했다
발화 정보 보존에는 CER(Character Error Rate)을 사용했다. 먼저 CLOVA Speech Recognition으로 원본과 변조 음성을 전사해 CER을 비교했다. 그러나 변조하지 않은 원본에서도 CER이 높게 나타났다. 8 kHz 상담 통화음성과 자동 전사기의 조건이 맞지 않아, 이 결과만으로 변조 방법의 유용성을 판단하기 어렵다고 봤다.
자동 전사의 한계를 보완하기 위해 사람이 변조 음성을 듣고 받아쓰는 평가를 추가했다. 받아쓰기 문장과 원문을 비교한 결과, 방법별 CER은 모두 20% 미만이었다. 자동 전사 수치에는 문제가 있었지만 사람이 발화 내용을 이해하는 데에는 큰 문제가 없음을 확인했다.
평가상의 한계
CSR 기반 CER은 원본에서도 높아 변조 방법 간 유용성 비교 지표로 쓰기 어려웠다. 사람 받아쓰기가 내용 보존을 보완했지만, 향후에는 한국어 통화음성에 맞는 ASR과 통제된 문장 이해 평가가 필요하다.
08 · Conclusion
결론과 다음 실험
방송형 피치 변조는 구현이 쉽지만 피치를 반대로 조정해 원 음성에 접근할 수 있다는 약점이 있었다. 한국어 상담 통화음성에서 Lightweight 방법을 같은 조건으로 비교한 결과, VTLN과 Resampling은 방송형 Pitch보다 사람 또는 모델 기준에서 더 강한 비식별화 성능을 보였다.
한 가지 점수로 최선의 방법을 정할 수는 없었다. VTLN은 청취 유사도를 가장 낮췄고, Resampling은 EER을 가장 높였다. 사람 받아쓰기에서는 발화 내용이 유지됐지만 자동 전사 조건에는 한계가 있었다. 후속 실험에서는 변조 음성을 다시 복원하는 공격을 적용하고, 복원 전후의 화자 유사도를 측정할 필요가 있다.
09 · Publication