전사 정확도를 실제로 좌우하는 것 (힌트: 대부분은 녹음이다)

한계는 녹음이 정하고, 모델은 거기에 다가갈 뿐이다

현대 음성 인식은 방대하고 다양한 오디오로 학습됩니다. Whisper 논문 Robust Speech Recognition via Large-Scale Weak Supervision은 실제 환경의 녹음에 대응하도록 수십만 시간 분량의 음성으로 학습한 모델을 설명합니다. 하지만 그 견고함에도 한계가 있습니다. 모델은 마이크에 도달한 소리만 전사할 수 있습니다. 소음에 묻히거나, 코덱에 잘려 나가거나, 다른 사람의 말에 덮인 단어는 파일에 존재하지 않으며, 어떤 처리로도 되살릴 수 없습니다. 그래서 가장 큰 정확도 향상은 거의 언제나 전사 설정이 아니라 녹음에서 나옵니다.

전사본이 얼마나 깔끔하게 나올지 결정하는 다섯 가지 요소

• 마이크와의 거리 — 마이크에 가까운 목소리는 공간을 압도하지만, 테이블 건너편의 같은 목소리는 울림과 배경 소리와 경쟁합니다.
• 배경 소음과 음악 — 일정한 웅웅거림은 다른 대화, 달그락거리는 접시 소리, 가사가 있는 음악보다 무시하기 쉽습니다.
• 겹치는 발화 — 두 사람이 동시에 말하면 두 문장 모두 품질이 떨어지고 화자 레이블을 지정하기도 어려워집니다.
• 오디오 대역폭 — 협대역 전화 오디오는 스튜디오 녹음보다 목소리 정보를 적게 담으며, 특히 비슷하게 들리는 자음에서 영향이 큽니다.
• 언어, 억양, 어휘 — 드문 이름, 제품 용어, 잦은 언어 전환은 단일 언어의 일상 대화보다 어렵습니다.

전화 통화가 팟캐스트보다 어려운 이유

전통적인 전화는 음성을 온전히 보존하기 위해서가 아니라 듣는 사람이 알아들을 수 있도록 설계되었습니다. ITU-T G.711 같은 코덱은 음성을 협대역 오디오로 전달하며, 통화 녹음은 여기에 자체 압축을 더하는 경우가 많고, 서로 다른 회선의 두 사람이 말을 겹치기도 합니다. 화자마다 전용 마이크를 사용해 녹음한 팟캐스트는 모델이 다룰 수 있는 정보가 훨씬 많습니다. 어느 파일도 잘못된 것은 아닙니다. 단지 출발점이 되는 정보량이 크게 다를 뿐입니다.

파일을 변환해도 정보가 돌아오지 않는다

전사하기 전에 작은 MP3나 통화 녹음을 WAV로 변환하고 싶어지는 경우가 많습니다. 그러면 파일은 커지지만 더 나아지지는 않습니다. 손실 코덱이나 협대역 회선이 제거한 세부 정보는 이미 사라졌고, 변환은 남은 것을 덜 압축된 형태로 저장할 뿐입니다. 녹음된 그대로의 원본 파일을 업로드하세요. 녹음을 직접 관리할 수 있다면 처음부터 무손실 형식이나 높은 비트레이트로 녹음하세요. 결과를 실제로 바꾸는 것은 바로 이 단계입니다.

화자 레이블도 같은 요소에 좌우된다

화자 분리, 즉 각 발화를 누가 했는지 판단하는 과정은 목소리 간의 차이를 바탕으로 작동하므로 단어 자체와 같은 요소에 영향을 받습니다. 마이크나 채널이 분리되어 있으면 화자를 쉽게 구분할 수 있지만, 시끄러운 방 한가운데 마이크 하나만 두고 사람들이 서로 말을 끊는 상황에서는 어렵습니다. 가장 까다로운 경우는 짧게 주고받는 대화입니다. 각 발화마다 목소리를 식별할 오디오가 적기 때문입니다.

업로드 전에 할 수 있는 일

1. 각 화자 가까이에서 녹음하고, 가능하면 한 사람당 마이크 하나를 사용하세요.
2. 조용한 방을 고르고 녹음하는 동안 음악이나 알림을 멈추세요.
3. 원본 파일을 보관하고, 업로드 전에 변환하거나 다시 압축하지 마세요.
4. 말하는 언어를 알고 있다면 자동 감지에 의존하지 말고 직접 선택하세요.
5. 전사본을 빠르게 교정할 수 있도록 이름과 제품 용어의 짧은 목록을 준비해 두세요.