מה באמת קובע את דיוק התמלול (רמז: בעיקר ההקלטה)

ההקלטה קובעת את התקרה, המודל רק מתקרב אליה

זיהוי דיבור מודרני מאומן על כמויות עצומות של אודיו מגוון. המאמר של Whisper, Robust Speech Recognition via Large-Scale Weak Supervision, מתאר מודלים שאומנו על מאות אלפי שעות של דיבור בדיוק כדי שיתמודדו עם הקלטות מהעולם האמיתי. אבל לחוסן הזה יש גבול: מודל יכול לתמלל רק את מה שהגיע למיקרופון. מילים שהוסתרו ברעש, נחתכו על ידי קודק או נבלעו בדיבור של מישהו אחר אינן נמצאות בקובץ, ושום עיבוד לא יחזיר אותן. לכן השיפור הגדול ביותר בדיוק מגיע כמעט תמיד מההקלטה, ולא מהגדרות התמלול.

חמישה גורמים שקובעים כמה נקי ייצא התמלול

• מרחק מהמיקרופון — קול שקרוב למיקרופון שולט בחדר; אותו קול מהצד השני של השולחן מתחרה בהד ובקולות הרקע.
• רעשי רקע ומוזיקה — זמזום קבוע קל יותר להתעלם ממנו מאשר משיחה נוספת, מקרקוש צלחות או ממוזיקה עם מילים.
• דיבור חופף — כששני אנשים מדברים בו־זמנית, שני המשפטים נפגעים, וקשה יותר לשייך את תיוג הדוברים.
• רוחב פס האודיו — אודיו טלפוני צר־פס נושא פחות מהקול מאשר הקלטת אולפן, וזה משפיע בעיקר על עיצורים שנשמעים דומה.
• שפה, מבטא ואוצר מילים — שמות נדירים, מונחי מוצר ומעבר תכוף בין שפות קשים יותר מדיבור יומיומי בשפה אחת.

למה שיחות טלפון קשות יותר מפודקאסטים

הטלפוניה הקלאסית תוכננה כדי שהמאזין יבין את הדיבור, לא כדי לשמר אותו במלואו. קודקים כמו G.711 של ITU-T מעבירים את הקול כאודיו צר־פס, והקלטות שיחה מוסיפות לעיתים קרובות דחיסה משלהן — ועוד שני אנשים בקווים נפרדים שמדברים זה על זה. פודקאסט שהוקלט במיקרופונים ייעודיים, אחד לכל דובר, נותן למודל הרבה יותר חומר לעבוד איתו. אף אחד מהקבצים אינו שגוי — הם פשוט מתחילים מכמויות מידע שונות מאוד.

המרת הקובץ לא מחזירה את המידע

נטייה נפוצה היא להמיר MP3 קטן או הקלטת טלפון ל־WAV לפני התמלול. התוצאה היא קובץ גדול יותר, אבל לא טוב יותר: הפרטים שקודק מאבד מידע או קו צר־פס הסירו אבדו, וההמרה רק שומרת את מה שנשאר בצורה פחות קומפקטית. העלו את הקובץ המקורי כפי שהוקלט. אם ההקלטה בשליטתכם, הקליטו מההתחלה בפורמט ללא אובדן מידע או בקצב סיביות גבוה — זה הצעד שבאמת משנה את התוצאה.

תיוג הדוברים תלוי באותם דברים

זיהוי דוברים (diarization) — ההכרעה מי אמר כל שורה — פועל על סמך ההבדלים בין הקולות, ולכן הוא רגיש לאותם גורמים שמשפיעים על המילים עצמן. מיקרופונים נפרדים או ערוצים נפרדים מקלים על ההבחנה בין הדוברים; מיקרופון אחד באמצע חדר רועש שבו אנשים קוטעים זה את זה מקשה עליה. חילופי דברים קצרים ומהירים הם המקרה הקשה ביותר, כי כל תור דיבור מספק מעט אודיו שממנו אפשר לזהות את הקול.

מה אפשר לעשות לפני ההעלאה

1. הקליטו קרוב לכל דובר, ובאופן אידיאלי מיקרופון אחד לכל אדם.
2. בחרו חדר שקט והשהו מוזיקה או התראות בזמן ההקלטה.
3. שמרו את הקובץ המקורי; אל תמירו ואל תדחסו אותו מחדש לפני ההעלאה.
4. כשאתם יודעים מהי שפת הדיבור, בחרו אותה במקום להסתמך על זיהוי אוטומטי.
5. החזיקו רשימה קצרה של שמות ומונחי מוצר להגהה מהירה של התמלול.