Enhancing TTS Stability in Hebrew using Discrete Semantic Units

Ella Zeldes¹, Or Tal^1,2, Yossi Adi^1,2

¹The Hebrew University of Jerusalem

²FAIR, Meta AI

code

demo

Abstract

This study introduces a refined approach to Text- to-Speech (TTS) generation that significantly enhances sampling stability across languages, with a particular focus on Hebrew. By leveraging discrete semantic units with higher phonetic correlation obtained from a self-supervised model, our method addresses the inherent instability often encountered in TTS systems, especially those dealing with non-diacriticized scripts like Hebrew. Utilizing HuBERT codes, our model generates discrete representations that are optimized for TTS tasks, thereby reducing the dependency on diacritic-based text processing. This advancement not only simplifies the language modeling process but also improves the robustness and shows controllability of the speech output due to disentenglement properties of the semantic units. The inclusion of a speaker embedding in the vocoder further aids in capturing the unique vocal characteristics of the speaker, contributing to the naturalness of the synthesized speech. Our experimental results demonstrate that this approach not only maintains high performance in Hebrew but also shows adaptability to English, underscoring its effectiveness in enhanc- ing stability in TTS systems universally. Our method, named LoTHM (Language of The Hebrew Man), outperforms existing methods in terms of stability while achieving naturalness and speaker similarity on par with previous methods, making it a compelling choice for future speech synthesis applications.

Audio Samples

Prompt Audio	Text 1	Text 2
Speaker 1	אני אגיד את זה שוב כי הייתי בשוק כשראיתי את הנתון הזה בפעם הראשונה	כי אמנם חלף שבוע מהקריסה, אבל אף אחד לא יודע למה הבניינים קרסו, ולכן חברות הביטוח לא מוכנות להגיד עדיין שום דבר סופי

Speaker 2	פשוט כי הבעיה הרבה יותר סבוכה	אז אני חושב שזה צירוף של כמה דברים

Speaker 3	ואת שיחות העבודה עושים בסלאק, ובסלאק אפשר לרדת מזמינות ואפשר לא לפתוח את הסלאק אחרי שעות העבודה	אז באתי רק לזמן קצר, לראות אם החדשות האחרונות של המפקח על הביטוח סוף כל סוף יביאו שקט לדיירים שיש להם ביטוח

Speaker 4	מה שיפה בסרטונים שלה הוא כמה הם ספציפיים	גם אם תגידו שאני מפגר, אני עדיין ממש אוהב סופרמרקטים

Speaker 5	אני אגיד את זה שוב כי הייתי בשוק כשראיתי את הנתון הזה בפעם הראשונה	הוא היה יכול כנראה להמשיך ללמוד בתיכון רגיל לגמרי, עיוני, ושם אולי הוא היה נושר לחלוטין מהמערכת או שפשוט היה ממשיך להשתעמם ולסבול עוד שנתיים,

Speaker 6	תגידו, גנבו לכם פעם את האוטו ופשוט ידעתם שאין טעם להגיש תלונה במשטרה*	בראשית היתה חללית מסוג נחתת*

* These samples were generated using a vocoder that was trained on English Data

Comparing To Previous Methods

Method → Text ↓	MMS	RoboShaul (SASPEECH)	HebTTS	LoTHM (Ours)
אני חושב שאחת הסיבות שאני לוקח את זה נורא נורא קשה
כל מה שאתם צריכים לעשות כדי לזכות
זה אפילו לא מה שזה אמור לעשות בחוקי הפיזיקה
עוזבים את החברה, נגיד, אחרי שנה מסויימת
אז אני חושב שזה צירוף של כמה דברים
לשנות גם על ידי אפליקציות שלנו וגם על ידי לעזור למפתחים