LIST

LIST: Language-Independent Speech Token for Multilingual Speech Synthesis with Language Models

Chang Liu, Zhen-Hua Ling, Yu Gu

Abstract: Recently, language model (LM)-based speech synthesis models have shown remarkable naturalness and powerful zero-shot capabilities. In this paradigm, discrete speech tokens play a critical role. Prior work has proposed using automatic speech recognition (ASR) tasks to enhance the semantic information and alignment with text in tokens. However, the commonly used byte-pair encoding (BPE) tokenizer in ASR task leads to significant differences in the text token sets of different languages, making it difficult to exploit language-shared information. This paper proposes to use the International Phonetic Alphabet (IPA) as the training target for ASR to learn language-independent speech tokens. In addition, we propose to use a timbre converter for speaker disentanglement in the speech synthesis model. Our proposed approach effectively improves the speaker similarity and expressiveness in both multilingual and cross-lingual zero-shot speech synthesis.

Codes and Models will be released later.

Contents

Zero-shot In-context Generation
Cross-lingual In-context Generation

Zero-shot In-context Generation

Language	Prompt	Text
zh	万一有危险，七七就站出来，保护大家。	把小管去头，尾，当然不是扔掉，可以另外炒一小盘三杯小卷。
	站住。几位是要去沙漠吧？我劝你们，还是考虑清楚再出发。	事实上，不是淘宝，阿里巴巴太便宜了，而是商场贵了。
	别浪费时间了，我已被那家伙「转变」，要不了多久……	小鸟请妈妈施展魔法，让小池塘里长出很多很密的水草。
	还真让你说着啦，自从有了它，我可是茶不思饭不想……	住宅维护费用高昂，他们将搬到自己拥有的公寓居住。
en	As I said before, a doctor's duty is to treat whatever ailments they can.	Cribb was born near Bristol but moved to London before starting professional fighting.
	Wait, Master Capote! Don't impart your wisdom to this person. They don't deserve it!	There is also a genetic test that can be done for this disorder.
	Oh, beautiful celestial maiden, how can I ever win your affection?	It was such a thrill, her veins were pumped full of adrenaline.
	President Qing, you're getting better and better! You're probably slacking off at work, playing this game, right?	Jim Martin was born in Savannah, Chatham County, Georgia.
ja	おはようございます。私は食事の前にお茶を一杯飲むのが好きなのですが、あなたもどうですか？	この故に多と一との矛盾的自己同一の世界の個物として、真の個物であるのである。
	もう何も言うな！そんなに食いたいならぼくたち三人をまとめて食うがいい！	かようにして自己の前提であるものをみずから意識し反省してゆくことが、
	ああ、お前、何歳になったんだよ、まだ子供みたいじゃないか！	子供のためといいながら親が一番楽しんでる
	美しきメイデンよ…どうすれば私はあなたの心を手に入れられるのでしょうか？	母が作る料理はとてもおいしいです。
ko	그랬구나…. 어떤 표정을 지어야 할지 모르겠네	내 입은 진리를 말하며 내 입술은 악을 미워하느니라
	적극적이시네요! 그럼 바로 시작할까요?	굴다리 밑으로 오라고 해서 갔더니 아무도 없잖아?
	아무리 기나긴 전투라 한들 끝까지 버텨 이 강적을 처치한다면, 우여곡절 끝에 성공을 거머쥘 수 있을 거야!	그리고 아까 그의 아버지 가하던 말을 다시 곰곰이 생각하였다.
	그 연쇄 실종 사건 말인데, 헛소문이 아니래	춘우는 짚신 신은 발로 땅을 긁으며 말을 하였다.
de	Der See verfügt an Nordufer über einen Sandstrand und wird als Badesee genutzt.	Allerdings waren die meisten Nachrichten eher banale Geschichten um angebliche Romanzen und Liebesgeschichten.
	Anschließend promovierte er zum Thema betriebliches Innovationsmanagement.	Auf der Feldseite war zum Schutz des Tores ein Blockhaus errichtet.
	Stelle von den New York Rangers ausgewählt worden.	Diese Kneipe ist wirklich legendär, schwärmt Claudia.
	Diese sind zum Teil vulkanischen Ursprungs.	Unterhalb des Schlosses Hirschstein befindet sich eine Bootsanlegestelle.
fr	La tournée de sois belge et tais-toi compte une cinquantaine de dates par an.	Un des vitraux porte les armoiries d’Albert Ier, prince de Monaco.
	Par le corps de Bacchus ! vous trouvez cela gai !	Il existe encore des partisans des Explosions Nucléaires Pacifiques en Russie.
	Deux autres petites formations locales l'ont également rejoint.	Spécialisé dans l'eau-forte, Paul Lafond collabore à une centaine d'ouvrages illustrés de gravures.
	Ils tournent en soutien à l'album avec Chevelle, Puddle of Mudd, et Sevendust.	Docteur en droit, diplômé de russe de l'École des langues orientales.

Cross-lingual In-context Generation

Language	Prompt	Text
zh	Now, try to recall things you care about. They don't need to be related to this case.	他曾经以为，要在克劳德身上获取杰诺瓦细胞。
	生まれるべき時に生まれ、死すべき時に死す——小桃、お前のその「時」はまだ来てないぞ。	绝大多数引擎都能准确控制燃油，进排气，油温，水温及转速等。
	위험해지면, 치치가 사람들을 지켜줘야 돼요	良药苦口利于病，忠言逆耳利于行。
	Während des Studiums begann Rahe mit dem Schreiben von Kurzgeschichten.	周围响起一片赞叹，太棒了，火柴真好玩，妈妈我也要。
	Le droit est créé seulement par les et décrets.	大大的眼睛望着镜头闪闪发亮，肉肉的小胳膊小腿也惹人怜爱。
en	之前那个连环失踪案，是真的。	His father used to play Dholak at Radio Pakistan Hyderabad.
	美しきメイデンよ…どうすれば私はあなたの心を手に入れられるのでしょうか？	Its name is from a Cherokee word meaning "edible tree".
	아무래도 이 얘기는 꼭 해줘야겠어. 이 카드를 손에 넣은 후로 밥 생각이 전혀 안 난다니까……	Ecological thinning is a variant of this being studied for use in forest conservation.
	Das Label wurde auch von den damit belegten Autorinnen kritisiert.	This form of legislation would not receive royal assent like Acts of Parliament do.
	Cette technique consiste à générer un rayon pour chaque pixel de l'image désirée.	Mrs. Travis, when I leave my kids in kindergarten, I expect you to supervise them.
ja	您看起来很有干劲呢！那我们就开始吧？	母は十一月二十九日に生まれました。
	That's the spirit! Let's get started then.	科学が明らかにする客観的真理に従うことによって、
	에휴, 나이가 몇인데 아직도 어린애처럼 구냐!?	個物的多の世界に対して超越的でないということである。
	Ich frage mich, was verbessert werden muss.	原始社会においては、神話は人間世界を支配する生きた実在であるのである。
	Par le corps de Bacchus ! vous trouvez cela gai !	身体の諸部分はそのための道具の性質をもっている。
ko	年轻人，来这边吧，别打扰那个可怜人了…我跟你说几句……	중학을 졸업한 뒤에는 이젠 어머니를 위하여 그는 학업을 중지하지 않을 수가 없었습니다.
	Dreams and nobility are my lifelong pursuits, I will not give them up for you.	그리고 그의 방문 앞까지 왔을 때 소곤소곤 하는 소리에 그는 멈칫 서서 들었다.
	妾のほうが上手じゃったのう。悪くない遊びじゃ、もう一勝負やるとしよう。	그는 이런 생각에 얼굴이 화끈 달았다.
	Ich frage mich, was verbessert werden muss.	오늘은 좌우간 끝을 내리라고 결심하는 빛을 신철이도 짐작하였다.
	Ils tournent en soutien à l'album avec Chevelle, Puddle of Mudd, et Sevendust.	예수교 신자인 원재는 대합실 문 밖에 가 꿇어 엎드려 정성껏 기도를 올리고 있다.
de	…你这家伙，刚才的发言，究竟是为了耍帅，还是真的那么无欲无求呢？	Unterhalb des Schlosses Hirschstein befindet sich eine Bootsanlegestelle.
	Come over here, child. It's best to leave that poor lady in peace. Let me explain...	Als Erstes möchte ich Herrn Martin zu dem vorzüglichen Ergebnis beglückwünschen.
	美しきメイデンよ…どうすれば私はあなたの心を手に入れられるのでしょうか？	Der dreifache Olympiasieger und sechsfache Weltmeister gehört zu den erfolgreichsten Sportlern seines Landes.
	맞아요, 나중에 오면 저희 가게에도 자주 들러서 맛있는 거 먹으면서 신나게 놀다 가요!	Bald hat der Text die Marke von zehntausend Zeilen durchbrochen.
	Il est notamment le premier catholique à entrer dans un gouvernement néerlandais.	Es gelang ihm, aus dem Gefängnis zu entkommen und unterzutauchen.
fr	不要因为我是娇花而怜惜我！	C'est d'ailleurs Dieu qui à travers un ange incite Corneille à aller rencontrer Pierre.
	Did you hear!? There's a new fighter at the club! He knocked the last champ's teeth out!	Le creux est un paramètre important du réglage d'une voile.
	どんなに長い戦いだろうと、あなたは耐え抜いてきた。その強敵を倒せば、苦労の末に成功を収めることができるわ！	Les différentes épreuves sont le simple et double messieurs, simple et double dames.
	잠깐, 사막에 가려는 거지? 다시 진지하게 생각해보는 게 좋을 거다	C'est une plante grimpante qui peut se montrer par ailleurs très envahissante.
	Anschließend promovierte er zum Thema betriebliches Innovationsmanagement.	Tant qu'aucun ministre-président n'est investi, il gère les affaires courantes.