音声の特徴をAIで変換し、本人らしい声の合成を目指す
深層学習と音声信号処理による音声変換・合成・認識技術。声質や話し方を変えるほか、電気式人工喉頭の音声を本人の術前音声に近づける。
株式会社TARVO 名古屋大学発 / 愛知県 名古屋市中区 / 2018年設立
研究発の技術 音声AI 深層学習 音声変換 音声合成 音声認識 音声信号処理
実用化の段階
研究実証販売
公式サイトでSuara Liteのダウンロード、SuaraPortalの契約提供、コエノコの利用案内が確認でき、大学の実用化事例資料は収録アプリのローンチを記載している。
5製品
4提携・顧客
1特許
0出資者
しくみ
解こうとしている課題
喉頭摘出などで声を失う人の意思疎通を支援し、機械的な代替音声を本人らしい声に近づける。また、配信・会話・音声制作で声の変換や生成を使いやすくする。
どう動くか
入力音声から声の特徴を取り出し、学習済みモデルで目標の声に合う特徴へ変換して音声を合成する。Save the Voiceでは、手術前に保存した本人の声と術後の電気式人工喉頭音声を使い、本人用の変換を目指す。TARVOは少量データでの個人音声モデルや低遅延処理を掲げるが、性能値は利用条件により異なる。
できるようになること
喉頭摘出者が術前に保存した声を使い、術後も本人らしい音声で会話できる可能性を広げる。法人向けには、音声変換・認識・合成を業務やコンテンツ制作に組み込める。効果の範囲は個別の利用環境や臨床研究の結果に依存する。
技術の出自:名古屋大学大学院情報学研究科・情報基盤センターの音声情報処理分野、および名古屋大学医学部附属病院の喉頭摘出者支援に関する研究。研究プロジェクト名:Save the Voice。 出典1 出典2 出典3
使われる場面
- 音声変換・ボイスチェンジ
- 音声合成・個人音声モデル作成
- 音声認識・字幕生成
- 喉頭摘出者の発声支援
- ナレーション・吹き替え・バーチャルヒューマン
- 生成AI・LLM/RAG受託開発
強み
少量の音声データから個人の声を再現し、声質や話し方まで反映すると主張。 出典
独自最適化によりリアルタイム音声処理の遅延を知覚限界まで低減すると主張。Suara Liteの説明では数十ミリ秒以内の処理としている。 出典
会社の説明をもとにまとめた。大学や第三者によるものには、印を付けている。
製品・サービス
試験導入
Save the Voice収録・変換アプリ
術前音声を保存するアプリと、電気式人工喉頭の音声を術前音声へ変換するアプリ。
喉頭摘出者・発声障がい者、医療機関
これまでの歩み 新しい順
2024-03
受賞
ACC TOKYO CREATIVITY AWARDS「ACC TOKYO CREATIVITY AWARDS 入賞(Save the Voiceプロジェクトのドキュメンタリー作品)」 出典
提携先・顧客
共同開発
国立大学法人東海国立大学機構 名古屋大学 Save the Voiceで、喉頭摘出者向け音声収録・変換アプリを共同開発。 出典
共同開発
コエステ株式会社 AMED臨床研究に参画し、音声コーパス・音声合成技術を提供。 出典
実証
国立大学法人愛媛大学 Save the Voiceの多施設臨床研究に参加。
実証
学校法人愛知医科大学 Save the Voiceの多施設臨床研究に参加。