AIで声をリアルタイムに変え、脳波に合わせて曲を作る
AIリアルタイム音声変換、脳波・生体信号に基づく作曲・選曲、音楽配信を中心とする音響・音楽技術。
研究発の技術 AI音声変換 音声信号処理 RVC 脳波センシング 生体信号解析 AI自動作曲
実用化の段階
研究実証販売
CRIMSON MUSICは2003年から配信代行を展開し、Voidolシリーズは2019年から販売、Voidol UNLIMITEDは月額制で提供されている。
4製品
6提携・顧客
7特許
2出資者
しくみ
解こうとしている課題
声の表現や配信に必要な制作・技術の負担を下げること、脳波などの生体情報を使って利用者の気分に合わせた音楽を届けること。
どう動くか
Voidolは入力音声をAIモデルでキャラクター等の声質に変換し、ピッチやフォルマントを変えるSYNTH処理も組み合わせる。brAInMelodyは曲を聴いた際の脳波と楽曲特徴を対応づけ、気分に合わせた作曲ルールを作り、遺伝的アルゴリズムで曲を生成する。会社はリアルタイム変換、感情に応じた音楽生成、配信基盤を製品・サービスに展開している。
できるようになること
配信者や制作者がリアルタイムに声を変えて表現でき、楽曲を世界の配信ストアへ届けられる。brAInMelodyは、脳波や心拍などから気分に合わせた音楽を作曲・選曲し、リラクゼーションや集中を支援する用途を目指している。
技術の出自：大阪大学産業科学研究所などが参画するCOIプログラム「乳幼児からの健やかな脳の育成による積極的自立社会創成拠点」のbrAInMelody開発。音声変換では名古屋大学との共同開発発表がある。 出典1 出典2 出典3 出典4 出典5
使われる場面
- VTuber・ライブ配信・動画制作でのリアルタイム声質変換
- 放送・遠隔接客での音声変換
- 脳波・生体情報に応じた作曲、選曲、リラクゼーション・集中支援
- 音楽・音声コンテンツの制作と世界配信
優位性の主張
製品・サービス
販売中
Voidol3R / Voidol UNLIMITED
AI・RVC・音響合成によるリアルタイム音声変換ソフトと、その機能・ボイスモデルを使える月額サービス。 出典
VTuber、配信者、動画・音声制作者、遠隔接客や放送などの法人
これまでの歩み 新しい順
2019-03
資金調達
1.3億円。大阪大学ベンチャーキャピタル株式会社（OUVC1号投資事業有限責任組合）、日本ベンチャーキャピタル株式会社（名古屋大学・東海地区大学広域ベンチャー1号投資事業有限責任組合） 出典
提携先・顧客
共同開発
国立大学法人 大阪大学 産業科学研究所などとbrAInMelodyを共同研究開発。 出典
共同開発
国立大学法人 名古屋大学 リアルタイム音声変換技術の共同開発を発表。 出典
顧客
株式会社南日本放送 バーチャルタレントのリアルタイム音声変換にVoidolで技術協力。 出典
実証
国立大学法人 大阪大学、株式会社made born Japan 大阪・関西万博でbrAInMelodyを含む生体信号と音楽の体験展示を実施。 出典
資本提携
大阪大学ベンチャーキャピタル株式会社 同社が運営するファンドが2019年に1億2,000万円を投資。 出典
特許
7 件 出典（Gビズインフォ）
gBizINFOの法人番号別特許情報に掲載された2013〜2022年出願分の件数。Google Patentsで初期のJP/US特許ファミリーも別途確認。全期間の全件数ではない。
主な分野音響・音声信号処理、音楽演奏情報の圧縮・復号、生体信号処理
海外出願True
JP3486185B1 演奏情報圧縮装置、演奏情報復号装置等 クリムゾンテクノロジー株式会社 ／ 登録後、Google Patents上では権利消滅（年金不納付） 出典
US7081578B2 Musical performance information compression apparatus, and musical performance information decoding apparatus Crimson Technology, Inc. ／ 登録後、年金不納付により権利消滅 出典
特願2016-133530 / 特許第6664670号 声質変換システム クリムゾンテクノロジー株式会社 ／ 登録 出典
会社の規模
大学との関係
出資者（公開情報で確認できた2社）
独立系VC 1大学系（大学VC・大学） 1
会社や出資者の発表から確認した。出資者の種類は、AIが社名から付けたもの。個人の株主は載せていない。＊は、出典のページで社名を機械的に照合できなかったもの。