声の指示に合うイラストを表示し、子どもとの意思疎通を支援
音声指示を認識し、内容に合うイラストをスマートフォンにすばやく表示する視覚支援アプリ。発達特性のある子どもとのコミュニケーションを支援する。
株式会社こどもめせん 東京都 東京都文京区本郷5丁目1番11号
技術を使った製品・サービス 音声認識 自然言語処理 画像生成・イラスト提示 視覚支援 教育アプリ 発達障害支援
実用化の段階
研究実証販売
iOS・Androidで公開され、アプリ利用に月額サブスクリプションを設定している。
1製品
5提携・顧客
0特許
0出資者
しくみ
解こうとしている課題
絵カードは作成・携帯や、必要な一枚をその場で選ぶ手間が大きい。長い指示や否定表現が伝わりにくい子どもに、適切な視覚情報を即時に示す難しさを解こうとしている。
どう動くか
マイクに話しかけると、音声を端末内で文字起こしし、指示の意味に対応するイラストを提示する。公式説明では、候補画像を一つに決めつけず複数から選べ、以前選んだイラストを次回優先する仕組みもある。発表資料では音声認識・自然言語処理・画像生成を基盤技術としている。実装の詳細は公表資料だけでは特定できない。
できるようになること
会社は、保護者らが個別の困りごとに応じた視覚支援をその場で実践しやすくし、現場から集まる要望をアプリ改善に生かす構想を説明している。効果の広範な実証は確認できない。
技術の出自:東京大学精神保健学教室と株式会社こどもめせんの所属で発表された「発達障害児のためのAI共創プロジェクト」。大学からの技術移転や大学発ベンチャー認定は確認できない。 出典1 出典2 出典3 出典4
使われる場面
- 発達障害児・視覚情報を理解しやすい子どもへの視覚支援
- 家庭での声掛け、活動の切り替え、手順説明
- 特別支援教育、保育、障害福祉、小児医療でのコミュニケーション補助
強み
会社は、音声から字義に沿うイラストを即時に提示し、絵カードの準備・選択の負担を軽くすることを特徴として説明している。 出典
会社発表の学会抄録では、iPhone 12で音声入力から表示まで1秒未満と報告。測定条件は同抄録記載の実機テスト。 出典
第三者の評価ドロップレット・プロジェクトは、試用時の音声認識と画像提示が速く、文脈に応じて表示モードが変わる点を評価している。 出典
会社の説明をもとにまとめた。大学や第三者によるものには、印を付けている。
製品・サービス
これまでの歩み 新しい順
提携先・顧客
特許
公開情報では確認できていない。