聴覚障がい者のインクルージョンを促進する環境音AI認識システムが、IAUD国際デザイン賞金賞を受賞

富士通では、さまざまな当事者（障がい者、高齢者、子ども、ジェンダー等）を意識して、アクセシビリティなどに配慮した商品・サービスの開発や提供を行っています。その活動の一環として開発した「環境音AI認識システム」が、一般財団法人 国際ユニヴァーサルデザイン協議会（以下、IAUD）が実施するIAUD国際デザイン賞2021において、金賞を受賞しました。環境音AI認識システムとは、玄関チャイムや流水音などの環境音を光や振動で知らせて、聴覚障がい者とその周囲の方がスムーズにコミュニケーションを図れるようにするためのシステムです。このプロジェクトに関わりリードした小野晋一に、開発の経緯やプロジェクトの内容について聞きました。

もし障がいがあったらどんなことに不便を感じるか、皆さんは考えたことがありますか。視覚障がい、肢体不自由、発達障がい、識字障がいなど様々な障がいをお持ちの方がいます。例えば音が聞こえない聴覚障がい者は、呼ばれても気がつかない、アラームやクラクションの音が聞こえない、誰かが家を訪ねてきても、玄関チャイムやドアノックの音に気付けず応対できない、といった生活上の不便があります。このような聴覚障がい者の不便解消に取り組んだのが、グローバルマーケティング本部コーポレートマーケティング統括部の小野晋一です。

小野は、2013年からFUJITSU Software LiveTalk（以下、LiveTalk）の開発に携わってきました。LiveTalkとは、話した言葉を音声認識によって即座にテキストに変換する、聴覚障がい者参加型のコミュニケーションツールです。
それまで、聴覚障がい者が参加する会議では、要約筆記者がキーボードを打って発話内容を書き起こし、聴覚障がい者に伝えていました。しかし話しているスピードで書き起こすことは難しく、要約筆記者の負担が大きいものでした。支援する人と支援される人双方の負担が少なく、双方のニーズを満たすツールを開発しようと取り組んだのがLiveTalkでした。

LiveTalkを使えば、音声認識によって話し言葉が自動でテキストに変換されるため、聴覚障がい者は会議で話された内容を把握することができます。現在は、漢字にルビを振る機能のほか、46の言語の音声認識と自動翻訳を実現するなど、聴覚障がい者参加型のツールから、子どもや外国人とのコミュニケーションにも使えるダイバーシティのツールへと進化しています。

LiveTalkの研究開発の後に、環境音AI認識システムの開発に取り掛かりました。小野は当時をこう振り返ります。「コミュニケーションは、相手の話を聞いて自分の話を伝える会話だけではなく、その場の状況を考慮することが重要です。静かな場所では小さな声で話し、チャイムの音がすれば会話が中断します。このような会話ではない『環境音』が聴覚障がい者とその周囲の人との間で共有できると、コミュニケーションが促進され、生活の様々なシーンで役に立つと考えました。このプロジェクトは、総務省の平成28～30年度情報利用促進支援事業補助金（デジタル・ディバイド解消に向けた技術等研究開発）の助成金に応募して採択され、スタートしました」

環境音とは、玄関チャイム、家電からの報知音（アラーム）、流水音、ドアノックの音、雨音など日常生活で発生する様々な音のことを指します。これらの音をAIで認識して、聴覚障がい者のQOL向上を支援するシステムの開発に取り組みました。開発研究にあたり、ユーザー調査やシステム開発、ユーザビリティ評価、プロトタイプのユーザー評価などは、社内外の組織と協力連携しました。

• 生活における環境音（注）を収集し、認識するAIシステムの開発
• 音を視覚的に表現して伝達する情報端末の開発

• （注）
  環境音とは、玄関チャイム、家電からの報知音（アラーム）や水の流れる音、ドアの開閉音やドアのノック、車のクラクション、雨の音、足音など、生活場面で発生する音

「環境音AI認識システムは、入力モジュールと出力モジュールで構成されます。入力モジュールはAIエンジンを搭載した専用端末で、周囲の環境音を感知してAIで分析し、その情報を出力モジュールに出力します。出力モジュールには、据置型/可搬型光端末、腕時計型端末、PCなどがあり、音を光や振動で知らせて、PCには詳細な情報も表示されます。入力モジュールは出力モジュールを兼ねており、これ1台でも利用可能ですが、5種類の出力モジュールを生活スタイルに合わせて選択できるようにしました」

プロトタイプシステムで対象とする環境音については、聴覚障がい者とその家族20人にアンケートを取り、音の重要度と発生頻度を参考に5カテゴリー13種類を選びました。

このシステムでは、マイクで集音した音を4秒に分割し、AIエンジンで解析しその結果をリアルタイムで出力します。初めの4秒間から２秒ずらした4秒間を解析の対象とし、4秒の区切りにまたがる音も認識できます。「光端末は音の種類によって色が変わり、紫がドアノック、水色が水の音、黄色がアラームなどと対応しており、何の音がしたのかが一目でわかります」

AIが音を正しく判断するためには、学習データが不可欠です。「初期プロトタイプでは、4,229個の学習データを使いました。最終プロトタイプでは約6万個の学習データを使い、学習手法も進化させて平均正解率は96.6%となっています」
制作したプロトタイプは、全日本聾教育研究大会や川崎市立聾学校で展示したり、聴覚障がい者に貸し出して自宅で使ってもらったりして、評価を行っています。

プロトタイプを使った聴覚障がい者の方からは、「環境音に気づけるようになって良かった」という意見だけでなく、「ほかの音も知りたい」という前向きな声も寄せられました。家族からは「夫（聴覚障がい者）を2階で呼んで1階から来てもらうことができた。初めての経験だった」など家族のコミュニケーションに役立ったという意見をいただいています。小野は「多くの聴覚障がい者の方は、電子レンジや洗濯機がいつ終わるのかが気づけず何度も確認したり、水を出しっぱなしにしていないか気にしたり、もしかして来客があったのではと玄関を見に行ったり、気を張って生活されています。この環境音AI認識システムがあれば光などで知らせてくれるため、リラックスして過ごせるようになった、生活にゆとりが得られた、という意見もいただきました。とても嬉しい効果でした」と述べています。

富士通ではフジトラ（富士通自身を変革する全社DXプロジェクト）の一環として、業務時間内に業務と直接関係のない研究などを行える制度があります。その中で生まれたのが、障がい者の働き方やその支援ツールなどを検討する社内横断プロジェクト。小野もこのプロジェクトの一員です。「今回、社内横断プロジェクトのメンバーからIAUD国際デザイン賞応募の助言をいただき応募しました。助言のおかげで応募し、金賞を受賞することができました」

今後の研究について小野は、「今回のプロトタイプをベースとして聴覚障がい者や商品化を手がける企業などの声を取り入れながら、商品化を進めたいと思っています。今回のプロトタイプは重要性の高い音をAIで認識するシステムを制作しましたが、AIで認識される音以外にも世界は音に満ちあふれており、それらの音を気づき興味をいだくきっかけとして、今回のプロトタイプが使われてほしいと思っています。また騒音の大きい環境、暗闇などの状況によっては、誰もが障がい者と同じような立場になる可能性があります。今後はこのシステムの技術を、騒音の大きい場所での作業支援や、工場やトンネルなどでの異音検知へ応用することも考えていきたいです」と締めくくりました。
環境音AI認識システムがよりインクルーシブなシステムへと発展し、より多くの人の役に立つ日が待たれています。

関連情報

• IAUD国際デザイン賞（Awards） >
• FUJITSU Software LiveTalk powered by Zinrai >