言語の種類に関係なく会話状況をAIで推定する技術を開発

コンタクトセンターや会議での問題発生検出のグローバル展開を可能に

2020年1月17日

自然な会話音声データを、言語依存の情報を用いずAIにより分析する技術を開発し、コンタクトセンターでの日本語、英語、中国語の会話音声データを用いた評価実験により、応対トラブル発生を約90%の高い精度で検知可能なことを確認しました。
コンタクトセンターや会議におけるトラブル発生検出やパフォーマンス評価などのためには、その場の情報である会話の分析が効果的です。しかし、分析にキーワードなど言語に依存する情報を使用すると、そのことが言語の壁としてグローバルな実用化を阻害する要因の一つとなります。今回、複数人の同時発声、言い澱み、文法から外れた発声などが含まれる自然な会話を、言語依存の情報を用いることなく分析する技術を開発しました。本技術により、顧客・従業員の満足度向上や業務効率化のため、顧客応対の品質向上や会議のパフォーマンス向上などを目指します。

今回開発した技術は、2020年1月28日(火)、29日(水)に高岡市で開催される電子情報通信学会 音声研究会で発表します。

 人工知能研究所 オートノマス機械学習プロジェクト 松尾 直司 主管研究員人工知能研究所 オートノマス機械学習プロジェクト 松尾 直司 主管研究員

開発の背景

企業などの顧客応対窓口として、グローバルに普及しているコンタクトセンターでは、低品質な応対や応対の長時間化が顧客や従業員の不満に直結するため、クレームなどのトラブルが発生した場合には、熟練度の高い管理者が早期に引き継ぐなどのサポートが必要です。そのため、富士通研究所では会話を分析することで応対トラブル発生を検知し、管理者に通知する技術を開発(*1)してきました。しかし、言語依存の情報であるキーワードを用いていたために、言語毎にキーワード検出処理の開発が必要であり、複数言語への対応が困難でした。

技術の特徴

従来開発してきた会話分析技術では、問題発生時に特有な否定的な内容などのキーワードと会話全体のストレス状態を検出することで、応対トラブルなどの問題発生を検知していました。これに対して、言語依存の情報であるキーワードの替わりに、言語に依存しない情報として、問題発生時に話者が多く発声している音の組である発声の偏りを検出する技術を開発しました(図1)。

図1 応対トラブル発生検知の概要図1 応対トラブル発生検知の概要

本技術では、通話音声を入力して言語に依存しない音響的な音声の情報であるパワースペクトルを基にした特徴量を算出します。さらに、同様に言語に依存しないホワイトノイズを基に音声の特性を表す量子化テーブルを作成し、特徴量を量子化します。その結果をLSTM(Long short-term memory)(*2)により学習・判定することで、発声の偏りを示すシンボルを検出します(図2)。

図2 発声の偏り検出処理の概要図2 発声の偏り検出処理の概要

ここで、高い量子化精度の実現のために、ホワイトノイズを基に量子化テーブルを作成する際に必要な現場学習方式を開発しました。この方式では、適用先における音声の特徴量に合せた量子化点の分布の適応処理を行い(図3)、使われない量子化点を減らして音声の特徴量に多くの量子化点を割り当てます。具体的には、発声していない無音の特徴量の量子化点を一つのみとし、また、音声の特徴量の量子化点が選択される数に大きな偏りが無いようにしました。

図3 量子化点の分布の適応処理の概要(音声の特徴量が2次元の場合)図3 量子化点の分布の適応処理の概要(音声の特徴量が2次元の場合)

実際のコンタクトセンターの日本語の会話データ(442通話分)を用いた評価実験において、言語依存のキーワードの検出を用いる従来技術と同等の約90%の応対トラブル発生検知精度を確認しました。また、言語に合わせた開発や事前学習を行うことなく、英語の模擬会話データ(232通話分)と中国語の模擬会話データ(160通話分)を用いた評価実験においても同等の検知精度を実現しました。

今後

今回開発した技術は、さらに多くの言語の会話データを用いた検証を進め、コンタクトセンターや窓口におけるAI技術を活用した応対トラブル検知機能として実用化を目指します。また、さまざまな製品開発の審査会支援ツールとしての実用化も進めます。

注釈

*1 関連情報:コンタクトセンターに接続するまでの待ち時間を短縮できる技術を開発(2019年3月20日プレスリリース)

*2 LSTM(Long short-term memory):一つの層を繰り返し利用する回帰型ニューラルネットワークの一種であり、音声のような時系列データに対して用いることができるモデル

本件に関するお問合せ

speech_recognition_pr@ml.labs.fujitsu.com

このページをシェア

  • facebook
  • twitter
  • LinkedIn
  • LINE
  • Weibo

富士通研究所についてもっと詳しく

ページの先頭へ