ディープラーニングなどの機械学習技術の進化によって「第3次AIブーム」を迎えた現在，多様な分野でAIの実用化に向けた研究開発が進展する一方で，その“信頼性”を問う声も高まっている。例えば，AIが結論を導き出した道筋を明らかにする「説明可能なAI（Explainable AI：XAI）」の研究が，世界各国で活発化している。更に，G20大阪サミットに先立ち開催されたG20貿易・デジタル経済大臣会合において，AIのあるべき姿をまとめた「AI原則」が策定された。また富士通においては,「富士通グループAIコミットメント」を策定した。こうした動きを背景に，富士通のAIエンジニアもまた，自らが開発したAIを，いかにして顧客やパートナー，更にはエンドユーザーにとって信頼できるものにするかを問い続けている。そこで今回，AI適用プロジェクトの最前線で活躍する若手AIエンジニア4名による座談会を企画し，彼らの取り組みを通じて，信頼できるAIとは何かを解き明かしていきたい。
本座談会は，【Part 1】AIエンジニアたちが富士通を選んだ理由，【Part 2】多様なフィールドでのAI開発，【Part 3】「信頼できるAI」とは何か？の三つに分けて紹介する。
参加者
富士通株式会社Data×AI事業本部 プロフェッショナルサービス事業部 データアナリティクス部垣迫 正輝（2015年入社）
富士通株式会社ソフトウェア事業本部 AIソフトウェア開発事業部 NLPビジネス部金尾 貴守（2016年入社）
富士通株式会社Data×AI事業本部 プロフェッショナルサービス事業部 AIサービス部藤田 徹（2017年入社）
株式会社富士通研究所人工知能研究所 オートノマス機械学習プロジェクト池 祐一（2018年入社）
［ファシリテーター］
富士通株式会社Data×AI事業本部 プロフェッショナルサービス事業部 データアナリティクス部山影 譲
富士通株式会社Data×AI事業本部 プロフェッショナルサービス事業部 データアナリティクス部山影 譲
【Part1】AIエンジニアたちが富士通を選んだ理由
-
池私は入社2年目で，富士通研究所の人工知能研究所の所属です。大学院で数学を専攻していた経験を活かして，フランスの国立研究機関であるInria
（インリア）と共同で，トポロジー（位相幾何学）を用いた新しいデータ解析手法について研究しています。
-
垣迫Inriaと言えば，ヨーロッパでも有数の研究拠点。入社早々からそんなビッグネームと共同研究されているのはすごいですね。
-
池いえいえ（笑）。研究所の所属だとビジネスの現場の様子がなかなか見えないので，今日は事業本部の皆さんに学ばせていただきたいと思います。垣迫さんと藤田さんは，お二人ともData×AI事業本部の所属ですが，どのような業務をされているのでしょうか？
-
垣迫私たちの所属するData×AI事業本部では，業務でAIを活用したいお客様に対するコンサルティングサービスを実施しています。業務内容のヒアリングから始まって，AIで解決すべき課題の落とし込み，データの学習・評価，実証検証までをトータルに行っています。私は，データアナリティクス部に所属していて，主にお客様とAIを用いた共創プロジェクトを推進しています。
-
藤田私は，Data×AI事業本部のAIサービス部に所属しています。「FUJITSU Human Centric AI Zinrai」を主に企業のお客様に提供する「Zinrai活用支援サービス」を用いた画像系ディープラーニングの検証支援と導入サービスを中心に担当しています。学生時代はGPUを用いた研究をしていたことから，様々な画像解析AIを実際の業務やビジネスに適用できる業務に就きたいと考えて，AI関連の事業部への配属を希望しました。私は入社3年目で，最初から今の部署ですが，垣迫さんが入社された5年前だと，まだ事業本部は立ち上がっていなかったですよね。
-
垣迫そうですね。入社当時はビッグデータが流行っていて，私もデータサイエンティストの職種で入社し，ビッグデータ解析を利用してマーケティング支援を行う部署に配属されました。現在の部署に異動したのは，入社3年目からですね。
-
金尾私も垣迫さんと同じく異動経験者です。今入社4年目ですが，2年目から現在のソフトウェア事業本部に所属し，AIを用いたFAQ検索システムを開発しています。
-
藤田私は入社以来ずっと同じ部署なので，複数の部署で幅広い経験ができるのは羨ましいですね。金尾さんは，入社当初の部署では，今とは違う仕事をされていたのですか？
-
金尾はい。入社当初は「インキュベーションセンター」と言う，事業本部とは離れた組織で，新人ばかり20名という異色の職場で自由気ままにやらせていただきました（笑）。その部署では，アジャイル開発によるPoV（Proof of Value：価値実証）を行っていて，具体的にはデータセンターの稼働状況を“見える化”する，管理者向けの画面開発を担当していました。
-
藤田富士通に興味を持ったきっかけは，合同説明会の説明で面白い会社だと感じたことです。特に会社の姿勢について，野心的だけれど「三現主義（現場・現物・現実）」に象徴されるような愚直なところもあって，自分の感覚に近いなと感じました。
-
垣迫入社前後で，その印象にギャップを感じたりしましたか？
-
藤田もっとスマートにできるところもあるとは思いますが，「愚直」というイメージは思っていたとおりでした。今の仕事はお客様と接する機会が多いので，特に感じるのが「お客様起点」ということです。お客様に価値あるものを提供しようとする姿勢は，共感できるものがあります。
-
金尾私が富士通に魅力を感じたのは，いろいろな領域でお客様と関わっているところです。何か一つの領域に特化するのも，それはそれで強みだと思いますが，お客様の課題というのは多方面に及んでいて，解決するスキームは一つとは限りません。社内に多様なスキルを持っていて，それらを持ち寄って解決できるというのは大きな強みだと思いました。
-
池そこは同感ですが，技術領域が幅広い企業は富士通以外にもありますよね。その中でも富士通を選んだ決め手は何だったのでしょうか？
-
金尾おかしな話に聞こえるかもしれませんが，決め手となったのが「色」ですね。赤色が好きなので。
-
全員そこですか！？
-
金尾いや，色は大切ですよ（笑）。就職活動は，人事の方との相性もかなりありますよね。その意味では，会社のカラーとの相性も大切だと思っていて，コーポレートカラーの「FUJITSUレッド」に込められたチャレンジ精神や人間性，エキサイティングな企業風土に興味を持ちました。
-
垣迫なるほど。金尾さんは入社前後でギャップはありましたか？
-
金尾大企業ですから，お堅いところもあるかと思っていましたが，実際は大違いでしたね。当初の配属先が，先ほど話した「インキュベーションセンター」だったこともあると思いますが，アットホームな雰囲気の中でやりたいことができました。事業本部に異動してからは，さすがに好き放題とはいきませんが（笑），最初の職場で培った柔軟性やフットワークなど，アジャイルの良さを活かしていきたいですね。
-
藤田そう言う垣迫さんは，入社前後のギャップはありましたか？
-
垣迫良い意味でのギャップがありました。私はデータサイエンティストとして入社しましたが，ずっとデータを解析する仕事というイメージを持っていました。ところが実際は，お客様とコミュニケーションする機会が多く，ビジネスにもどんどん参画していく仕事で，自分に合っているなと感じています。
-
金尾お客様とのコミュニケーションは大変な面もありますが，仕事上の大きなモチベーションになりますよね。
-
垣迫そうですね。開発系の企業だと，実際に開発する部門と，お客様相手にビジネスを企画する部門とで役割が分担されているイメージがありますが，今の仕事は両面を経験できるのが面白いですね。
-
池皆さんの話を聞いていると，お客様と接点があって，自分のアウトプットを目の前で評価していただくことに手応えを感じているようで，羨ましいですね。私のように研究所で仕事をしていると，なかなかそうした機会がないので。
-
垣迫池さんの入社動機は？
-
池研究職目線からになりますが，私が魅力に感じたのは，すぐに役立つものだけでなく，基礎研究にも力を入れているところです。どちらも大切だと思いますが，私はむしろ後者に興味があって，入社後も最初からやりたいことをやらせてもらっています。
-
藤田と言うことは，Inriaとの共同研究も入社前からの志望だったのですか？
-
池もともとInriaとの共同研究は私が入社する前から始まっていて，面接でも「入社したらフランスにも行けるよ」と言われていたので，それを楽しみにして入社しました（笑）。実際に，2か月間Inriaに滞在して集中して研究する機会をいただくことができました。
――本日は，富士通の各部門で活躍する若手のAIエンジニアに集まっていただきました。同じ分野に携わっていながら初対面だと思うので，まずはお互いの自己紹介からいきましょう。
――ひと通りプロフィールを伺いましたが，本題に入る前にもう一つ伺っておきたいのが富士通への入社動機です。皆さん，就職にあたっては，いろいろな選択肢があったと思うのですが，その中でなぜ富士通を選んだのでしょうか？
【Part2】多様なフィールドでのAI開発
-
池Inriaとの共同研究のテーマは，TDA（Topological Data Analytics：位相的データ解析）と言って，トポロジーを時系列データの解析に応用するものです。もう少し具体的に言うと，時系列データが示す形状から特徴を読み取ろうというもので，かつては熟練者の知見を必要としていたものを，AIで行おうというわけです。
-
垣迫具体的には，どんなデータを扱っているのですか。
-
池例えば，橋りょうに埋め込んだセンサーのデータから異常を検知したり，心電図などのデータから不整脈を検知したりと，幅広いデータを扱っています。
-
垣迫それは面白そうですね。ただ，共同研究だと相手と成果をどう分け合うかで悩みませんか？ 私も共同研究の経験がありますが，切り分けが難しいですよね。
-
池おっしゃるとおりです。今，まさに論文を書いていて，その点ですごく苦労しています。垣迫さんの経験をぜひ参考にさせてください。
-
垣迫私が担当しているのは大手計測機器メーカー様との共創プロジェクトで，食品・飲料や医薬品などの成分を調べる質量分析装置に，データ解析のための「ピークピッキング」という作業をAIで自動化する機能を搭載するものです。
-
金尾ピークピッキングというと，得られたデータのグラフから波形（ピーク）の幅や高さを読み取ることですよね。けっこうな手間がかかると聞いたことがあります。
-
垣迫大量のデータを扱う研究所だと，熟練の技術者が一日何時間もかけて行っているので，これをAIで自動化しようというわけです。ただ，波形を読み取るといっても，読み取る範囲が人によって異なり，基準が曖昧なので，お客様と一緒に基準を作り上げる必要がありました。また，ようやく完成したAIを搭載するにあたっても，ハードウェアの制限があって，普通のPCで実行できる処理速度にしなければならないという難しさがありました。
-
池私のように研究所に所属していると見えづらいのですが，新しい技術を開発したからといって，そのまま製品化できるというわけではないのですね。
-
垣迫そうですね。加えて，先ほど言った成果を分け合う難しさもあります。今回の場合だと，お客様の製品として販売されるわけですが，その利益をどう配分するかが問題になりました。いろいろ交渉して解決しましたが，それも信頼関係があってのことですね。
-
池そうした共創をビジネスとして成功させるためには，何が必要なのでしょう？
-
垣迫私が思っているのは，研究所から生まれてきた技術と，実際のビジネスとを橋渡しできる人材が必要だということです。そうした人材は，数年前まではあまりいませんでしたが，最近は事業本部全体で育成を強化しているので，これから新しい技術をビジネスに活用できる機会は増えていくと思います。
-
金尾コールセンター企業の競争力を強化するために，AIによるFAQ検索システムを開発するというプロジェクトです。コールセンターでは，オペレーターがユーザーからの問い合わせにスピーディーに対応できるよう，過去の問い合わせデータを基にFAQを作成することが多いです。オペレーターが質問内容を基に検索して，最適な回答を導き探し出すわけですが，膨大な量のFAQを使いこなすためには熟練を要するので，AIを用いてオペレーターを支援するのが狙いです。
-
垣迫具体的には，どうやって支援するのでしょう？
-
金尾FAQ向けのAIは近年，急速に進化しています。従来は，検索したQAの中から，より適切なものを判断して上位に表示するだけでした。開発中のものでは，ユーザーとオペレーターとの対話を音声認識でリアルタイムに表示しながら検索できるようになっています。
-
垣迫LINEのように，お互いの会話がテキストで交互に表示されるようなUIですか？
-
金尾そうです。理想としては，テキスト化した内容をAIが解析して，自分で適切な回答を探すまで持っていきたいのですが，まだそこまでは難しく，オペレーターが対話しながら表示されたテキストをクリックして検索するという仕組みです。
-
藤田ユーザーと対話しながら検索するのは，大変ではないですか？
-
金尾そうですね。なので，検索作業をできるだけシンプルにすることが求められました。また，オペレーターの対話は相槌が多く，テキスト化された会話がすぐ流れてしまい，検索しづらくなってしまいます。そうした問題への対応も臨機応変に実施しました。
-
池なるほど。ただ業務にAIを当てはめるだけではなく，実際の現場に則して使いやすいようなUIも含めて開発する必要があるのですね。
-
金尾そうですね。このプロジェクトで感じたのは，お客様にとっては，AIの精度よりも，むしろAIというツールをどう使い勝手を良くするかが重要だということです。
-
藤田AIを精度で勝負しないというのは，すごく重要なポイントだと思います。AIを開発するエンジニアからすると，どうしても精度にこだわりがちです。もちろん，精度が高いというのはビジネス上の「売り」にはなりますが，精度が高いイコールお客様の評価が高いとは，なかなかならない。
-
金尾確かに，精度と使い勝手は全く別物です。何をもってAIを評価するかは，お客様がAIに何を求めているかで変わってくるので，お客様の期待度をコントロールしないとビジネスがうまく回っていかないということを最近，痛感しています。藤田さんの案件でも同じようなことを感じられましたか？
-
藤田私が現在，担当しているのは製造業のお客様で，工場内における安全対策向け画像解析AIについて検証支援サービスを行っています。昨年末から検証支援サービスがスタートして，データ収集と学習モデルの試作を何回か行い，今まさに工場内で撮影したデータを用いて，試作したAIモデルの有効性についてトライアル検証中です。担当の方はAI導入に前向きですが，当然ながらAIの専門家ではないので，具体的な評価手法や指標などのイメージがありません。検証結果をいかにして評価してもらうかが直近の課題であり，お客様にもAIについて基本的な部分を理解していただく必要があると感じています。
-
金尾確かに担当者はもちろん，AIを実際のビジネスに導入するかどうか，最終的な判断を下す経営層も含めて，判断するための最低限の知識は必要です。
-
垣迫「教える」というと語弊がありますが，お客様と日々対話しながらAIについて理解を深めていただくのも，私たちの大事な仕事です。AIについて理解できないと，AIの価値も使い勝手も分からないので，お客様と日々コミュニケーションを取って，一つひとつ疑問に答えていくことが大切です。逆に，お客様からお客様の持っている技術やノウハウについて教わることも非常に重要ですし，勉強になります。いかにコミュニケーションが大切かということです。
-
池お客様と接する機会のない私にとっては，勉強になる話です。
――Part 1でお互いのプロフィールが分かったところで，ここからは皆さんが現在，取り組んでいるAIプロジェクトについて説明してもらえますか？
――AI開発の難しさからビジネス上の課題まで話題が広がって，なかなか興味深い議論になりましたね。金尾さんが担当しているのはどのようなプロジェクトですか？
――皆さん，それぞれ特徴的なプロジェクトに携わりながら，現場での様々な課題を通じて，AIのあり方について思索を深めてきたようですね。次からは，そうした経験を踏まえて，いよいよ本題である「信頼できるAI」について議論していきましょう。
【Part3】「信頼できるAI」とは何か？
-
池Inriaとの共同研究の中でも，私の研究課題は座談会のテーマと直結していて，近年話題になっている「説明可能なAI」というものです。例えば，TDAを使って時系列データから異常を検知した際に，なぜ異常と判断したかを説明できなければ，お客様から信頼してもらえません。その仕組みをどう作るかを研究しています。
-
金尾「説明可能なAI」というのは前から興味があったのですが，実際のところ，どのようなアウトプットになるのですか？
-
池すごく鋭いご質問です（笑）。実は何をもって説明可能とするか，その定義がないところが難しさです。ブラックボックスから出てきた結果から説明しようとするアプローチもあれば，AIそのものの中身を明確にしようとするアプローチもあって，いろいろ選択肢がある中で，どうすべきかを検討しているところです。
-
藤田「説明可能なAI」と言っても，AI自らが説明するのではなく，説明するのはあくまで人間です。言わばAIの結果を人間が翻訳するわけですが，私たち開発する側と，お客様を含めた社会全般との間には，既にそこからギャップがあります。
-
池その点も含めて，AIが出した答えを，いかにして分かりやすく説明できるようにするのかが，これからのAIの重要なテーマになると思います。特にディープラーニングを使うとブラックボックスになりがちなので，そこが問われてくるでしょうね。
-
垣迫AIを信頼してもらうためには，「AIを理解する」「AIを使う」という2つのフェーズがあると思います。先ほども話題に出たように，まずはお客様にAIで何ができるかを説明して，期待度を合わせていく。AIに何ができて，何ができないかをすり合わせていくことが重要になります。
-
藤田確かに。お客様にもAIを理解してもらわないと「AIって何でもできるんでしょう？」なんて言われてしまいます。実際は簡単なことではありません。お客様の業務を理解して，どこに課題があるかを抽出して，AIでどう解決するか，どんなデータを集めて，どうディープラーニングを用いて処理していくかを提案しなくてはなりませんからね。
-
垣迫そこからAIを使うフェーズに移っていくためには，従来のやり方だと不充分だと思います。お客様に報告書を提出して業務終了となるのが従来のやり方ですが，それだけではAIで何ができるかは理解できても，実際に使おうという決断はなかなかできないですよね。
-
金尾確かに。AIを業務に適用してもらうためには，理屈を理解するだけでなく，実際に使う側の立場から信頼してもらう必要があるということですね。
-
垣迫その壁を越えるための存在がプロトタイプです。実際にAIによる成果を体験してもらって，使い勝手も含めて納得してもらうことで，初めて本当の意味で信頼してもらえます。実際にやってみると大変だったのですが（笑），この2つのフェーズを丁寧に進めていくことが重要だと感じました。
-
池ただ，そうして導入が決まっても，AIを実際に製品に組み込むにあたって，また次の壁があるわけですよね。
-
垣迫そうですね。中でも重要なのがAIの品質保証ですが，どこまで保証できるかという線引きが非常に難しいですね。特に，私の担当プロジェクトでは，お客様が世界中に製品を販売していくわけですから，エンドユーザーにその品質をどう説明するかをしっかり理解してもらう必要がありました。
-
金尾お客様がAIを適用する場合，AI単体ではなく，他の機能と組み合わせたシステムとして使用しています。お客様やエンドユーザーからすると，それらを使い分けているわけではありませんから，システム全体の信頼性を高めることが，結果としてAIの信頼性につながってくると思います。
-
池確かに，AIは製品を使いやすくするための機能の一つであって，決してAIそのものがメインではありませんからね。
-
金尾その点から言えば，何でもAIでやろうとしないという柔軟性も必要だと思います。私のプロジェクトで言うと，検索したテキストと完全一致するQAがあるのに，検索結果が1位にならないこともあって，お客様が「何でだ？」となってしまったのです。それはもうAIの精度の問題ではないと判断して，完全一致する場合は1位に表示する機能を提供して，お客様に納得してもらいました。
-
藤田AIはFAQの質問だけでなく，回答の内容も含めて学習しているから，そういう結果になるのでしょう。でも，お客様からすれば「それでは信頼できない」と言われるのも分かります。
-
垣迫私が携わった計測機器のプロジェクトでも，読み取りやすいデータなのに，AIが正解と異なった判断をした場合があって，お客様に「何でだ？」と言われたことがあります。そこをどう説明するかによって，お客様からの信頼度を大きく左右します。
-
金尾この経験から，AIを用いたシステムだからと言って，全てをAIに頼る必要はなく，むしろ従来どおりのプログラムで対応した方が良い場面もあると気付かされました。様々なお客様がいらっしゃる中で，お客様の求める価値がどこにあるのかを考えることが，AIの信頼性を高めることにつながっていくのではないでしょうか。
-
藤田AIのコンサルティングというケースだと，お客様がAIに過度な期待を持たれていることがあります。ビジネスなので，「もちろん大丈夫です」と言いたいところですが，過度な期待を抱かせてはいけません。そのため実情に即したかたちで提案していくよう心がけています。
-
金尾過度な期待というと，AIの機能面ですか？それとも精度面ですか？
-
藤田両方ありますが，特に難しいのは精度保証です。もちろん精度が上がるように工夫するのですが，精度が100％ではなくても使えるようなAIの使い方を提案するのが，私たちの仕事だと思っています。
-
垣迫お客様の期待に応えたい気持ちもあるし，やはり売上に貢献したい気持ちもあるので，ついつい「できます」と言ってしまいがちになるのも分かりますが，安易に期待させるのは結果としてマイナスです。
-
藤田あとで期待はずれの結果になると，自分たちも困るし，お客様にも迷惑をかけてしまいます。お客様のためを思うからこそ，オーバーコミットしないというカルチャーが富士通にはあります。できることしか言わない誠実さが，結果として信頼につながるのではないでしょうか。
-
藤田最先端の研究所からビジネスの最前線まで，いろいろな立場でAIに取り組んでいるエンジニアが集まって，多様な視点から語り合うことができて，大変参考になりました。今日，この場で聞けた話を，少しでもこれからの仕事に活かしていきたいですね。
-
金尾本当に，こういう機会はなかなかないので，大変ありがたかったです。AIのあり方について，多様な意見をぶつけ合う重要性を実感しましたので，コミュニケーションの機会がもっとあると良いなと思いました。
-
池私は研究所の所属なので，なかなか事業部の声が聞こえてきませんから，今日はどんな話になるかと正直，心配していましたが（笑）。
いろいろな観点から参考になる話を聞けたので，すごく刺激になりました。 -
垣迫同じ会社で，同じAIを扱っていても，コミュニケーションの機会はなかなかないので，また集まりましょう！
――ここまでの対談（【Part 1】AIエンジニアたちが富士通を選んだ理由，【Part 2】多様なフィールドでのAI開発）でも，いくつかのヒントがあったと思いますが，ここからいよいよ本題です。ただ，一口に「信頼できるAI」と言っても，いろいろな側面があります。まずは技術としてのAIの信頼性。また，実際にお客様のビジネスにAIを導入するうえでの使い勝手も含めた信頼性。更に言えば，AIを提供するバックボーンとなる会社としての信頼性もあるでしょう。いろんな側面がある中で，皆さんそれぞれどんなことを考えていらっしゃいますか？
――垣迫さんは，実際にAIを搭載した製品を開発した体験を踏まえて，AIの信頼性についてどのように思われますか？
――富士通も，垣迫さんのお客様も，品質保証について「妥協を許さない会社なので，その両者が納得できるレベルで製品化できたのは，非常にエポックメイキングなプロジェクトだった」と評価されています。金尾さんはいかがですか？
――最後に，AIのコンサルティングの経験がある藤田さんには，コンサルティングの観点からのご意見をお願いします。
――「信頼できるAI」について，いろいろと面白いエピソードや意見が聞けましたが，いかにして信頼性を高めるかという技術はもちろん，AIを提供する私たち自身の信頼性も重要だと感じさせられました。それでは最後に，一人ずつ今日の感想をお願いします。
――有意義な座談会になったようで何よりでした。これからの富士通のAIを担っていく皆さんの活躍に期待しています。
