開発に携わる富士通の研究員の想い
【作業者分析・不良品検出編】

茂木（作業者分析）：製造業のお客様には、製造現場の効率化や技能伝承のため、各作業者の作業内容を分析したいというニーズがあります。しかし、従来は人が作業内容を観察・分析し、ストップウォッチ等で作業にかかる時間を計測する必要があり、時間とコストがかかっていました。作業者分析コンポーネントでは、カメラ映像から作業者がどのような作業を行っているかを自動で推定できるため、コストを抑えつつ、作業のムダや、作業者毎のムラ、事故やケガに繋がるムリな姿勢を認識し、排除することで製造現場を最適化することができます。

渡邉（不良品検出）：製造業において生産した製品が不良品であるにも関わらず見逃してしまった場合、ユーザーからの信頼を大きく損なう可能性があります。そこで画像データから不良品を高精度で検出することで、不良品の市場流出リスクを低減することができます。ただ不良品を検出するAIモデルの構築には良品データと不良品データの両方を使うことが一般的ですが、実際の製造現場では不良品データは入手し辛く、十分なデータ確保に時間を要する課題があります。そこで、良品データだけを使って高精度なAIモデルを構築します。またAIモデルは現場の環境変化により精度低下の可能性があるため、常にAIモデルの精度を推定監視し、精度の低下傾向が見られた場合は自動修復を可能とする技術を開発しました。これら技術により不良品検出におけるAIの安定運用の実現を目指します。

茂木：作業者分析コンポーネントには行動分析技術Actlyzer(*3)が使われています。Actlyzerとはカメラ映像から人の行動を認識する技術です。事前に学習済みの約100種類の基本動作を認識することが可能で、さらに基本動作の組み合わせで複雑な行動も認識できます。例えば「歩きスマホ」は「歩く」「顔を下に向ける」「腕を前に出す」という基本動作の組み合わせとして定義し認識することができます。このように、現場に応じた作業のきめ細かなルールを設定することができます。現場に設置したカメラのリアルタイム映像から、作業時間測定や作業手順確認など作業者の行動分析が可能になります。さらに、転倒やムリな姿勢など、どの作業中に、どのタイミングで、どこで発生したかを記録することで、現状把握に基づいたリスクの洗い出しが可能となります。

渡邉：不良品検出コンポーネントは主に2つの技術が使われています。まず不良品検出を担う画像AI DeRA(*4)は、良品画像のみでAIモデルを構築でき、製品の多様な異常を検出すると共に異常箇所も正確に特定することができます。二つ目は、AIの安定運用を担うHigh Durability Learning(HDL)高耐性技術(*5)です。これはAIモデルの劣化を引き起こすような環境・運用データの変化が生じた際に、自動で精度劣化を抑制することが可能な技術で、AIを運用していくうちに精度が劣化してしまう問題の解決に役立ちます。これらの技術により製造工程で発生する不良品を高精度で検出し続けることができ、見逃しによる市場流出リスクを軽減し、製品の生産性や品質を向上します。

茂木：Actlyzerは機械学習分野でのデファクトスタンダードなベンチマークPapers With Codeにおいて1位を獲得し、さらにトップカンファレンスであるICPR2020(*6)、ICPR2022とICIP2022(*7)において採択されました。また、ECCV2022(*8)で開催された複数人トラッキング技術の公開コンペティションで2位を獲得しました。また、この数か月間で生成AIサービスが爆発的なトレンドとなった背景には、専門家が構築するイメージのある従来のAIとは違い、⁠誰でも簡単に使えるという点が大きいと言えます。ActlyzerもノーコードUIで操作できるという特徴があります。あらかじめ準備されている基本動作をドラッグ＆ドロップで組み合わせることで複雑な動作のルール設定ができるので、技術者でなくとも認識したい作業動作のカスタマイズができます。

渡邉：画像AI DeRAは、異常箇所を正確に捉えることに長けています。2021年時点での異常検出に関するベンチマークで、異常を検出するAIモデルの性能を測定する指標であるAUROC（Area Under the ROC Curveの略）において世界最高レベルという98％を達成しました(*9)。HDLは他手法と比較して高速で処理可能というだけでなく、2022年時点での破損データのオンライン学習におけるベンチマークで、従来手法よりも低いエラー率を達成することができ(*10)、当時の最先端技術と同等レベル以上の精度を達成しています。

茂木：富士通アイ・ネットワークシステムズ様にて実際に作業者分析コンポーネントを運用中です。滞在時間から正味作業時間を引くことで付帯作業や無作業実績を算出したり、また作業者別や品種別の違いを把握することで、改善の優先順位を見つけることに取り組んでいます。

茂木：もちろん、お客様に使っていただいたからこそ分かった必要な機能がありました。例えば、作業者の識別の必要性や、手指の動きをより詳細に認識するなどです。このような機能を実現できるように技術を深化させながらお客様の課題解決に繋げていきたいと考えています。

渡邉：現在、富士通フロンテック様にて本コンポーネントの実証実験として、静脈センサーの部品の検品を行っています。静脈センサーのデバイスについて、良品なものと傷や汚れが付いている不良品を判別します。特に製品検査時に環境が変化した際に生じるAIモデルの劣化に対して、安定稼動を目指すことを目的としています。

茂木：我々は技術を開発する際に、お客様の使いやすさや導入の容易さを重視しています。初期のActlyzerでは、研究員が解析を行うツールをほぼそのままお客様に使っていただいていたため、お客様自身が操作できず、使うのが難しいというコメントをいただいていました。今は改良して、お客様がマウス操作で行動の組み合わせを指定するというノーコードインタフェースを導入し、使いやすさを向上させました。また、現場のお客様PCの環境の違いから容易にインストールすることが出来ず、環境構築に苦労しましたが、現在ではクラウドに構築した環境を使って頂けるので迅速な実証が可能になっています。現地での実証実験ではお客様側のPCで動作可能なコンテナを提供しているため、現場への導入を容易に行えます。

茂木：お客様の要望から必要な機能・技術を絞り込むトップダウンのアプローチと、最先端技術をコンポーネントに適用するというボトムアップのアプローチの併用が重要だと考えています。AI研究では最先端技術がどんどん発表されていますが、それをお客様に使っていただくまでには大きなギャップがあります。お客様が必要とされた機能に絞って実装していく過程が必要だと思っており、Fujitsu Kozuchiならそれをサポートできるのではないかと考えています。さらに中国やインドの研究所などグローバルで多くの開発メンバーと議論しながら開発を進めているのですが、テレワーク主体となっているため場所や時間にとらわれずにコミュニケーションを取ることが出来ており、機能開発に役に立つ体制が整っていて心強いです。

渡邉：まさにFujitsu Kozuchiをお客様にお試しいただくことが、研究者にとって技術貢献を実感できる一つの手段だと考えています。また、Fujitsu Kozuchiに限った話ではありませんが、やはりお客様が本当に解決したい課題とソリューションがフィットすることが一番重要だと思っていますので、一つひとつお客様と会話するチャンスを大事にしています。

茂木：製造業を取り巻く環境の変化が顕著になってきています。技術者の減少・高齢化・多様化、マスカスタマイゼーションへの対応、アフターサポート要望の高度化への対応などの課題に対して、AIによる解決が期待されています。作業者分析コンポーネントが作業者を監視するように感じる方もいらっしゃるかもしれませんが、私は寧ろ本技術は作業者を守り、変化が激しい製造業において、より働きやすくするための環境作りの手助けができると考えています。現状ではまだまだカバーしきれない作業内容もありますが、お客様からのニーズや最新技術を踏まえて、コンポーネントとしての機能を拡充していきたいと思います。AIの研究開発を加速させることで、社会全体の工場作業のスマート化に貢献したいと考えています。

渡邉：昨今、生成系AIの台頭で一般の人々にもAIという存在が身近になってきたと感じています。AI開発に必要不可欠な半導体セクターの株価急騰が表すように、この流れがBtoBのAIビジネスをまさに後押しし始めています。AIサービスが世の中に浸透するに連れ次の課題として運用時の安定稼働や品質向上にお客様が直面する日は近いと感じています。不良品検出コンポーネントのHDL技術は、まさにAI運用時の転ばぬ先の杖として今後必要不可欠な技術となるでしょう。AIがさまざまな社会サービスの柱になる際に求められる技術であり、インパクトは大きいものと考えています。