AI・機械学習分野のトップカンファレンスICLR2023に、生成モデルの安定化技術とグラフデータの学習データ増強技術の2件が採択されました

ICLR2023の概要

• 学会名：ICLR2023（International Conference on Learning Representations）
• 開催日：2023年5月1日～5月5日
• 開催場所：ルワンダ共和国 キガリ
  • ①
    論文タイトル：Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve

    • （著者）
      富士通：長谷川 創
      トロント大学：Juhan Bae, Michael Zhang, Michael Ruan, Eric Wang, Jimmy Ba, Roger Baker Grosse
  • ②
    論文タイトル：Automated Data Augmentations for Graph Classification

    • （著者）
      富士通：Michael Curtis McThrow, Wing Yee Au,
      小御門 道, 内野 寛治, 丸橋 弘治
      テキサスA&M大学：Youzhi Luo, Shuiwang Ji

① 生成モデルの学習安定化技術について

Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve

富士通とトロント大学は、データを表す特徴量が多い高次元データから獲得する分布・確率などの本質的な特徴量の特性を、目的に合わせて容易に調整できる技術を開発しました。

近年、様々なビジネスの領域において、膨大かつ多様なデータをAIで解析する需要が急激に増加しています。
通常、AIの学習には大量のデータが必要となりますが、扱うデータが画像や３Dデータのような高次元の場合、データの特徴を獲得するには膨大な計算量が必要となり困難でした。そのため、ディープラーニングを使って入力データの次元（特徴量）を削減する手法が用いられていました。しかし、次元を削減しすぎると重要なデータの特徴を失ってしまうため、目的に合わせて削減具合を調整する必要があります。
従来は、削減具合を調整するためのパラメータを一つ設定したうえで学習し、その結果で出来たモデルから削減度合いと重要なデータの損失具合を確認します。それを何度も繰り返して適切なパラメータを決定するため、非常に多くの時間・計算コストが必要でした。

今回、ディープラーニングにおいて、トロント大学のAdam*等で実績のある学習技術の知見と富士通のDeepTwin*等の情報理論に基づくAI技術の知見を組み合わせ、一度モデルを学習するだけで、モデル利用時に自由に削減度合いと重要なデータの損失具合を調整できる技術を開発しました。これにより、様々な用途に応じて、適切なデータの特徴を容易に活用することが可能になりました。

今後は、当技術を製造分野やヘルスケア分野へ活用する検討に取り組んでいきます。

• *Adam
  : ディープラーニングで最も用いられている学習技術
• *DeepTwin
  : 富士通が開発したデータの特徴を正確に捉えるAI技術

• 技術の詳細：「ハイパーパラメータ選択にロバストなVAE」に関する研究がICLR2023 notable-top5%で採択されました （富士通研究所 TECH BLOG）

開発者コメント

我々のプロジェクトでは、実際の複雑なデータから必要な情報を抽出し、目的に応じたAIを実現する技術の開発に取り組んでいます。今回の技術は高次元で複雑なデータの取り扱いを実用的・効率的にする重要な成果となります。今後は本技術をさらに発展させ、製造分野やヘルスケア分野など幅広い分野へ適用を進めることで社会に貢献していきます。

② グラフデータの学習データ増強技術について

Automated Data Augmentations for Graph Classification

富士通とテキサスA&M大学は、グラフデータ*を分類するためのAIの学習データを増強し、分類精度を向上させる技術を開発しました。

様々な分野において、予測の根拠や解釈を可能にするグラフデータを活用したAIへの期待が高まっています。創薬分野では、化合物を原子間のつながりを現すグラフデータとみなし、10の60乗とも言われる膨大な薬剤候補から可能性の高い分子を予測する試みが行われています。また、金融分野では、膨大なデータの蓄積に伴い、取引履歴を人や企業間のつながりを現すグラフデータとみなして不正検知や成長予測に活用することが期待されています。

しかし、薬剤可能性の高い化合物や不正に関わる取引データは少ないため、AIに必要な学習データが不足し実用的な精度が得られないことが大きな問題となっています。
学習データを増やすために、予測結果が変わらない程度にデータに変動を加えることでデータを増強し、予測精度を向上させる技術が知られています。しかし、画像やテキストと異なり、グラフデータの場合は１つの頂点やつながりの追加・削除などの操作だけで重要な特徴が大きく変わってしまうことがあります。そのため、各分野の専門知識を用いて、予測結果を変えずに変動を加えるための工夫が必要でした。

今回、強化学習*と呼ばれる機械学習の手法を用いて、最終的にグラフデータの重要な特徴を損なわないように、つながりの追加・削除などの操作を自動的に選んでいく技術を開発しました。これにより、各分野の専門知識を必要とせず、幅広い領域でグラフデータの予測精度を向上させることが可能となりました。

今後、本技術を活用し、ヘルスケアや金融などの分野でのAI活用の幅を拡げていく取り組みを続けていきます。

• *グラフデータ
  : 人やモノの間のつながりを表現したデータ形式
• *強化学習
  : ある目的を達成するために最適な行動を選択する方法を学ぶ機械学習の手法

• 技術の詳細：「グラフ分類のためのデータ拡張技術」に関する研究がICLR 2023に採択されました （富士通研究所 TECH BLOG）

開発者コメント

我々のプロジェクトでは、人間が発見するプロセスをAIで実現する技術の開発に取り組んでいます。今回の技術により、富士通が開発するグラフデータに対する説明可能なAIの予測能力が向上し、発見の可能性を劇的に高めることが期待できます。今後は本技術を幅広い領域に適用し、AIにより数多くの発見を導くサービスを展開することで、社会に貢献していきます。

関連情報

・AI分野で世界最高峰の国際会議「NeurIPS 2022」に、全ての説明・アクションの可能性を提示するAI技術と複雑な要求仕様を満たすAIモデル生成技術の2件が採択（2022年11月29日 Updates from FUJITSU）

本件に関するお問い合わせ

contact-iclrpaper2023@cs.labs.fujitsu.com