ドラム演奏CGキャラクターのアプリ開発
学生時代は友達とバンドを組み、ドラムを担当していました。ドラムは動きのイメージを持つことが非常に重要な楽器です。しかし、私がドラムをやり始めたころは、単に譜面を見るだけでは、どの手でどのドラムパーツを叩くか迷うことが度々ありました。そのため、ドラムを練習する際に360度からドラム演奏者の叩き方が見える手本があればいいなと思い、大学での研究で、ドラム演奏支援のためのCGキャラクターをパソコンで作成しました。パソコンに音符などの譜面情報を入力すると、その曲に合わせてCGキャラクターが演奏します。CGなので、どの角度からでも見ることができ、演奏速度も自由に変えられます。これにより、どの手でどのドラムのパーツを叩くかのイメージを掴みやすくなり、特に初心者の方の練習に役立てることができました。
大学院の研究では、さらに発展させて、ドラムのCGキャラクターと一緒にセッションできるアプリを開発しました。人間が楽器を演奏すると、そのテンポに合わせてCGキャラクターもドラムを叩きます。セッションするためには、人が演奏する楽器の音からリアルタイムにテンポを推定するだけでなく、少し先のテンポも予測しなければなりません。そこで、楽器の音に加えて、演奏者がリズムをとる動作を学習させることで、これからテンポが遅くなるのか速くなるのかを予測し、CGキャラクターがよりリアルタイムに人の演奏のテンポに合わせられるようにしました。この研究をきっかけにして私自身もベースを学び始めました。研究が新しい楽器を練習するモチベーションにもつながり、非常に面白い体験でした。
AI技術で人物の不審行動を検知
企業での研究は、社会実装を実現させるまで技術を高めることができる点に大きなやりがいを感じます。私は、富士通に入社して映像解析の研究開発に携わりました(*1)。あるお客様から、防犯カメラの映像を解析して不審者を探し、事件や事故に関与した可能性のある人物を追跡・発見したいという要望を受けたことがありました。従来は全て目視で確認し、不審者を見つけていましたが、AIで映像を解析し、「赤い服を着ている人」などの条件で絞り込んで表示できるシステムがあれば、不審者の発見に非常に役立ちます。私の担当部分は映像解析のコア技術の開発だけでなく、技術の精度を示すために実データを取り込んで解析し、お客様に分かりやすいように画面上に結果を示す一連のデモシステムの設計・開発でした。お客様先で映像データをいただき、その場で解析し精度を示すことが求められる場面もありました。
システムは映像の解析精度だけでなく、解析速度や、映像から特定の人物を探し出す検索速度、そして表示機能も重要です。解析速度は、複数のマシンを使った並列解析や処理の効率化の工夫を行い、検索では、数千人の中からでも高速に人物を検索するために、いくつもの検索方式の調査や選定、チューニングを行いました。また、お客様とコミュニケーションを重ね、表示機能のブラッシュアップを行いました。このように、映像解析の精度以外の機能も磨き、システム全体としてのクオリティを高めることで、現場で使えるシステムを構築しました。デモでは、どんな映像がお客様から渡されるか当日まで分かりません。そこで、開発チームでは、事前に屋内や屋外など想定される条件でテスト映像を撮影し、どの人物特徴を使った検索から始めるのか、どう組み合わせると効果的なのかなど、検索テクニックも磨き、デモに備えました。デモ当日に、お客様の要望を満たす映像解析ができたときは非常に嬉しかったです。その結果、商談の受注にもつながり、技術は実際に利用できてこそ価値があると実感しました。
旅先を車で巡る
休日には、お祭りやイベントに参加するのが楽しみです。この6月には、川崎市の100周年を祝うイベントに参加しました。川崎周辺を巡る謎解きイベントで、子どもと一緒に充実した時間を過ごせました。また、去年頑張って車の免許を取ったので、旅先を車で巡り、家族で日本の全都道府県を制覇したいと思っています。特に知られていないB級スポットにも興味があります。音楽については、以前、富士通ソーシアルサイエンスラボラトリに所属していた時は、会社の軽音楽部に入って 、部員とよくスタジオでセッションを行っていました。最近では仕事や家のことで忙しく、電子ドラムをしまっていましたが、またいつか再開したいと思います。
技術の社会実装でイノベーションを加速
今所属するコンバージングテクノロジー研究所では、デジタル技術と人文・社会科学を融合させ、複雑な社会問題の解決を目指しています(*2)。私は行動変容技術の研究を行っており、防犯分野や特殊詐欺対策に焦点を当てています。特に、高齢者が詐欺被害に遭わないようにするための防止策と被害軽減に取り組んでいます。私たちのアプローチは二つのステップに分かれています。一つ目は、特殊詐欺の会話を疑似体験できるAIシステムの開発です。このシステムを使って、還付金詐欺などの電話詐欺を体験してもらい、体験者の受け答えやミリ波センサーで取得したバイタル情報を分析します。これにより、その人が騙されやすい状態かどうかを推定します。二つ目は、体験後のフィードバックです。犯罪心理学の専門家のAIアバターが登場し、直接利用者にフィードバックをします。また、尼崎市と協力して、高齢者に体験してもらう実証実験を行っています(*3)。
研究テーマに取り組むにあたり、技術のコアを構築するだけでなく、利用者が使いやすいシステムを作り、フィードバックを基にシステムの改善を行うという一連のプロセスで進めています。研究段階から人々に実際に使ってもらえる段階まで関わることができ、大きなやりがいを感じています。私は、自分がやりたいと思ったことにチャレンジしてきました。この経験を活かし、今後も未来の技術開発に貢献していきたいと考えています。
関係者からのメッセージ
粟井さんの手から生みだされる技術はすべてが「オリジナル」です。学問や常識の枠にとらわれず、自由な発想と飽くなき探求心で未知の領域に挑み続け実現する姿は、研究する面白さを再認識させてくれます。これからも、その探究心と創造力で、未来を拓く研究に邁進してください。（コンバージングテクノロジー研究所 紺野 剛史）
本稿中に記載の肩書きや数値、固有名詞等は取材当時のものです
Recommend
Connect with Fujitsu Research
