複数の技術の組み合わせから始まった研究
森島先生には2012年にも、CG-ARTS教育リポートでお話をお聞かせいただきました。多分野にわたる先生の研究の発端には、テレビ電話の研究があったそうですね。
そうです。1990年頃、当時電話回線はまだほぼアナログ回線しかなく、わずかな情報しか扱えず動画などはとても送受信できませんでした。そんな中、どうやって顔の情報を送受信するかが僕の最初の研究です。本人そっくりの、今で言えばアバターのようなものを相手側にあらかじめ用意して、キャラクターコードや感情情報など、ほんのわずかな情報を送ることによって、アバターが本人そっくりに表情を変えることができないかと考えたのです。
そのためにはまず、送信側で送信者の表情を理解する必要があります。CV（画像認識）や音声認識、音声情報処理など認識系の処理が必要でした。また受信側ではいわゆるCGや合成技術が必要になります。テレビ電話の実現には複数の技術を組み合わせる必要があったのです。
その後光ファイバーなどが普及して、今や携帯電話の帯域も4G、5Gとどんどん広がり、こういった複雑な処理は必要なくなったわけですが、研究室では当時扱ったCVやCG、音声処理といった複数の分野のテーマがそれぞれ動き出して今に至っています。
学生の「やりたい」を活かせる環境づくり
学生の研究テーマはどのように決めているのでしょうか。
基本は学生自身が何をやりたいかです。学生は僕よりも敏感に時流を掴んでいますし、研究室に入る前からGoogleが主催するKaggle（カグル）などのコンペにすでに挑戦している学生もいます。こちらがテーマを設定するより、本人がしたいことに取り組んだ方が伸びるし、やりがいもあります。
ただ、そうすると領域の幅はどんどん広がっていくので、それぞれの研究を深掘りしていくには僕一人の指導力では足りません。そこで重要になるのが外部とのコラボレーションです。他大学の研究室や企業など、国内外問わずその分野のエキスパートを僕が探してきて、共同研究を持ちかけるのです。
「その分野のトップカンファレンスでの発表を目指したい」、そんな話を突然持っていくわけですから、はじめの頃は相手にされませんでしたよ。でも学生たちが実績を着実に積み上げてくれたおかげで、「森島研となら論文が出せる。一緒にやりましょう」と言ってくれるところが増えてきました。実績は研究室の信頼につながります。学生たちには「森島研の将来がかかっている。コラボレーションするからには責任と覚悟を持て」と言い聞かせています。 外部とのコラボレーションが、研究に本気で真剣に取り組む環境づくりにもつながって、研究室はいい方向に進んでいると思います。
日本科学未来館との連携 AIスーツケースで視覚障害者をサポート
今、研究室の主なプロジェクトの一つになっているのは、視覚障害者の移動をアシストするスーツケース型ロボット「AIスーツケース」です。日本科学未来館とのコラボレーションで、館長の浅川智恵子さんとのつながりから関わることになったプロジェクトです。大阪・関西万博での実証実験を予定しています。
IBMフェローでもある浅川さんは全盲で、「AIスーツケース」は浅川さんご自身で開発を始めたプロジェクトだそうです。森島研ではスーツケースに搭載するソフトや機能の開発を担当しています。カメラやライダーセンサー、ChatGPTなどを搭載しているので、障害物をよけて安全に誘導するだけではなく、将来的にはウィンドウショッピングで目の前のお店がどんなお店か、売れ筋商品は何かなどをスーツケースが教えてくれるようになるかもしれません。
浅川さんとは、彼女が教授を務めるカーネギーメロン大学に留学した学生がいて、そのつながりで知り合いました。早稲田で2018年に講演をしてもらい、それ以来、研究をご一緒するようになりました。
東京工業大学小池研究室との連携 ブラインドスキーを一人で楽しむ
アクセシビリティつながりで、視覚障害者が一人でスキーを楽しむための共同研究もあります。東京工業大学の小池英樹先生と、かながわブラインドスキークラブとのコラボレーションです。
ブラインドスキーというのは、視覚障害のあるプレイヤーと、目の見えるパートナーが指示を出しながら一緒に滑るスポーツです。パラリンピック種目にもなっているのですが、時速100kmくらいで滑るんですよ。
研究の最終目標は、健常者の先導なしでプレイヤーが一人で滑ることです。プレイヤーの頭に装着した機器を通して、自動で指示を出す仕組みができないかと考えています。まだシミュレーターでの実験段階ですが、5Gの回線を使い遠隔で人が指示を出すという実験はうまく行くという報告がなされています。今後の課題はAIによる指示の自動化ですが、AIの処理が入ると当然そこで遅延が発生してしまいます。時速100kmの世界ですから、コンマ数秒遅れただけでも命取りです。かなりチャレンジングですが、実現すればパラリンピックの将来像も変わってくるでしょう。
東京大学葛岡研究室との連携 Eメールを要約＆返信作成
実務に役立つツールの開発もしていますよ。ヒューマンコンピュータインタラクションの研究をされている東京大学の葛岡英明先生との共同研究に、Eメールのやり取りをChatGPTを使って円滑化する試みがあります。長いメールって読むのが面倒ですよね。ChatGPTがメールを要約して、さらに返信の文面や、その修正候補なども自動生成してくれるのです。この研究は去年CHI[1]に論文が通りました。今度横浜で開催される会議で発表します。またBest Paper honorable mentionに選出されました。
産学連携 アニメーションや映像を自動生成
産学連携の事例としては、デジタル映像制作会社のオー・エル・エム・デジタルと行っている、アニメーション制作を自動化する研究があります。経済産業省の事業に採択されていますが、中割り画像の自動生成などいくつかのプロジェクトが同時進行する中で、森島研は彩色処理の自動化を担当しています。線画を元に色塗りを自動化するのです。
また、インターネット広告などを手掛けるサイバーエージェントとも、広告を自動生成するシステム開発で連携しています。例えば、ペットボトル飲料の広告で、俳優が手に持っている飲料が、顧客がお年寄りならお茶に、若者なら清涼飲料水という具合に、属性に合わせて自動的に変わるシステムを開発しています。それができれば、あらかじめ全部の飲み物を持ち替えて撮影する必要がなくなります。実用化には至っていませんが、2017年頃からかなり密にコラボレーションしています。
AIを研究に取り入れることの課題
研究には生成AIを使うことが多いのでしょうか。
2015年頃から、研究のプロセスにも生成AIを使うことが主流になりました。スタンスが大きく変化していて、教育としては悩みどころです。それまでは理論を積み上げ、アルゴリズムを組み立てて解を求めるという方法で仕組みがわかりやすかったのですが、生成AIの学習がベースになると、プロセス自体がブラックボックス化してしまうのです。
うまく結果が出たとしても、それは所詮ニューラルネットの組み合わせでしかない。うまくいけばトップカンファレンスで発表できる研究成果につながるかもしれませんが、解にいたるプロセスは試行錯誤を余儀なくされ、改善のビジョンが立ちにくいという特徴があります。今はChatGPTなどのAIツールがソースコードも簡単に生成してくれる時代ですから、かえって何を学べばいいのか迷いやすくなりました。原理を掴まえて、ひと足とびにその応用をプランニングする高度な力が求められるようになりました。AI時代の学生たちはちょっと気の毒だとも思います。
社会課題に接続したテーマをプラットフォームに
そんな中で、AIスーツケースなど、社会課題に直結しているような研究はアプローチがしやすいです。世の中に貢献できるようなテーマ設定を心がけているのはそういう理由もあります。アクセシビリティというテーマもそうですが、こういったテーマはやはり浅川さんのような方とのつながりがないと取り組みにくいテーマです。いわゆる誰でも着手できるレッドオーシャンではない、学生としてもやりがいあるテーマと思います。外部との連携による広がりは本当に重要です。
学部生から修士までだと3年、博士までだとさらに３年間、在籍しますが、その中でプロダクトが最終形態までたどりつかないことはあります。AIスーツケースも最終形態はまだ未知数です。ただ、僕らが担当しているのはガワではなく中の機能です。その都度、在学期間中に完結する目標設定をして、前の担当学生の成果をベースに次の学生がさらに実験を継続して成果を積み上げていくというスタンスです。実験のプラットフォームとして活用させてもらっている感覚ですね。
