自己紹介

東京大学情報理工学系研究科知能機械情報学専攻修士課程１年の田中康太郎です。原田・長・椋田研究室でコンピューターによるマルチモーダルなユーモアの理解に関する研究を行っています。

プレゼンの概要

本研究で取り扱うミーム（ボケて）は画像とキャプションで構成されるユーモラスなコンテンツです。ミームは重要なオンラインコミュニケーション手段となっています。そのため、今後人間とコミュニケーションをとりながら協業するロボットを作るとき、人間が作成したミームの面白さを理解したり、面白いミームを作成したりすることが必要となります。しかし、現状の技術ではミームの面白さを機械が理解することはできず、ミームに対して適切な反応をすることはできません。人間同士のような円滑なコミュニケーションを人間とロボットの間で実現するには、ミームの面白さを理解できるようにする必要があります。
機械にミームを理解させるにはいくつかの難しさがあります。そのうちの一つは「ユーモアの感じ方は事前知識や価値観などに左右されるため、個人差がある」ということです。そのため、ミームに対して面白さ度合いを評価したデータセットを作成したとしても、評価に個人差が生じるため、一貫性のあるアノテーションが得られないという問題があります。
もう一つの難しさとして、「画像とキャプション間の意味的な不適合を理解する必要がある」ということです。例えば、図1のミームでは画像は厳つい顔をしている男性を描いている反面、キャプションでは食事をSNSに投稿する人をからかう些細な内容となっています。このような画像とキャプション間の不適合がミームの面白さの重要な要素であることが既存研究よりわかっています。そのため、コンピューターがミームのユーモアを理解するためには画像とキャプション間不適合を学習する必要があります。

私の研究では以上の２つの課題を解決するため、一貫性のあるミームデータセットを作成し、画像とキャプション間の意味的な関係性を明示的に考慮するミームのユーモア評価器を考案しました。
まず、一貫性のある新たなミームデータセットは図2の手順で作成されました。⑤のRefinement processでは、アノテーター間での評価一致度を計算し、評価一致度の高いアノテーションのみを抽出することで一貫性のあるミームデータセットを実現しました。

次に、作成したデータセットを用いて画像とキャプション間の不適合を学習させる工夫を考案しました。今回考案した「不適合抽出モジュール」はCLIPと呼ばれる画像と言語を意味的な関係性を保持しながら同一特徴空間上に射影できる既存の特徴抽出器の出力を用いています。図3のように、この出力を加工してニューラルネットワークに入力し、入力されたミームが面白いか面白くないかを教師あり学習を用いて学習させることで画像とキャプション間の意味的な関係性を明示的に考慮したミームのユーモア評価器を実現しました。

ミームのユーモアを評価する実験を行った結果、図4のように考案した「不適合抽出モジュール」は比較手法の性能を上回ることがわかりました。一方で二値分類タスクであるにも関わらず、正解率が60％弱と低いことから、ミームのユーモアを評価するタスクの難しさがわかりました。

プレゼンの工夫

プレゼンコンペのテーマが「私の研究が未来を変える」であったため、どのように自分の研究テーマが将来の社会で役にたつ可能性があるかについてイメージを持っていただけるよう努力をしました。例えばミームを理解できるロボットが実現した場合、ロボットと人間の間でどのようなコミュニケーションが可能になるのかを実例を用いて説明しました。タスクの難しさからまだまだ実社会に導入できる技術にはなっていませんが、今後の研究でも何が実現できたら実社会へインパクトを与えられるのかを常に意識していきたいです。

受賞・参加の感想

この度はCorpy&Co.賞に選んでいただき、誠にありがとうございます。私の研究テーマであるコンピューターによるユーモアの理解は現状のAI技術では難しいタスクで、短期的に見るとどのように実社会で役に立つかが分かりにくいです。一方、ユーモアには誤情報の拡散を防いだり、人間関係を円滑にしたりする効果があり、機械がユーモアを理解したり生成したりすることには大きな価値があると考えています。今回のプレゼンでユーモアを機械に理解させるタスクの重要さと面白さを評価いただき、大変嬉しく思っております。また、審査員の方々やプレゼンコンペに参加された方々から大変貴重なフィードバックや質問をいただき、大変勉強になりました。今後の研究に最大限活かして参ります。