「ロボットは東大に合格するのか」新井紀子

今回は、国立情報学研究所社会共有知研究センター長・教授である新井紀子氏による、「Can a robot pass a university entrance exam?（ロボットは大学入試に合格できるのか）」というTedトークスを紹介します。

東京都出身。一橋大学法学部およびイリノイ大学卒業、イリノイ大学大学院数学科修了。博士（理学）。専門は数理論理学。数学以外の主な仕事として、教育機関向けのコンテンツマネージメントシステムNetCommonsや、研究者情報システムresearchmapの研究開発がある。

2020年までにAIが一流大学の入試に通るようになるのか

AI時代に、人の仕事は機械に代替されるのでしょうか。新井氏は、AIと人間の持つ能力の違いとは何かを追求するために、「東ロボくん」プロジェクトを始めました。人間だけが教育を通してのみ獲得できるとされているスキルや専門的能力について、研究してみたかったからです。

今日はAIと私たちについてお話ししようと思います。コンピューターに奪われる仕事は、単純作業だけだから心配するには及ばないとAI研究者はいつも言っています。本当にそうなんでしょうか？

AI技術は新たな仕事も生むことになるので仕事を失った人は新しい仕事を見つけられるとも言います。そうでしょうけど、疑問なのは AIのせいで仕事を失う人のうち、新しい仕事を得られる人はどれくらいかということです。ことにAIが私たちの多くよりもうまく物事を学べるのだとしたら。

ひとつお聞きします。2020年までにAIが一流大学の入試に通るようになると思う人は、どれくらいいますか？結構いますね。「もちろんそうなる！」という人もいるでしょう。シンギュラリティ（技術的特異点）が今や問題なんだと。「碁ではすでにAIが名人に勝っているんだから、そうなるかも」と思う人もいるでしょう。そして「絶対無理」と言う人もいるでしょう。まだ答えは分かっていないということです。

私が「東ロボくん」プロジェクトを始めたのはそのためです。日本で最高峰の大学である東京大学の入試に通るAIを作ろうという試みです。これが東ロボくんです。もちろん頭脳部分は遠隔のサーバーで動いています。17世紀の海上貿易について、600語の小論文を書いているところです。そう聞いてどう感じますか？

私がAIのベンチマークとして入試を選んだ理由は、人間と比較したAIの能力を研究する必要があると思ったからです。人間だけが教育を通してのみ獲得できるとされているスキルや専門的能力については特にそうです。

東京大学に入るためには２種類の試験を受ける必要があります。１つ目は選択式の全国共通試験です。７科目の試験を受けて高得点を取る必要があります。そこでの正答率が84%以上でないと、東大が用意する記述式の２次試験を受けることはできません。

一問一答問題（ジェパディ問題）を、AIは理解せずにGoogle検索で正解する

簡単な一問一答問題を、AIはGoogle検索の結果から「検索」と「最適化」という統計処理を通して解答すると新井氏は説明します。

まず現在のAIがどのように動くのかをクイズ番組『ジェパディ！』への挑戦を例に説明しましょう。ジェパディの典型的な問題はこんな感じです。

「モーツァルトの最後の交響曲は “この惑星” と同じ名前である」

興味深いことに、ジェパディで問われる質問は、常に「この何々」という形をしています。「この惑星”」とか「この国」とか「このロック歌手」という具合に、言い換えるとジェパディでは様々な形式の質問がされるわけではなく、１つのタイプの問題— 一言で答えられる雑学が問われるんです。

ちなみにこの問題の答えは分かりますか？答えが分からなくて答えを知りたいというとき皆さんならどうしますか？ネットで検索しますよね、もちろん。

でも検索するキーワードを適切に選んでやる必要があります。「モーツァルト最後交響曲」というように、AIも基本的に同じことをします。そうするとこのウィキペディアのページが最初にヒットします。それからAIはその内容を読むのかというと….違います。

あいにく現在のAIはワトソンにせよSiriにせよ東ロボくんにせよ、読解はできません。でもAIは検索と最適化に優れています。AIはキーワード「モーツァルト」「最後」「交響曲」がこの辺りに沢山出てくることを認識します。だから惑星の名前であって、これらのキーワードと一緒に現れるものがあれば、それが答えに違いないと判断します。そうやってワトソンは「ジュピター(木星)」という答えを見つけるのです。

私たちの東ロボくんも同じように動作しますが、歴史の正誤問題を解くためにもう少し賢くしました。「“カール大帝はマジャール人を撃退した” という文は正しいか？」という問題なら東ロボくんはそれをまず穴埋め問題に変えます。「カール大帝は (この人々を) 撃退した」そうすると「マジャール人」ではなく「アバール人」が上位に来るので、この文はどうも正しくないようだと分かります。私たちのロボットは読まないし、理解しませんが、多くの場合統計的に正しいのです。

歴史の記述問題は、教科書とWikipediaから自動文章作成

さらに、人間でしか書けないように思える歴史の記述問題もも、膨大な教科書とウィキペディアの内容を組み合わせ、さらに最適化することで、たいていの学生よりも質の高い小論文を作ることに成功しました。

記述式の２次試験ではこんな感じの600語の小論文を書く必要があります。
[17世紀の東アジアと東南アジアにおける海上貿易の盛衰について600語で述べよ･･･]

先ほどお見せしたように、私たちのロボットは教科書やウィキペディアから文を取り出し組み合わせ、最適化して小論文を作ります。何ひとつ理解もしないで (笑) でも驚いたことに、ロボットの小論文はたいていの学生のものより出来が良かったんです (笑)

AIは、高校数学レベルと、東大2次試験の数学レベルをらくらくクリアした

さらに、AIは、高校数学レベルと、東大二次試験の記述式数学問題に解答することに成功しました。そして、東大二次試験にいたっては合格者のうち上位1%に入ることができました。

数学はどうでしょう？数学の問題を解く、完全自動の機械というのは「人工知能」という言葉が生まれたとき以来の夢でしたが、非常に長い間算数のレベルに留まっていました。

去年私たちはついに高校レベルの数学の問題を最初から最後まで解けるシステムの開発に成功しました。たとえばこんな問題です。これは日本語で書かれた元の問題です。自然言語で記述された問題を入力できるようにするために、２千の数学公理と、８千の日本語の単語を教える必要がありました。これは元の問題を機械にわかる式に変換しているところです。奇妙なものですがこれで解くための準備ができました。では解きましょう。

今記号処理をしているところです。ますます奇妙になっていますが、たぶん機械にとってはここが一番楽しいところなんでしょう (笑) 完全な解答が出力されています。もっともこの証明は数学者でも読めないような代物です。何にせよ、去年私たちのロボットは記述式の２次試験の数学で上位１％に入りました (拍手) ありがとうございます。

しかし、東大入試ロボットは東大には入れなかった

これだけの成績を出しても、東大入試ロボットは東大には入れませんでした。それは結局、AIは文章を理解できておらず、統計処理により、そうできるかのように見せかけているのにすぎないからなのです。

では東大に入れたのでしょうか？いいえ、私の期待に反して入れませんでした。なぜなのでしょう？意味をまったく理解していないからです。英語のテストでロボットがする典型的な間違いの例をお見せしましょう。２人の会話の穴埋め問題です

A君：本屋はもうすぐだよ。あと少し歩くだけ。
B君待って、( ＿＿＿ )。
A君ありがとう、いつもなんだ。
B君：５分前にも靴、結んでたよね？
——–
選択肢 ① だいぶ歩いたね。② もうすぐだね。 ③ 高そうな靴だね。④ 靴紐がほどけてるよ。

状況を理解できる私たちにとっては④番が正解なのは明らかですよね？でも東ロボくんは ②番を選びました。ディープラーニングの技術を使って150億個の英文を学んだ後でです。私の言ったことがお分かりになったでしょう。現在のAIは読めないし、理解できないのです。そうできるかのように見せかけているだけです。

東大入試ロボットは、日本の6割の大学に合格できる

東大に入れなくても現時点でAIは、日本の6割の大学に合格する能力があります。まったく文章を読めず、理解もできないのにもかかわらずです。

これは東ロボくんと同じ試験を受けた50万人の学生の点数の分布です。現在、私たちのロボットは上位20%以内にいて日本の６割以上の大学に合格できます。東大は無理ですが。でもホワイトカラーになる人々の大部分より上にいることに注目してください。この結果に私が喜んだとお思いでしょう。なにしろ私たちのロボットが多くの学生を超えたんですから。私はむしろ懸念を抱きました。どうしてこの知性を欠いた機械が、人間の学生を、私たちの子供たちを凌駕できたのでしょう？

人間の世界で何が起きているのか調べることにしました。中高の教科書から、文を数百個取り出し、簡単な選択式問題を作って数千人の中高生に答えてもらいました。これが問題の例です

[主として仏教は東南アジアや東アジアに、キリスト教はヨーロッパ、南北アメリカ、オセアニアに、イスラム教は北アフリカ、西アジア、中央アジア、東南アジアに広まっている]

[問. ( ＿＿＿ ) はオセアニアに広まりました。
選択肢 ① ヒンドゥー教 ② キリスト教 ③ イスラム教 ④ 仏教]

もちろん元の問題は生徒達の母国語である日本語で記述されています。答えは当然キリスト教ですよね？問題文に書いてあります！東ロボくんも正しい答えを選びました。でも中学生の３分の１はこの問題で間違ったのです。これは日本だけの話なのでしょうか？そうは思いません。「OECD生徒の学習到達度調査」で日本はいつも上位に付けているからです。３年ごとに、各国の15歳の生徒の数学・科学・国語の能力を測っているテストです。

能力を伸ばせるような優れた教材が、ウェブで無料公開され、インターネットで見られるようになっていれば、誰でも良く学べるはずだと私たちはそう信じてきました。でもそのような素晴らしい教材も、恩恵を受けられるのはちゃんと読める子だけで、そしてちゃんと読める子の割合は私たちが思っているよりずっと少ないのかもしれません。