人間が文章を書かない時代が到来する!?【日本語特化AIエンジン・ELYZAがもたらす未来とはその2】

堀江貴文氏は、株式会社イライザ代表取締役CEO・曽根岡侑也氏から、現段階でのAIの自然言語処理レベルや応用事例、今後の展望について話を聞いた。

AIによる自然言語処理技術の進化とは

堀江　 BERT（2018年10月にできたAIによる自然言語処理の技術）以前とBERT以後では何が違ったんですか？

曽根岡　一番の変化はパラメータ数（情報量）が増えたということす。これまでは、例えば、我々が韓国語がわからない状態で「韓国語の大学の入試の過去問題を1万問渡すから勉強してね」と言われていたような感じでした。でも、さすがに「それでは解けないだろう」ということで、事前学習をさせました。Wikipediaみたいな情報で「韓国語はどうなっているのか」ということを勉強させてから、韓国の大学入試の過去問題を解いていくという二段階構造にしたんです。これが、一番、革新的な部分だと思います。

堀江　パラメータ数が増えるというのは、具体的にはどんな感じなんですか？

曽根岡　これも例え話になってしまいますが、簡単にいうと脳の大きさみたいなものです。ネズミの脳と、猿の脳と、人間の脳の違いです。

堀江　これまではネズミの脳くらいのものしか作れなかったけれども、BERT以後は人間の脳くらいまで大きくなった。だから、スケールできたということですね。

曽根岡　そのとおりです。

堀江　事前学習とは？

曽根岡　やっていることは、穴埋め問題です。例えば「今日は空模様が怪しいので〇〇を持っていった」という文章の○○には何が入るのかといった問題を解かせます。

堀江　そこで「傘」が出てくるかどうかということですね。

曽根岡　そうです。このような問題をひたすら解いていく。すると、この文脈だとこういう言葉が出てくるはずだということがわかってきて、文章を理解できるようになるんです。

堀江　人間がドリルを解くようなもんだ。

曽根岡　そうですね。

堀江　BERTはそうやって学習していったと。

曽根岡　はい。

この続きは『WISS』で全文ご覧いただけます。購読はコチラ

その3へ続く

曽根岡侑也

株式会社イライザ代表取締役CEO。1990年、東京都生まれ。2013年に東京大学工学部卒業し、2017年、東京大学大学院工学系研究科修士課程修了。2018年に「株式会社イライザ」を設立。2020年には、株式会社松尾研究所取締役に就任。