この記事は、2015年に「角川EPUB選書」より出版された、松尾豊先生の著書、「人工知能は人間を超えるか ディープラーニングの先にあるもの」の要約の中編になります。※前編を先にご覧いただくことを推奨します。
前編はこちら👉https://www.obgyneng.com/人工知能は人間を超えるか ディープラーニング/
今回は、第4章・第5章の機械学習、ディープラーニングについての要約です。松尾先生の文章は非常にドラマチックで、楽しい内容となっています。
第４章：「機械学習」の静かな広がりー第３次AIブーム①
第2次AIブームの振り返り
「知識」をたくさん入れることでそれらしい振る舞いにできたが、基本的に入力した知識以上のことはできず、さらに知識は膨大で書き終わらない、根本的には記号とその意味内容が結びついておらず、コンピュータで「意味」を扱うことは極めて難しいということがわかりました。
>第2次AIブームの詳細を確認する
そうした閉塞感のなかで「機械学習」の技術が進んできました。それに伴い「統計的自然言語処理」のという領域も進展しました。
1990年ウェブに初めてページができました。ウェブページのテキストを扱うことで、データの量が急速に増加し、自然言語処理と機械学習の研究が発展しました。それに伴い、統計的自然言語処理という領域が急速に進展しました。
統計的自然言語処理とは、たとえば翻訳時に、文法構造や意味構造を考えるのではなく、機械的に訳される確率が高いものを当てはめていくという考え方です。Googleは統計的自然言語処理の権化のような企業です。
※ 自然言語処理：コンピュータが人間の言語を理解・解析・処理する技術
※ 機械械学習：人工知能のプログラム自身が学習する仕組み
「学習」の根幹を成すのは「分ける」ことです。人間にとっての「認識」や「判断」は「イエス・ノー問題」と言えます。機械学習は、コンピュータが大量のデータを処理しながら「分け方」を自動的に習得します。
機械学習は、大きく「教師あり学習」と「教師なし学習」に分けられます。
- 教師あり学習：人間が正しい分け方を教える
- 教師なし学習：入力用のデータのみを与え、データの中の一定のルールやパターンを抽出
教師なし学習では、全体のデータを、ある共通項を持つクラスタに分けたり（クラスタリング）、頻出的なパターンを見つけたりすることが代表的な処理です。
分け方には、さまざまな方法があります。
例として、最近傍法、ナイーブベイズ法（ベイズの定理の利用）、決定木、サポートベクターマシン、ニューラルネットワーク（人間の脳神経回路の真似）が挙げられています。
その分け方の一つとして、人間の脳神経回路の真似をして分けようという、ニューラルネットワークについて掘り下げます。
人間の脳はニューロン（神経細胞）のネットワークで構成されています。あるニューロンは他のニューロンから電気刺激を受け取り、その電気が閾値を超えると発火して次のニューロンに電気刺激を伝えます。これを数学的に表現すると、あるニューロンからの入力値になんらかの重みづけをし足し合わせて出力、それが閾値を超えているかで分けるということです。その分け方を間違えるたびに重みづけの調整を繰り返して認識の精度をあげる学習法の代表的なものが「誤差逆伝播」です。
この学習には時間がかかりますが予測は一瞬です。余談として、人間社会でも高齢化が進む中で老人の知恵を生かすことは重要ということが書かれています。
機械学習により「分け方」をコンピュータが見つけることで、未知のものを判断・識別・予測することができますが、機械学習にも弱点がありました。
その機械学習における難問が「特徴量設計」です。
機械学習の精度を上げるには「どんな特徴量を入れるか」にかかっていますが、それは人間が頭を使って考えるしかありませんでした。
ここで、「なぜいままで人工知能が実現しなかったのか」をここまで述べてきたことも含めてまとめます。
- 知識を書ききれない
- タスクを行うのに使う知識を見極められない（フレーム問題）
- シマウマが「🦓（シマシマのあるウマ）」であることを理解できない（シンボルグラウンディング問題）
- 機械学習では、特徴量は人間が決めなければならない
これらの問題は全て「『世界からどの特徴に注目して情報を取り出すべきか』に関して、人間の手を借りなければならないということ」に帰着します。コンピュータが概念を自ら獲得できないことが問題なのです。
ところが今、コンピュータは与えられたデータから重要な「特徴量」を生成できるようになりつつあります。
次章はいよいよ、人工知能の50年来のブレークスルー「ディープラーニング」についてです。
第５章：静寂を破る「ディープラーニング」ー第３次AIブーム②
2012年、人工知能研究の世界に衝撃が走りました。
世界的な画像認識のコンペティション「ILSVRC」で有名な研究機関が開発した人工知能を抑えて初参加のトロント大学のSuper Visionが圧勝したのです。勝因は新しい機械学習の方法「深層学習（ディープラーニング）」でした。
ディープラーニングは、データを元にコンピュータが自ら特徴量を作り出します。
第2〜4章で説明された人工知能の主要な成果は、人工知能の黎明期（1956年から最初の10年、20年の間）にできています。その後のいくつかの大きな発明はマイナーチェンジに過ぎませんでした。ディープラーニングに代表される「特徴表現学習」は、黎明期の革新的な発明・発見に匹敵する大発明なのです。
ディープラーニングは通常「表現学習」の一つとされますが、本書では「表現」という言葉をわかりやすくするため「特徴表現学習」と呼んでいます。
2012年の衝撃的なコンペティション以来、ディープラーニングはちょっとしたバブル状態になっており、人工知能に巨額の投資がされています。
ディープラーニングは多階層のニューラルネットワークです。人間の脳は何層にも重なった構造をしています。
ニューラルネットワークの研究の初期の頃から、深い層のニューラルネットワークを作る試みは行われていましたが、精度が上がりませんでした。深い層だと誤差逆伝播が下の方まで届かなかったためです。
ディープラーニングはその多層のニューラルネットワークを実現しました。従来の機械学習と異なる点は以下の2つです。
- 1層ずつ階層ごとに学習していく
- 自己符号化器（オートエンコーダ）という「情報圧縮機」を用いる
自己符号化器では入力と出力を同じにします。そうすることで隠れ層に特徴を表すものが自然に生成され、復元エラーが最小になるように重みづけが修正されます。マーケティングの世界でよく使われる主成分分析と同じです。
ディープラーニングではさらにこの作業を1段、もう1段と重ねていきます。2段目の隠れ層には、1段目の隠れ層で得られたものが組み合わさったものが出てくるため、さらに高次の特徴量が得られます。こうして生成された高次の特徴量を使って表される概念を取り出します。コンピュータが概念（シニフィエ）を自力で作り出せれば、記号表現（シニファン）を当てはめるだけで、コンピュータはシニファンとシニフィエが組み合わさったものとして記号を習得します。
データから概念を作り出すのは本来「教師なし学習」ですが、自己符号化器は本来なら教師が与える正解に当たる部分に元のデータを入れることで、入力したデータ自身を予測、様々な特徴量を生成します（つまり「教師あり学習」で「教師なし学習」をやっていることになります）。さらに最後に正解ラベルを与えるときは「教師あり学習」なので、「教師あり学習的な方法による教師なし学習」で特徴量を作り、最後に何か分類させたいときは「教師あり学習」になります。
実は、ディープラーニングの「主成分分析を非線形にし多段にする」という考え方自体は昔からありました。
「ノイズ」を加えることで頑健性を高めるという方法がわかっておらず実現できていなかったのです。少し違うデータを用いて計算しても一致すればそれはより頑健なものになります。そのほか、ニューロンの一部を欠落させるなど「過酷な環境」を設定することで「本質的な特徴量」を獲得することができるようになりました。
ここで一度、基本テーゼに回帰します。
第1章で述べられたように、「人間の知能はプログラムで実現できないはずはない」のですが、それが長年実現できなかったのは、コンピュータが概念を獲得できず、記号を「概念と記号表記がセットになったもの」として扱ってこなかったためです。
そのため、現実世界の中から「何を特徴表現とするか」はすべて人間が決めてきました。
しかし、ディープラーニングの登場により、「データを元に何を特徴表現すべきか」をコンピュータが自動的に獲得できるようになりました。その特徴量を使って表される概念を獲得し、その概念を使って知識を記述するという人工知能最大の難関に道が示されました。
中編まとめ
以上が、「人工知能は人間を超えるか ディープラーニングの先にあるもの」の要約の中編になります。
人工知能について全くの素人が読んでも非常にわかりやすい本です。気になった方はぜひ原文をご一読ください。
後編では、人工知能の展望と産業・社会に与える影響について要約していきます。松尾先生が本著に込める思いの詰まったメッセージ性のある内容となっています。
一つの記事で完結する予定でしたが、想定よりも長くなってしまいましたので、前編・中編・後編に分けることとしました。引き続きお付き合い頂けますと幸いです。
