ディープラーニングを、今一度、考えよう

ディープラーニングを、今一度、考えよう

1.       序

今回のAIブームが、第一次AIブームや第二次AIブームとの違いは何であろうか?

筆者は、その違いを

–        人手を要しない自律的な機械学習 = ディープラーニング (図1-1参照)

–        答えを出すためのルールをデータ解析で算出する機械学習 (図1-2参照)

と考えています。

では、ディープラーニングとは何であろうか?

今回は、ディープラーニングとは何かを探りつつ、今回のAIブームと今後の展開について考えてみたい。

出典：富士通総研

図1-1- 人工知能～機械学習～ニューラルネットワーク～Deep Learning

出典：ITメディア

図1-2- ルールベースと機械学習

2.       ディープラーニングとは何?

2.1. 概論

まずは、機械学習の概要を知るため、その定義・アリゴリズム・技法・応用分野を紹介します。

1959年、アメリカの計算機科学者であるアーサー・リー・サミュエルは、機械学習を「明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」と定義しました。

又、AI研究の重鎮であるトム・M・ミッチェルは「コンピュータプログラムが、ある種のタスクTと評価尺度Pにおいて、経験Eから学習するとは、タスクTにおけるその性能をPによって評価した際に、経験Eによってそれが改善されている場合である」と機械学習を定義しました。

前回の記事、「AIチップ (機械学習チップ)はどこから来て、どこへ行く?」との関連で記述するとしたら、新たなデータを入力される事で分類器に乗せる学習済モデルを自律的に更新できる学習器が、今回のブームでのAIとなります。

機械学習のアルゴリズムの代表的事例を以下に示します。

–        教師あり学習

• 入力とそれに対応すべき出力（ラベルとも呼ばれる）を写像する関数を生成する。例えば、分類問題では入力ベクトルと出力に対応する分類で示される例を与えられ、それらを写像する関数を近似的に求める。

–        教師なし学習

• 入力のみ（ラベルなしの例）からモデルを構築する。データマイニングも参照。

–        半教師あり学習（英語版）

• ラベルありの例とラベルなしの例をどちらも扱えるようにしたもので、それによって近似関数または分類器を生成する。

–        強化学習

• 周囲の環境を観測することでどう行動すべきかを学習する。行動によって必ず環境に影響を及ぼし、環境から報酬という形でフィードバックを得ることで学習アルゴリズムのガイドとする。例えばQ学習がある。

–        トランスダクション

• 観測された具体例から具体的かつ固定の例の新たな出力を予測しようとする。

–        マルチタスク学習

• 関連する複数の問題について同時に学習させ主要な問題の予測精度を向上させる

次に、機械学習の技法の代表的事例を以下に示します。

–          決定木学習

• 決定木を予測モデルとして使用した学習であり、アイテムについての観測をそのアイテムの目標値についての結論とマッピングする。

–          相関ルール学習

• 大規模データベースにおける変数間の興味深い関係を発見するための技法。

–          ニューラルネットワーク (NN) (図2-1参照)

• 人工ニューラルネットワーク (ANN) とも呼ばれ、生物の神経ネットワークの構造と機能を模倣するという観点から生まれた学習アルゴリズムである。人工神経を相互接続したもので計算を構造化し、コネクショニズム的計算技法で情報を処理する。現代的ニューラルネットワークは非線形な統計的データモデリングツールである。入力と出力の間の複雑な関係をモデル化するのに使われ、データのパターン認識や観測された変数間の未知の同時分布における統計的構造を捉えるなどの用途がある。

出典：東京エレクトロン

図2-1- 深層学習に用いる「多層ニューラルネットワーク」の基本構成 (丸をニューロン、矢印をシナプスと呼ぶ)

–          遺伝的プログラミング (GP)

• 生物の進化を模倣した進化的アルゴリズムに基づく技法。所定のタスクを実行する能力によって適応度地形を決定し、それによってコンピュータプログラムを最適化させていく機械学習技法。

–          帰納論理プログラミング(ILP)

• 例、背景知識、仮説を一様な表現とし、論理プログラミングを使って学習を規則化する技法

–          サポートベクターマシン (SVM)

• 分類や回帰に使われる一連の教師あり学習技法である。訓練アルゴリズムによってモデルを構築し、新たな例がどちらに分類されるかを予測する。

–          クラスタリング

• 観測された例をクラスタと呼ばれる部分集合に振り分けるもので、振り分けは事前に指示された基準に従って行う。クラスタリングは教師なし学習技法であり、統計的データ解析でよく使われる。

–          ベイジアンネットワーク

• 確率変数群とそれらの条件付き独立性を有向非巡回グラフで表した確率論的グラフィカルモデルである。例えば、病気と症状の関係を確率的に表すことができる。

–          強化学習

• 「エージェント」が「環境」の中でとるべき「行動」の「方針」を、何らかの長期的「報酬」を最大化するよう決定する。

–          エクストリーム・ラーニング・マシン (ELM)

• 1層もしくは複数の隠れ層を有する順伝播型ニューラルネットワークであり，分類や回帰，クラスタリングへ適用できる。

最後、機械学習の代表的な応用分野を以下に示します。

–          音声認識

–          手書き文字認識

–          物体認識

–          検索エンジン

–          情報検索

–          レコメンダシステム

–          自然言語処理

–          統語的パターン認識

–          （人工知能による）診断

–          クレジットカード詐欺 の検出

–          証券市場分析

–          塩基配列の分類

–          ストラテジーゲームのゲームプレイ

–          感情分析（意見マイニング）

2.2  第三次AIブームとディープラーニング

2012年、以下二つの事でディープラーニングが機械学習において有効であることが実証されました。

–          ディープラーニングにより物体認識エラー率が26%から17%に劇的に改善 (ILSVRC)

–          Googleが「猫を認識できるコンピュータ」の開発に成功と発表。

前節で定義した分類に従うと、Googleが開発したAIは

–          アルゴリズムは「教師無し学習」

–          技法は「多層ニューラルネットワーク」- ディープラーニング

–          応用分野は「物体認識」

となります。これを図に示すと下図のようになります。

出典：筆者

図2-2- Googleが開発した猫検出コンピュータの構成 (推測)

野村総研も述べているが (図2-3参照)、これまでのAIブームと今回のAIブームの違いは、特徴量抽出そのものが、深層ニューラルネットワークを利用したAutoEncoderでなされるようになってきた事です。

即ち、判断基準の作成をコンピュータが自分でできるようになった事が、今までのブームとの決定的な違いとなる。

出典：NRI

図2-3- 従来の機械学習とディープラーニングの違い

2.3  ディープラーニングの限界

人工知能はディープラーニングにより学習機能を獲得したが、まだまだ、多くの不可能を持っています。

例えば、ニューヨーク大学の心理学者であるゲイリー・マーカス教授はディープラーニングにできないことを以下のように述べています。

–          Closed Endな環境ではディープラーニングは有効だが、Open Endは苦手である。

・    ディープラーニングは、答が一意的に決まっている質問は得意だが、答が一意的に決まっていない質問には答えられない

・    ルールが安定した世界が前提

–          今のディープラーニングは”浅い(理解しかできない)”ため、応用に限界がある

・    ディープラーニングには、自然に階層構造を扱う方法がない

・    ディープラーニングは前提となる知識とうまく統合できない

・    ディープラーニングは因果関係と相関を区別できない

ディープラーニングは図1-1で示したように、1:Nの写像マッピングの集合と階層化ですから、このような限界を持っています。

その意味において、実は、物体認識・音声認識はディープラーニングにとって適切な応用分野であったのです。

人間は多彩な活動をしており、ディープラーニングで代替できる活動もあれば、代替できない活動もあります。代替できない活動にはディープラーニング以外のアルゴリズムが求められる事になるのでしょう。

3       終わりに

ディープラーニングをきっかけにした第三次AIブームの事をここまで見てきました。次は何がくるのでしょうか？

「誤解だらけの人工知能」という書籍に、以下の逸話が紹介されています。

第二次大戦中、爆撃機の装甲強化の優先順位を調べるため、帰還してきた爆撃機の破損状況を調べた結果、下図のことが分かった (図3-1)。この結果を元にして、装甲強化の優先順位は、コクピットと尾翼としたそうです。なぜならば、コクピットや尾翼に損害を受けた爆撃機は帰還していないから。

あってしかるべきデータが無いことから全体像を推し量って、必要な対策を導き出す。

出典：「誤解だらけの人工知能」

図3-1 爆撃機が受けた損害箇所

「誤解だらけの人工知能」の中で、「本来あるべきデータの欠如からある種の仮説を立てる能力をAIが持つ」ことで、第四次AIブームが来ると、田中氏は予測しています。

これまで、AIは

–          人工知能 = 推論と探索：                     第一次AIブーム (1960年代)

–          人工知能 = エキスパートシステム：   第二次AIブーム (1980年代)

–          人工知能 = ディープラーニング：      第三次AIブーム (2010年代)

という発展を遂げ、人間の知的活動の代替となってきました。

そして、AIは、全てが既知である世界で答えが一意的に決まるような質問には答えをだせるようになりました。

今後は

–          本来ならばあるべきデータが無いことを切り口にして答えを出すAI

–          答えが複数ある場合、一意的な答えがない場合に、その形態も含めて答えを出すことができるAI、

–          答えを出すために必要な前提条件を要求できるAI

が求められていくと思われます。

それは、アルゴリズムとしても、技法としても、今とは違ったものになるのでしょう。

そして、用途にあわせて最適なアルゴリズム・技法の組合せが考案され、製品化されていくと思われます。

筆者：株式会社データリソース客員研究員　鈴木浩之 (ICTラボラトリー代表)

——————————————————————————————————————–

データリソース社が推奨する市場調査レポート

–          コグニティブメディア市場：技術毎（深層学習、機械学習、自然言語処理）、用途毎（コンテンツ管理、ネットワーク最適化、予測解析）、ソリューション・サービス毎、採用毎、企業規模毎、地域毎　-　2023年までの世界市場予測

• 調査会社：MarketsandMarkets                  発行年月：2018年8月

–          情報通信技術の人工知能（AI）：通信、アプリケーション、コンテンツ、商取引のAIとコグニティブコンピューティング　2018-2023年

• 調査会社：Mind Commerce                        発行年月：2018年8月

–          【分析レポート：アプリケーション】マシンビジョンと人工知能への影響

• 調査会社：ABI Research                             発行年月：2018年7月

–          エンタープライズ向け高性能コンピューティング：従来型とAIベースのHPC：コンピューティング、ストレージ、ソフトウェア、サービス：市場分析と予測

• 調査会社：Tractica                                      発行年月：2018年5月

–          世界のニューラルネットワークソフトウェア市場：タイプ別、用途別、エンドユーザ別、地域別：成長性、動向、予測 (2018 – 2023)

• 調査会社：Mordor Intelligence                  発行年月：2018年4月