人口知能AIのディープラーニングってナンだ?専門家の見解で物議「なるほどよくわからん」「ある種の統計処理なだけ」「AIが導く回答を人間が説明できない」 2ch人工知能まとめ
2ちゃんねるまとめっと座禅 / IT・テクノロジー / なんJ・VIPまとめ / ようつべ動画まとめ / トレンド / ニュース速報 / ニュース速報まとめ / ライフスタイル / ライフハック / 人生と哲学 / 仕事とビジネス / 哲学 / 国際・海外 / 学問 / 宇宙 / 政治・社会 / 文化・サブカル / 生物学 / 社会学 / 経済・ビジネス / 軍事 / 雑談スレまとめ / 面白ネタまとめ
ディープラーニング
ディープラーニングまたは深層学習(しんそうがくしゅう、英: deep learning)とは、(狭義には4層以上[1][注釈 1]の)多層のニューラルネットワーク(ディープニューラルネットワーク、英: deep neural network; DNN)による機械学習手法である[2]。深層学習登場以前、4層以上の深層ニューラルネットは、局所最適解や勾配消失などの技術的な問題によって十分学習させられず、性能も芳しくなかった。
しかし、近年、ヒントンらによる多層ニューラルネットワークの学習の研究や、学習に必要な計算機の能力向上、および、Webの発達による訓練データ調達の容易化によって、十分学習させられるようになった。その結果、音声・画像・自然言語を対象とする問題に対し、他の手法を圧倒する高い性能を示し[3]、2010年代に普及した[4]。
人間の脳の構造を模した機械学習における最初の手法であるパーセプトロンが考案されたのは1957年であるが、マシンスペックの大幅な不足や、排他的論理和の認識ができないなどの欠点が露呈したため、研究が大きく続けられることはなかった[7]。
長らく冬の時代が続いていたニューラルネットワークであるが、2006年にジェフリー・ヒントンによってスタックドオートエンコーダなど多層にネットワークを積み重ねる手法が提唱され、さらに2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いるトロント大学のチームがディープラーニングによって従来の手法(エラー率26%)に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。
ディープラーニングは物体認識を中心にさまざまな分野で活用されている。また、Googleをはじめとした多くのIT企業が研究開発に力を入れている。また、自動運転車の障害物センサーにも使われている[15]
引用・出典:
Wikipedia – ディープラーニング
「ディープラーニングは最小二乗法」で物議 東大・松尾豊氏「深い関数の方が重要」
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング=最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。
日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング(深層学習)は、原理的には単純な最小二乗法(誤差を最小にする近似計算の一手法)にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
(引用:2月18日付 日本経済新聞 電子版 記事より)
最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは(階層的に)『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。
続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること(略)深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。
松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。
引用・出典:
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている(かもしれない)知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
— 松尾 豊 (@ymatsuo) 2019年2月20日
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
翻って、「深い関数」という意味や、それがもたらす可能性を、(専門家の人も含め)どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
— 松尾 豊 (@ymatsuo) 2019年2月20日
複雑に説明しようとする専門家たち
簡単に説明したつもりで、大事な所を省いて、結果間違ってたら、
そりゃ誤りを正すのも専門家の仕事だろ。
平面上に線を一本引いて、それより上なら「A」、それより下なら「B」
入力と出力のデータをたくさん食わせて、直線の位置をどこにするのが
一番正しく判定できるか調べる
一番性能がよくなる直線がわかったところ=学習が終わったAIデータ
あとはそれをより複雑なデータとか高い次元でやる
そんなところだろ
それ見れば、最小二乗法で無いことは分かるだろう
学習原理により情報を最適化する部分については、何の反論もできていないのに
なにをシッタカしているのか?
基本的なテンソル演算での技術基盤は共通だ。
>ディープラーニングの深い関数
最小二乗法×最小二乗法×最小二乗法・・・・
になるよ
最小二乗法を3層重ね合わせれば文字認識までたどり着ける
ここまでは旧来の人工知能
ディープラーニングは3層のうちの中間層をさらに増やしたもの
こうするとただ認識するだけじゃなくあたかも自分で考えてるかのような反応が見られるようになる
なるほど分かってないけどなんか分かった気分になれたわ
個人的には、考えているような反応というか、高度な判別ができる程度かと思う。
人間の思考に相当する部分は、どうやって実現するかまだ不明なんでは。
碁や将棋の件があるけれど、あれはDNNを使って人間でいう勘を究極に高め、勘で導いた一手を膨大な計算量で評価するプログラムをつくったら、人間の思考に勝ってしまったという事例で、思考の再現とは違うと思う。
晩飯食ったか。
こんな場所でチューリングテストかよ!
生命、宇宙、そして万物についての究極の疑問の答えは?
ちょっと何言ってるか分からない
>>4
政治家はともかく経営者は、担当者がそれを適切に説明できる程度に理解してるのかどうかを見極めなきゃダメじゃね?
日本でAIの研究が一向に進まないのは自我を持った人型の機械という空想上の人工物のせいだからね
松尾先生Eテレ見てます
それがどういう方面に応用できるか
だけでいいんだよ。
原理なんてわかったって連中には意味がない。
数学的理解がないからこそ
マトリックスなどの反乱といった頓珍漢な妄想を抱くことになるのだが
経営者は兎も角政治家に何かを求めるのが間違い
何に応用出来るのかまで示すのが真の
SF的な意味でのAIの事なら、今現代で言われているAIとは全くの別物と言って差し支えないよ
ただAIって言葉を使いたいがために定義がどんどん変わっていってるのが現状
本来的な人工知能ではないな
まあ本来は、変換辞書の学習アルゴリズムみたいなもんだからや
型をずっとやってたら最後には祈るようになったようなもんでしょ
ニュアンスとしては間違ってなさそう
ある種の統計処理みたいなものであって
まだまだ高度な知能とはいえない
高度な知能ではないけど囲碁とかボードゲームなら有効に機能する
人間の脳みそも、単純なニューロンの深い深い組み合わせなわけで。
(神経伝達物質が環境変数みたいに機能しているようだけど)
ニューロンの学習も、教師(経験)に対する誤差の最小化と考えたら、
最小二乗法と、やろうとしている事レベルでは大差ないんではないかと。
違うのは方法論だけという。
気温とか湿度とかそんなやつじゃね
階層が一つで、活性化関数が無いケースは、まさに線形計画法そのもの。
活性化関数をつけて非線形にしたうえで、その階層を何層も重ねると、
あらびっくり。階層の深さに応じて、万能近似装置になっちゃった。
という仕組み。
ちなみに、活性化関数を入れずに、線形なまま階層を重ねても、展開すると
1層と同じものになってしまう。
応用する機会もないから、勉強するきっかけがない
より信頼できるというものですよ
単にコンピューターの性能が向上して、昔ならコストがかかったことが気軽に出来るようになっただけ
この小林慶一郎氏は東大計数工学科の出身らしいから、当時はニューラルネットワークの権威の甘利俊一先生がいたところだから、
日本で一番ニューラルネットワークについて研究できるところでもあり、つい何か言いたくなっちゃうんだろうね
>>48
ディープラーニングは部分的に数学を使うとはいえ、多数の評価が組み合わさってどうなるかの話だから、数学者に聞いても何か分かるとは限らないぞ
実は数学的な何かの性質が本質的な働きをしているということがもしあれば、それは数学者の方が見抜ける可能性はあるのかもしれないが
AIも区別して報道しろ
人間のようにどんな知識でも学習できるものなのか
その上で人間より高度の思考力をもつものなのか
あるいは、特定の分野向けにつくられた用途限定されたものなのか
あるいは、もっと原始的な思考システムなのか
藤原正彦博士が適任である
多分 最小二乗法も理解できてない
ミクロに見ていっても要素が小さくなりすぎて、その本質は見えてこない
深いという点が重要な働きをしていることに間違いはないだろうけど、それだと今度はざっくりしすぎていて、
本質の部分はもう少し中間のサイズの何かなんだろうね
ソフトウエア実装で自分で組んだんじゃなくてライブラリー利用して
APIいじっているようなレベルのアホが多すぎるだけ
何で必死に反論しているの?
関連記事