yura*'s rakugaki diary

つれづれなるままに、日くらし硯にむかひて、心にうつりゆくよしなし事を、そこはかとなく書きつくれば、あやしうこそものぐるほしけれ。

ディープラーニングと人間

子供のうちは新しいことを覚えるのが早いが、年を取るごとに覚えが悪くなるという話をよく聞く。これは何故なのだろう。

 

ふと、一つの仮説を思いついた。子供はニューロンの数が少ないので、学習の最適化が早いからなのではないか。

 

ディープラーニングは、人間の脳内を構成する神経細胞であるニューロンをモデルとした、ニューラルネットワークをベースの技術としている。

 

ディープラーニングでは層の数が増えるほど、パラメータ学習に必要な情報が増加する。また、学習に必要な時間も増加する。

 

子供のころは、脳が未発達でニューロンの数が少ないので、パラメータ学習に必要な情報や、時間が少なくて済む。新しいことであっても、すぐ適応ができる。そのデメリットとして、パラメータが少ないため、必ずしも最適化ができるわけではなく、誤差も多い。

 

大人は逆に、ニューロンの数が増加し、ディープラーニングでいう層が増えることで、学習の誤差が減少し、汎用性が増加するものの、新しいことについて学習しようとすると、調整が必要なパラメータが多いので、必要な情報や、時間がかかる。

 

最近、存在しない人間の顔画像を出力するサイトが話題になっている。人間が夢を見るのも、もしかしたら脳内ディープラーニング中の副産物なのかもしれない。

 

https://thispersondoesnotexist.com/