ディープラーニングと人間
子供のうちは新しいことを覚えるのが早いが、年を取るごとに覚えが悪くなるという話をよく聞く。これは何故なのだろう。
ふと、一つの仮説を思いついた。子供はニューロンの数が少ないので、学習の最適化が早いからなのではないか。
ディープラーニングは、人間の脳内を構成する神経細胞であるニューロンをモデルとした、ニューラルネットワークをベースの技術としている。
ディープラーニングでは層の数が増えるほど、パラメータ学習に必要な情報が増加する。また、学習に必要な時間も増加する。
子供のころは、脳が未発達でニューロンの数が少ないので、パラメータ学習に必要な情報や、時間が少なくて済む。新しいことであっても、すぐ適応ができる。そのデメリットとして、パラメータが少ないため、必ずしも最適化ができるわけではなく、誤差も多い。
大人は逆に、ニューロンの数が増加し、ディープラーニングでいう層が増えることで、学習の誤差が減少し、汎用性が増加するものの、新しいことについて学習しようとすると、調整が必要なパラメータが多いので、必要な情報や、時間がかかる。
最近、存在しない人間の顔画像を出力するサイトが話題になっている。人間が夢を見るのも、もしかしたら脳内ディープラーニング中の副産物なのかもしれない。
