認知と学習と情報圧縮
認知と学習と情報圧縮は、やっていることが、ほとんど同じです。
認知とは、何かが何かだと結びつけることです。
学習とは、推論結果を良くするための処理です。
情報圧縮とは、より少ない情報量で表現することです。
人間の視覚野を例に考えます。
映像は、色→エッジ→線→図形という順で認知します。
高水準な表現になるほど下記のように情報量は減ります。
・色:2次元配列
・エッジ:エッジ部分の座標と色勾配
・線:線の始点・終点・曲率・太さ
・図形:文字の名前など
より高水準な表現への置き換えは、情報圧縮になります。
高水準な表現の視覚野ほど、発火は疎になります。
次の瞬間の映像を予測する場合を考えます。
色としてしか認知しない場合、2次元配列で推測する必要があります。
線として認知していれば、線の始点・終点・曲率・太さだけ推測すれば済みます。
高水準な表現へ情報圧縮されたことで、推測しなければいけない情報が減っています。
これは、より良く推測できるように、学習していることを意味します。
コメント