オートエンコーダにおける次元圧縮

単純パーセプトロンとは、
入力層のノード数をm,出力層のノード数をnとすると、
あるm次元の(0,1)格子上の点の集合(Mとする)を、n本の線(超平面)で切り分けることによりクラスタリングする手法
線形分離不可能な例では使えない。

三層パーセプトロンとは、単純パーセプトロンが二つ積み重なったもの
中間層のノード数をkとすると、
Mを、k本の線(超平面)で切り分けた後に、
それをk次元空間に配置し、再びm本の線で切り分けてクラスタリングする。
(クラスタを配置しなおして再度クラスタリングすることによって、線形分離不可能な例でもうまくクラスタリングできる。)

オートエンコーダがうまく機能するには、
Mを、k本の線で切り分けた結果、集合Mの点がいずれも異なるクラスタに属していることが必要。
これがオートエンコーダで何次元まで圧縮できるかの一つの必要条件

M	=pとすると、が最低限必要な次元数(情報量っぽい)

(k本の線でクラスタリングできても、それが線形結合+閾値関数でうまく再現できないとオートエンコーダとして働かないので、あくまで必要条件)