- ニューラルネットワークのカテゴリ理論的な枠組みを構築し、前処理線形関数(ReLU)ネットワークがpretoposeに属することを示した。
- 一方で、注目すべきTransformerネットワークはpretoposeの余可能完備(topos completion)に含まれることを証明した。つまり、Transformerはより高次の論理を実装できる。
- カテゴリ理論の内部言語の観点から、ニューラルネットワークの表現力をどの程度の論理で記述できるかを議論した。ReLUネットワークは命題論理、Transformerは高次述語論理に対応する。
- アーキテクチャ探索とバックプロパゲーションを、カテゴリ理論の構成(Kan extension)を用いてモデル化した。Transformerは勾配降下でアーキテクチャを選択する過程とみなせる。
- Transformerの成功は、choose関数とevaluate関数に分解できる点にあり、これは新しいアーキテクチャデザインの指針となる可能性がある。
要するに、Transformerの表現力の高さを、カテゴリ理論およびトポス理論の観点から解明し、その特徴を一般化した新しいアーキテクチャデザインの可能性を示唆している論文です。