それを今考えているところ3 | ihsotasathoのブログって言うほどでもないのですが

ihsotasathoのブログって言うほどでもないのですが

twitterで書いたことをまとめたりしていましたが、最近は直接ココに書き込んだりしています

前回の内容を掘り下げます。

まず前回表記したそれについて図1左のように区分けします。

図1:階層の区分け
20160207-img01
(今回表記を改めたため、前回の記事も改めています)

巡回の話は(同じ層にしても層をまたぐにしても)以下のように要素が選択され、その選択が連鎖するようなイメージです。

図2:巡回の概要
20160207-img02
下部の[ ]数字はフェーズを表しています。感覚的な話になり恐縮ですが、以下のようにできないか考えています。

[1]初期段階
 体(Pb)と外界(Pbより上の層)との関わりの部分の巡回(A層やPb層:赤い線)や内部(Nz層:青い線)の巡回は初め、互いに影響していません。図には書いていませんが、cN層やN層にも他層へ影響しない巡回があると想定します。
[2]巡回の拡張段階
 体外から内部に向かって影響が出始めます。その時も巡回が起こっています。
[3]内外の巡回が影響し合う段階
 内外の巡回経路が互いに影響しあい、効率的に巡回する経路が順次形成されていきます。
[4]単純応答の学習段階
 やがて内部巡回に起因した単語の出力が起きます。
[5]外部から刺激に応じた学習段階
 外部からの入力と内部のリハーサルに基づいた学習が続きます。
[6]適応的反応の段階
 内外にまたがる巡回を行えるようになり、適用的な単語を出力できるようになります。

内外を含む全体的なシステムを概観できたので、システムの規模感を見積もってみようと思いました。
規模を推定するためそれぞれの要素の数や使われ方を考え、要素数のオーダー(桁)を割り出すくらいをやってみます。

まずシステムが利用できる単語の数をwとします。身体によって構成できる基本的な動作の数をaとします。単語を構成するために必要な動作の統計的な情報をa(w)とします。これはある平均的な動作の数量とそれから分散している動作の数量を分布として表したものです。単語を構成するそれぞれの基本的な動作の数がどのように分散しているか、これを見ると解ります。図3の上段左から2番目がそのイメージです。
概念はひとつの単語で表現されるのと同時に、複数の単語を組み合わせて説明することが試みられます。こうした特徴を踏まえ、次のような近似を考えます。つまりある概念は複数の単語の並びに置き換えられるとします。そして単語と動作の関係と同じく、概念を構成するために必要な単語の統計的な情報をw(s)とします。これにより概念を説明するために必要な単語の数量が平均と分散の観点で解ります。
単語の並べ方に特徴を与える文法の種類についても同様に考えます。この時、単語には品詞と呼ばれる分類があり、それら分類がある傾向を持って並べられます。これはある単語の次に配置する品詞に傾向があり、同じ品詞が連続しづらいくらいで把握しておきます。また、幾つかの単語は優位に概念の説明にあられやすいとも考えます。先のw(s)においては、並べられる単語の品詞に関し、適当に分散される傾向があることを意味すると解釈しておきます。図3の下段左から1番目のイメージです。
動作はあるネットワークのノードの活動と対応し、それにより駆動する身体的な要素とも対応します。そこで身体がある動作完遂するために必要とするノードの数の統計的な情報をn(b)とします。また、ある動作を完遂するために必要とする身体の要素数の統計的な情報をb(a)とします。

例えば、
動作を含めた広い意味の単語数を100万語(10^6)とします。概念はこのうち単語の一部が代表していると考えます。また、ひとつの概念を説明するために必要な単語の種類を100万語(10^6)可能中平均100語(10^2)程度を使って説明されるとします。
単語を構成するために必要な動作を1万動作(10^4)可能中平均100動作(10^2)を選択して使うとします。
ひとつの動作を構成するために利用する筋肉の種類を1000種(10^3)可能中100種(10^2)を作動させるとします。
ネットワークにおいて、任意の速度で動かすために必要なノードを1000ノード(10^3)可能中100ノード(10^2)を選んでいるとします。

図3:要素数の桁を概観(種類の分布と出現頻度)
20160207-img03
下段のグラフのピークが、コストのかからない左部分(処理が短い)と中段のふたつに見られるよう想定した理由は、文法の特性として幾つかの短い単語が頻繁に利用される事と、話題に応じて中段的な長さの単語が頻出するという傾向を直感したからです。他の、下段にある動作やノードの出現頻度に関しても同様に考えます。幾つかの単純な動作は頻繁に使われ、次に使われるのはある程度複雑さ増した動作と捉えたわけです。

図4:要素数の桁を概観(層別)
20160207-img04
cN層は、cN層より上層の各内容を優位に分類し、使い分けなければなりません。そのため、cNは上にある層の中でも一番大きい数量(★)を少なくとも区別できる要素数が求められます。またそれらを巡回させるためにそれぞれ(10^2)桁のノードを必要とすると考えてみます。それをcN層に記しています。結果として10^10(100億)のオーダが見えてきます。概念を区別できる可能性としては☆を越えられないと考えられるため、Sは★<|S|<☆と書きました。
特に詳しく触れませんが、いずれの集合の要素も、1/10オーダずつが他の要素の内容と区別できず「共有している」と考えます。例えば100要素が使われる場合、そのうち10は他の要素と共有し、さらに1がそれよりも多くの要素と共有しているという具合に。

『犬はひとつ質問があるわん』
「はい、どうぞ」
『同じ動作でも速くできたりゆっくりできたりするわん』
「ふふふ、そうね」
『ふふふ、ではなく。教えて欲しいわん』
「それはまた来週にしましょう」