% latex2e で組んであります． \documentclass[a4paper,10pt]{jarticle} \pagestyle{plain} \title　　タイトル：隠れ状態とマルコフランダム場 講義録 \author 講　　師：岡田 真人 　　　　　レポーター：坂谷智也・土肥 英三郎 \date{1999年8月24日} \pagestyle{plain} \begin{document} \maketitle \subsection*{この講義で最低限理解してほしいこと} \begin{itemize} \item これから幾つかややこしいことを説明するわけですが、何故そのようなことを 考えるのかという動機を理解して下さい． \item 結合MRFモデル、隠れ状態、マルコフランダム場とは何か． \item 結合MRFモデルの神経回路網へのインプリメンテーション．これは偏微分を 知ってさえいればできます． \end{itemize} \section{動機} \begin{itemize} \item[1.] 先程の講義で出てきたLammeらの文脈的修飾の話を定量的に扱いたいとい うことがあります． \item[2.] 昨日までの話では重要な点が抜けています．昨日までの話というのは、画 像が何らかの基底の線形和で表せるというものです．しかし、画像の生成プロセスは 一般に非線形です．理由は色々ありますが、一番大きな理由は3次元の情報が網膜で2 次元に落ちるという点にあります．例えば緑の面を赤の面が遮蔽している場合、それ ぞれの面は線形和で表せても、境界の部分では性質が急激に変化していて、線形和で は表せません．非線形です．本当はこういうものを相手にしなければいけない．その ためにはエッジを取り出したり、それをもとに領域分割を行う必要があります． \item[Q:]それはV1でやるべきことですか？ \item[A:]画像生成プロセスは一般には非線形なんですが、V1だと受容野が小さいの で、近似的に線形とみなすことができます．樺島先生の演習問題でも、画像を小さめ に切って、それを見せて受容野を形成させている．つまり、緑と赤の面が同時に出て くるような状況をなるべく避けている．しかし我々の知覚は画像全体であり、それは 非線形なプロセスによって生成されたものです．本当はこれを取り扱わないといけな い．昨日までの話では、まだこの問題が残っているわけです．これを実験的に扱おう とすれば、Lammeらの話になります．我々のグループも同じようなことをやっていま す． \item[3.] 画像の話とは別に、情報のキャリアは何か、ということがあります．例え ば同期が脳の中に物理的にあるかといえば、当然あるだろう．しかしそれが脳の情報 処理として存在するのかどうかは分からない．情報のキャリアかどうかを確かめるた めには、脳が行っている計算問題を考えて、その枠組みの中でスパイクの同期が必要 かどうかを議論しなければいけない． \end{itemize} （Lammeの話に戻る） V1には視覚の最終段階であるITとかTEへの順行性結合がある．そこから逆方向に逆行 性結合もある．Lammeらは、彼らの示したV1の文脈的修飾はITやTEからの逆行性結合 で起こっているだろうと言っています．しかし、これは良く考えると問題を含んでい る． 古典的受容野に対する刺激が同一でも、それが図にあるか、地にあるかで発火率が変 わってくる（テキスト図1）．30-40ミリ秒遅れて図にある方が発火率が大きくなる． このメカニズムとして、Lammeらは側頭皮質からのフィードバックによるものではな いかと言っている．この実験的な証拠も少しあります． これを思考実験をしてみます（テキスト図2左）．V1のように受容野が小さく空間解 像度が高い領野からITのように受容野が大きく空間解像度が低い領野に順行性結合 が、逆方向には逆行性結合がある．この逆行性結合によって文脈的修飾が起きてい る、と彼らは言っています． ここで問題なのは、解像度の低い情報を使って修飾を行うと、せっかくV1で保持して いた解像度の高い情報が失われてしまうことになるのではないか、ということです． しかし、実際に文脈的修飾によって領域の境界部分に存在する解像度の高い情報が乱 されているかといえば、そうはなっていない． \begin{itemize} \item[Q:]逆行性の影響が解像度の高い細胞の符号を変えるほどには強くないと考え てはいけないのか？ \item[A:]そういう考え方もあると思います．実際にはポピュレーションコーディン グのようにチューニングが緩やかで符号が0-1で決まっているわけではないので、こ の話を一般化するのは難しいと思います． \end{itemize} 文脈的修飾がどれくらいの解像度かといえば、V1の解像度とほぼ同じです（テキスト 図3）．つまりITの受容野よりずっと精緻な制御が行われている．場所をよく知らな いものから信号を受けているのに、その影響は精緻になっている、という実験的な事 実があるわけです． これがどのようしたらできるのかという問題をこれから議論していきます．結論から 言うと、逆行性結合を適応的に切るような制御を考えるということです．これを結合 MRFモデルで行う． \section{MRFモデル} 今までの話は上から下の結合を切るということでしたが、それはまだやっていませ ん．ここでは表面再構成という問題を考えます．まず先程のLammeの話のように、明 るさの異なる図と地を考えます．簡単のために1次元で考えるとハット状になります （白版で説明）．ここで、この1次元上の明るさを検出するセンサーがノイジーなの で、得られるデータにノイズが加算されているとします．このデータに基づいて元の 値を再構成するという問題を考える． p1.mというプログラムを立ち上げて下さい．青い線がデータで、赤い線が推定値で す．Nを押しつづけると、赤い線がだんだん「なまってくる」ことが分かります．こ れが何をやっているかということをこれから説明します． まず、推定値$f_i$はデータ$d_i$から余り離れてない方がいいので、$\sum_i (f_i-d_i)^2$の最小化を考える．ただ、これだけだと推定値とデータが同一のときに 最小なので、推定といっても何もやらないことになる．何らかの加工を行いたい． そこでもう1つ、画像は隣同士で近い値をとりやすい、ということを考える．これは 隣接する推定値の差が小さくなるように、$\sum_i (f_{i+1}-f_i)^2$の最小化を考え ればいい． 結局、この両方を小さくすることを考えることにします．つまり、ほどほどにデータ を説明して、ほどほどに画像が本来持っているであろう性質を満たす、ということで す．この2つを適当な比率で足し合わせたものを$E$と置きます． \[ E(f|d)=\frac{1}{2}\sum_i(f_i-d_i)^2+\lambda\sum_i(f_{i+1}-f_i)^2 \] これを最急降下法で最小化するプログラムが先のp1.mです．$E$は$f_i$の2次関数な ので、下に凸の関数です．従って$f_i$を$-\partial E/\partial f_i$に比例して更 新してやれば$E$は最小値へ向かっていきます． これを神経回路網でインプリメントすると次のようなアーキテクチャが現れます（白 版の図）．定性的には、$f_i$の作用（隣接に$+\lambda$、自分に$-2\lambda$）は推 定値の平滑化を表しています．また、入力$I_i=d_i-f_i$は推定値$f_i$をデータ $d_i$に近づける働きをします． これが、「MRFモデル」です．「結合」はまだついてません．Markovは近傍、Random は確率的、Fieldは1次元または2次元の場、という意味です． \section{結合MRFモデル} さて、このモデルではギザギザしたものは平滑化によってきれいになりました．しか し問題があります．それは画像がもともと持っていたエッジが平滑化によってなく なってしまうということです．理想的なのは、エッジはそのまま保持しつつ、平滑化 もする、ということです．これはある意味矛盾してますが、できます．p2\_1.mを走 らせてみて下さい． 仕掛けは、隠れ変数を導入することによってモデルの自由度を上げる点にあります． これには2つのやり方があります． その1つをまず説明します（テキスト図5）． \[ E(f,l|d) = \frac{1}{2} \sum_i (f_i-d_i)^2 + \frac{\lambda}{2}\sum_i(1-l_i)(f_{i+1}-f_i)^2 + \theta\sum_i l_i \] $l_i$がその隠れ変数です．第1項はデータと推定値は同じでないといけないという条 件です．第2項は外界は滑らかであるという条件ですが、先程と違って係数$(1-l_i)$ がかかっている．$l_i$は0か1をとり、1だと$(f_{i+1}-f_i)^2$が消えて、$f_i$と $f_{i+1}$の間の平滑化の効果をなくすことができる．別の言い方をすれば、 $f_{i+1}$と$f_i$の水平結合を切ることができる．このメカニズムとしてshunting inhibitionが考えられます．以上のことは、最初にやりたかったことに近いことが分 かると思います．何故これができるようになったかというと、隠れ変数を入れたから です．しかし$l$が1ばかりとると平滑化の作用がなくなってしまうので、$l$が1をと ると$E$が高くなるように第3項を加えています．$l_i$は$f_i$と$f_{i+1}$の差が大 きいときに1をとるようにしておく．結局、$l$と$f$は双方向的に相互作用している ことになります．つまり、$f$は$l$に、$l$は$f$に依存している． もう1つのやり方は、隠れ変数として領域のラベルを考えます（テキスト図6）．そう して、隣接するラベルが同一のときには平滑化を生かし、違うときには水平結合を 切って平滑化が起きないようにする．逆に、隣接する$f$の値が大きく異なると、対 応するラベルが違うものになるように力が働く． これは先程のモデルと双対な関係にあります（テキスト図7）．エッジが大切という のは両方に言えることです．先程のモデルのように、エッジをダイレクトに表す方法 を「境界ベース結合MRFモデル」といいます．結合というのは、外界を表すプロセス と隠れ状態を表すプロセスが結合しているという意味です．もう1つのモデルでは、 エッジを領域ラベルの不連続として暗に表現しています．これを「領域ベース結合 MRFモデル」といいます． \begin{itemize} \item[Q:]図ではラベルが2つですが、もっと増やせるのですか？ \item[A:]はい．今日は2つある場合しかやってませんが． \item[Q:]$l$はポテンシャルの絶対値に反応するのか？ \item[A:]そうです．$l$にポラリティーはありません． \end{itemize} \section{境界ベースと領域ベースの比較} これから、境界ベースと結合ベースのどちらが脳のモデルとして尤もらしいかを議論 します．この議論は最新なので、もしかしたら間違っている可能性もあります．論点 は次の2つです． \begin{enumerate} \item 階層化の容易さ \item 心理実験との対応 \end{enumerate} 結論から言うと、領域ベースの方が優れている． \subsection{階層化の容易さ} 今やりたいことは、受容野が大きく解像度の粗いトップダウンの影響を適応的に切る ということです（テキスト図2）． ラベルプロセスの場合、H.VとL.V.のラベルを照合して、同じであれば切らない、 違っていれば切る、ということをすればよい．つまり、localな情報だけで簡単に計 算できる． 一方、ラインプロセスの場合、H.V.では粗い解像度でラインプロセスが立っている． L.V.ではよりきめの細かいラインプロセスが存在する．H.V.からの情報はL.V.の広い 領域をカバーしている．そして、その情報を切るかどうかを判断するためには、H.V. の細胞がH.V.におけるラインプロセスのどちら側にいるのか、そしてL.V.はL.V.のラ インプロセスにおいてどちら側にいるのか、ということを知る必要がある．これは non-localな計算で、非常に面倒です． 以上のことから、ラベルプロセスの方がラインプロセスに比べて階層化が容易である ことが分かります． \begin{itemize} \item[Q:]これはノイズを除くことを目的としているのですか？ \item[A:]ここではそうですが、実際の神経回路網の中にも水平結合や逆行性結合を 介したニューロン間の相互作用がある．そういった相互作用を隠れ変数で切るにはど うしたら良いかという一般的な問題を扱っているわけです． \item[Q:]隠れ変数を使わないといけないのですか？ \item[A:]自由度を余計に入れないと適応的に切るということはうまくいかない、と いうのは事実だと思います．また今は、そのようなモデルに2種類あって、どちらが 良いかということを議論しているということです． \end{itemize} \subsection{心理実験との対応} （OHPの図で説明） これはバインディング問題の心理物理実験です．(a)は小窓問題と言われているもの です．動いている直線を小窓を通して見ても、対応点がないために垂直方向の情報し か得られない．従って運動ベクトルは一意に求まりません．1次元の情報で2次元の運 動ベクトルを決めないといけないので、これは解けない問題なわけです．この心理実 験をやると、解はユニークに決まらないはずなんですが、何らかの制約が働いて、垂 直方向に動いて見えます． ここで、(b)のように線分を3つの窓から見るという状況を考えます．この場合、端点 の情報に引っ張られて、真ん中の線分の見えが変わります． 線分が短ければ、90度に動いて見える（端点の運動の向き）．長ければ45度に見える （線分の垂直方向の運動の向き）． また、長さが一定であれば、遮蔽が小さいほど90度に見える． \begin{itemize} \item[Q:]運動方向の見えは一定なのか、それとも45度から90度へ回転していくのか ？ \item[A:]心理実験でそのようなダイナミクスを計測するのは難しいので、被験者に は単に見えの角度で答えてもらう．見えのダイナミクスは刺激の提示時間を変えるこ とによって知ることができる．我々の仮説は45度から90度へ回転していくというもの です． \item[Q:]実際どのように見えるのか？ \item[A:]それは実験的には確かめていません． \item[Q:]主観的にはどう見えるのか？ \item[A:]我々はbiased subjectなので、45度から90度へ回転していくように見えま す． \end{itemize} （視覚刺激と被験者の応答のビデオを見る） \begin{itemize} \item[Q:]被験者は45度か90度かを答えるのか？ \item[A:]そのような2件法も、アナログ値を答えるということも、両方やっていま す．2つの結果には一貫性があります． \item[Q:]被験者の視線は？ \item[A:]ずっと赤い点を見ています． \end{itemize} （これに対するモデルをOHPで説明） この図は領域ベースのモデルです．1次元のモデルなので、領域といっても1次元で す．境界ベースの場合、境界は0次元になります． 知覚としては、最初は45度を向いています．ここで、遮蔽部分に非遮蔽部分と同じラ ベルを貼ろうとするプロセスが自動的に働くものとしています．これによって遮蔽部 分の隠れ変数が補完されます．そうすると端点からの情報が流れ込んできて、運動ベ クトルの向きが変わっていきます． 線分が長ければ向きの変化が遅いというのは、端点から情報が流れ込むのに時間がか かるということです． 遮蔽部分が多いと遅くなるというのは、ラベルを補完するのに時間がかかる、という ことです．\\ （モデルの挙動をビデオで見る） 遮蔽部分がたくさqａ@ると、運動の向きが45度から90度へ回転するのに時間がかかっ ていることが分かります．\\ （以上で何が言えるか） 心理実験によって速度情報の伝達スピードというものを計算できます．それによる と、 遮蔽がある場合は非遮蔽の場合より3.5倍遅い、ということが分かりました． この点を、先程の2つのモデルで解析してみます（OHPの図）．ここで、情報は端点だ けが持っています．直線部分は対応点が存在しないので垂直成分しか運動情報があり ません．そこで、水平成分の情報が端点から流れてくる、と考えています． 非遮蔽の場合、いずれのモデルでも線分の長さLだけに依存します． 遮蔽の場合ですが、境界ベースの場合は、ラインプロセスの値はローカルに決定され るので、遮蔽の大きさlに依存しないはずです．一方、領域ベースの場合、遮蔽部分 のラベルは見えているところから次々と補完していく必要があるので、lに依存す る．つまり、領域ベースモデルの方だけがLとlの両方に依存する．これは心理実験に 合う、ということです． \begin{itemize} \item[Q:]非遮蔽の場合というのはただ単に線分を見せているということですか？ \item[A:]そうです． \item[Q:]それだと初めから90度に動いて見えるような気がするのですが． \item[A:]それは視覚刺激によります．線分の長さなどの実験条件によっては向きが 回転していきます．心理実験の結果もあります． \item[Q:]これは水平結合によって実現しているわけですが、上位の階層との相互作 用としても説明できませんか？ \item[A:]できます．そのどちらでやられているのかということは実験では区別でき ない．この心理実験で示したかったのは、頭の中で繰り返し計算が行われているの か、ということです．トップダウンでも水平結合でも説明はできます． \item[Q:]境界ベースモデルでは、つないでいく時間がかからない、というのが良く 分からないんですが． \item[A:]ラインプロセスは隣接する強度プロセスだけを見ていて、2つの値の差が小 さければ線を立てないと決めることができます．ラインプロセスも遮蔽の大きさに依 存して時間がかかると言われれば、上の議論は終わりです． \item[Q:]それは1次元に限って考えているからですか？ \item[A:]2次元では線同士の相互作用が出てくる、ということはあります．1次元で はそれがありません． \end{itemize} 以上の議論で、階層化の容易さ（計算の局所性）、心理実験との対応、という2点か ら、領域ベースモデルの方が良い、ということが分かりました． \section{位相によるラベルの表現} しかし実はまだ良くない．これをそのまま最急降下法でやると、計算が意味のないと ころで止まってしまう．というのも、プロセスが非線形になっているので、エネル ギー関数に沢山のローカルミニマムが存在して、そこで計算が止まるということが起 こるわけです． それでどうするかというと、アドホックなんですが、ラベルを位相で置き換える．何 が違うかというと、ラベルは1,2,3,というように離散的なんですが、位相は0から $2\pi$までの周期的な値をとる．ラベルの場合、ラベル1のニューロンが発火すると かラベル3のニューロンが発火するということを考えていて、1と3の距離みたいなも のはない．位相の場合は周期の中に1とか3とかを割り当てる．そういう表現に置き換 えてやります． このモデルに、計算課題として表面再構成と図と地の分離を行わせる． モデルは次のようになります． \[ E(f,\phi|d)= \frac{1}{2}\sum_i (f_i-d_i)^2 + \frac{\lambda}{2}\sum_{n.n.} (1 + W_i W_{i'})(f_i-f_{i'})^2 - \frac{J^R}{2}\sum_{n.n.} W_i W_{i'} \] 第1項はデータフィットの項で、推定値とデータの差をできるだけ小さくする．第2項 の$(f_i-f_{i'})^2$は推定値が隣同士で似ていることを要請する．ここに隠れ状態を 入れる．$W_i$は2次元単位ベクトルですが、角度$\phi$でパラメトライズされる．こ の$\phi$を位相と呼ぶ．結局第2項全体によって何が起こるかというと、$W_i$と $W_{i'}$が反平行だと内積が$-1$になって、第2項が消える．平行だと1になって、第 2項が効いて平滑化が起こる． 先程のp2\_1.mは、実はこの位相をあらかじめ与えた上で表面再構成を行ったものな のです．位相はFigure 2に出てきたものです．このグラフでは位相を$\pi$で割って いるので1ずれていると逆位相であることを示しています．図の部分と地の部分はそ れぞれ同位相、図と地は逆位相になっています．そうすると、それぞれの領域では平 滑化が起こりますが、境界の部分では起こらない．だからうまくいったわけです．こ れによって、位相が決まればうまくいくということ、つまり隠れ状態の重要性が半分 示されたことになります． それではp2\_2.mを動かしてください．今度は位相$\phi$を与えずに、$f$と$\phi$の 両方を計算しています．結果は、表面再構成の方は常にうまくいきますが、位相の方 は、適切に計算される場合と、半々か、もしかしたらそれより多い確率で、このよう になります（エッジを挟んで逆位相になるが、それぞれの面で一定にならず、なだら かに変化している図）．この場合、境界の部分では確かに位相が$\pi$違うので平滑 化は起きない．面の部分は、位相が少ししか違わないので、平滑化は起きる．それ で、ある程度うまくいくというわけです．しかしこれはローカルミニマムです．図、 地それぞれ一定値を取ったほうが$E$は小さい．隠れ変数を離散でやるとうまくいか ない理由は、このような滑らかな値を取れないところにあります． 結局位相を使ってもうまくいかないのではないか、と言われるかもしれませんが、実 はうまくいく（テキスト図10）．左が位相、右が外界を表す強度で、上の2つが初期 状態です．初期状態では図と地について情報が無いので、位相はどの点もランダムに ほぼ同じ向きにしています．これをp2\_2.mの2次元版で解いてやると、その下の図の ようになります．表面再構成はうまくいって、位相も図と地で$\pi$異なります．こ こでは位相差だけが問題なので、$2\pi$飛んでいる部分は位相差0ということになり ます． ここで、離散にラベルをとると何故よくないかということを説明します．2枚の平面 に対して$+1$か$-1$かを振ることにします．ラベルが同じだと$+1$、違うと$-1$なの で、先ほどの$W$をこれで置き換えてやると離散版になります．これで先ほどと同じ タスクを行わせると、（テキスト図12）ラベルがプラーク状に貼られて、図と地の分 離がうまくいかない．この場合、ローカルミニマムにトラップされてそれ以上動かな い． このように位相と離散で結果が異なるのは、相互作用の構造の違いが原因です．どち らのモデルのエネルギー関数にもラベル同士の積があります（テキスト図13）．離散 の場合（$E=-Js_1s_2$）、このようなモデルをイジングスピンといいますが、$J$が 正の時は$s_1$と$s_2$は同符号、負の時は反符号をとります．一方、2次元単位ベク トルの位相で表現した場合（$E=-JW_1W_2=-J\cos(\phi_1-\phi_2)$）、$E$は位相差 のみに依存し、その絶対的な値には依存しません．従って$J$が正の時は $\phi_1=\phi_2$に、負の時は差が$\pi$の直線上に等エネルギー線が存在します．こ の線上ではエネルギーの損失なしに動くことができます．これを中立安定と言いま す． 結局、イジングスピンの場合、点にはまるとそれ以上動けないんですが、位相の場合 は状況に応じて等エネルギー線上を無理なく動けるわけです．それで直感的にうまく いきそうな気がします．実際、そのようなプロセスは起こっています（テキスト図 11）．最初は(a)のように図の両端で符号が異なるということが起こり得ます．これ は先程見たローカルミニマムの状態です．1次元の場合はこのままで終わるんです が、2次元の場合は1次元の場合とは違って周りからの影響がある．そうすると渦がほ どけるようなことが起こって、（b）のようになり、最終的にはうまくいく（テキス ト図10(c)）．結局、位相の場合、無理なく動くことができて、1周すると元に戻る、 という性質が効いてうまくいく． \section{議論} ここで、スパイクの同期は情報のキャリアか、という問題を考えてみます．明日青柳 先生がお話される位相振動子モデルとここで説明したモデルは対応させることができ ます．最も単純な位相振動子が今日お話した$\phi$です．従って、スパイクの位相に よって$\phi$が表現されている、という仮説を立てることができます． 重要なことは、計算理論的に機能で押していって、つまり表面再構成に対して何が必 要か必要でないかということを考えていって、その結果として位相が必要であるとい う結論を導いた点です．この位相と位相振動子が結びつけば、もしかしたら随伴現象 かも知れないスパイクの同期が、情報のキャリアである、と言えることになります． 発火率がキャリアであることはすでに分かっています．一方で、位相振動子的な要素 は神経回路網では簡単に出てくる．物理的に無理はない．しかしそれが情報のキャリ アかどうかは分からない．ここで、位相振動子的な要素が計算論的に必要ということ であれば、それを使えばいい．これによって、強度プロセスと隠れプロセスに別々の ニューロンを割り当てていたところを、1つのニューロンにインプリメントすること が可能になります． 1つのニューロンで行う場合、発火率と位相の相互作用の仕方は同じでないといけな い（テキスト図7）．1つのニューロンで強度プロセスとラインプロセスをやろうとす ると、エッジの情報は1次元的に、面の情報は2次元的に相互作用する必要が出てく る．ラベルプロセスを使った場合には、両方が2次元的に相互作用していけば良いの で、異なる様式の相互作用を同時にインプリメントするという原理的な困難は存在し ない． また、Singerやそれに触発されて出てきた従来の位相振動子モデルは、外界が翌トい るとスパイクの同期が高まる、という一方向的なものです．それに対して今述べたモ デルは、同位相か逆位相かによって強度プロセスの混ざり具合を変える．強度プロセ スと隠れプロセスは双方向に影響し合っている．この点が従来のモデルとは本質的に 異なります． 今後の課題としては、1ニューロンでのインプリメントや、実験的に隠れ変数を探す ことなどを考えています．また、スパイクの同期が情報のキャリアかどうかを検証す る実験を考案することも理論家の仕事だと思っています．以上です． \begin{itemize} \item[Q:]従来のモデルというのは振動現象を随伴現象と捉えているのか．または、 振動現象を説明するためのモデルということなのか． \item[A:]Singerらはそのようには考えていない．例えばbinocular rivalryといった 知覚現象とスパイクの同期とは相関がある、つまりneural correlateがある、と言っ ている．ここではもっと直接的に、スパイクの同期によって知覚が変わる、というこ とを示しています． \item[Q:]振動現象の機能的役割を論ずるモデルということですか． \item[A:]そうです．それを計算理論から導いた、ということです． \item[Q:]このモデルで重要なのは、隠れ状態を絶対的な値ではなく相対的な値で表 現するということですね？ \item[A:]そうです．あと、一周して元に戻ると言うことです．これは先日酒井さん に言われたことですが、同じような力学的構造は、ニューロンを何個か円環状に結ん で、メキシカンハットタイプの相互作用を入れてやれば実現できます．こちらでも良 いのではないか、と言われれば、否定はできません．問題はインプリメンテーション の容易さだと思います． \item[Q:]位相の場合、何個までラベルを貼ることができるのか？ \item[A:]ラベルを増やすと難しい．ローカルミニマムに入ってしまう．大体3から4 個です． \item[Q:]その場合どのようにしているのか？ \item[A:]$\cos(\phi_1-\phi_2)$を$g(\phi_1-\phi_2)$と一般化して、変動を細くす る．これによって0から$2\pi$を3個以上に分割する． \item[Q:]そうすると、4個以上だと隣接の関係が変わってくるのではないか？つまり 3個までだとどの状態もそれ以外の状態に隣接している． \item[A:]そうですね．シミュレーションだと4個まではうまくいく．但し成功率は落 ちる． \item[Q:]位相の構造自体を変えるということはできないのか？ \item[A:]3次元単位球の方位を使うとか、 \item[Q:]トーラスにするとか、 \item[A:]そうですね、そういうことも充分考えられます．その場合、ニューロンが 位相方程式に落とせるようなものではなく、もっと豊かさのようなものを持っている 必要があります． \item[Q:]1個のニューロンでは無理ということか？ \item[A:]1個のニューロンが必ず1次元に落とせるというわけではなく、2次元のモデ ルもあります．ニューロンが常に位相振動子モデルで記述されるわけではありませ ん． \item[Q:]ニューロンの豊かさのようなものにラベルの数が依存するということです か？ \item[A:]そういうことです． \item[Q:]心理学的には何個ラベルを用意すれば良いと考えられているのか？ \item[A:]よく知らないが、多分3,4個だと思う．10個はできない．奥行き方向の面が いくつ順序立てて知覚できるか、ということになるわけですが． \item[Q:]図のほうだけを再構成すれば良いのであって、地の部分を再構成する必要 は無いのではないか？そうだとすれば、相対的な位相を用いる意義はあるのか？ \item[A:]はじめに2つを分離する必要はあると思うが．しかし、そのあたりは具体的 なものが無いのではっきりとした事は言えません． \item[Q:]昨日までの話では、計算論的なモデルを最急降下法で書き下すとHebb的な 単純な学習則になっていて、生物学的なリアリティーがありそうだ、ということでし たが、このモデルもそうなんですか？ \item[A:]結合は学習できません． \item[Q:]ニューラルダイナミクスは？ \item[A:]アーキテクチャはそのようなものになります．結合は$\lambda$を与えてや らないと決まりませんが、そういったインプリメンテーションはすごく楽にできま す． \item[Q:]要するに、一番重要な点、新しい点、というのは何ですか？ \item[A:]純粋にモデルとして新しい点は、隠れ状態に位相を導入すれば、ローカル ミニマムから脱出しやすい、ということです． その他は解釈に関してということになります．これまでにも位相振動子間の相互作用 を変える、というモデルは沢山ある．その相互作用の仕方は従来アドホックに決めら れていたが、ここではコスト関数から直接導いた．更に、その結果として、双方向的 な相互作用が出てきた．また、これまでのモデルはSingerがスパイクの同期現象を見 つけたから、それを表現として使う、というものですが、ここでは何故スパイクの同 期でなければいけないのか、と言う点に関しても答えている． \item[Q:]境界ベースと領域ベースで、それぞれ長所短所があると思う．今回は領域 ベースが良いと言う事でしたが、双対的な構造を持っているのであれば、短所を補う ような形で両方使えば良いのではないか？ \item[A:]僕もそう思います．ただ、解像度の異なる2つのものが相互作用するときに は、領域ベースの方がいい、というのは事実です．他のタスクでは境界ベースの方が いい、ということはあり得ると思います． \item[Q:]今回の話では領域が連続した場合でしたが、離れた領域を結合するような 場合はどのように考えればよいのか？ \item[A:]今回の心理実験のモデルもある意味離れた領域を結合しているので、その 線で行けば、どこか共通のセンターを介して引き込んでいくと考えるのが自然だと思 う．バインディング問題のセンターはもしかしたらV2かも知れない．タスクに応じて そういうものがあるのではないか． \item[Q:]このモデルでは、違う領域に受容野を持つニューロンの間にも位相が180度 ずれたところに相関のピークが出るということになるが． \item[A:]このモデルをもう少し高級なモデルに拡張して、図と地でまったくピーク が出ないようにすることは、それほど難しいことではありません．例えば、振動数が 違うニューロンをばらまいたときには、同じ面の中にあるニューロンはお互い引き込 んでいて、ラグ付きのピークが出る．しかし異なる面のニューロン間では相関が出な い． \item[Q:]LammeとZipserの結果では、図と地で少し遅れて発火率に差が出てくる．こ の点はどのように説明されるのか？ \item[A:]それは今後の課題ですが、多層にするということです．ITにfigure neuron、例えば四角ニューロンみたいなのがあって、その振動がV1の図の部分の振 動とちょうど共鳴するような形で相互作用が起こる、地の部分とは共鳴しないので相 互作用が起こらない、そういうふうになると考えています． \item[Q:]それは、隠れ状態がフィードバックされてV1の図の領域に影響する、とい うことですか？ \item[A:]強度プロセスと隠れプロセスとどちらが先か、という問題ですが、まず実 験的な難しさがある．定常状態でないとcross correlationはとれない．JointPSTHも よくわからない．仮にそういう問題が克服されたとしても、2つのプロセスは結合し ているので、どちらが先なのかは分離できないかも知れない．\\ 先のプログラムでは、位相と強度の時定数は同じではなく、位相の方が千倍早く動け るようにしてあります．これは、コサインの動きにくさを補うということもあるが、 強度が決まっていないと位相が決まらないという構造になっているということかも知 れない．しかし、最終的にエッジをきちっと決めるためにはラベルが同じかどうかを 知る必要があるので、やはり鶏と卵で、双方向的な相互作用というのが重要なんだと 思います． \end{itemize} （文責：坂谷 智也、土肥 英三郎） \end{document}