近年，脳における情報処理が感覚信号のボトムアップ処理ではなく，トップダウン的，文脈依存的なものであることは強く意識されているが，注意や意図などのトップダウン情報がいかに生成されるのかは未解決である．このスクールでは，脳内での身体・外界の内部モデルによる予測が，様々な文脈情報の生成とその利用に関わっているという仮説を軸に，計算理論と実験的知見を検討する．切り口としては，ダイナミクスや報酬の予測，統計モデル的予測，階層的予測を考え，それらにおける小脳，大脳基底核，大脳皮質の計算機構を探る．
1日目の必読文献：
必読文献はありません。
佐藤先生、石井先生の参考になる本：書名 NEURAL NETWORKS - A COMPREHENSIVE FOUNDATION -, 2/E. //著者 HAYKIN, S. //出版 PRENTICE HALL NEW JERSEY アメリカ合衆国 1999年はじめに：脳における双方向情報処理
川人光男（ＡＴＲ人間情報通 信研究所）
視覚、運動制御から高次認知機能にいたるまで順方向と逆方向の内部モデルによる予 測と制御（解析）の原理が働いている。いくつかの生理データに基づく具体的計算モ デルを紹介する。
銅谷賢治（国際電気通信基礎技術研究所）
脳におけるボトムアップ，トップダウンの情報処理の可能性と必要性， それを捉えるための計算論的枠組みについて概観する．
予測と推定の計算理論的基礎
佐藤雅昭（国際電気通信基礎技術研究所）
NEW 概要（改）
脳における予測モデルの計算理論を考える上で、基礎となる理論について概説す る。観測データをもとに内部モデルを用いて予測を行う場合、モデルのパラメー タを観測データに合うように学習する必要がある。学習法の枠組みとして、最小 自乗法と最尤推定法について解説する。またモデルが隠れ変数を持つ場合の状態 推定とパラメータ学習法として、カルマンフィルターとEMアルゴリズムを紹介す る。講義ではなるべく具体的なモデルを用いて説明する予定である。
石井信（奈良先端科学技術大学院大学）
まず、教師あり学習と教師なし学習の基礎について、次に 力学モデルの学習法と統計モデルの学習法について、さら に統計的学習法では、最尤推定法とベイズ推定法について 解説する。
コーディネータ：片山正純，北澤茂
2日目の必読文献：
Kawato, M. (1999)Internal models for motor control and trajectory planning, Current Opinion in Neurobiology, 9, pp.718-727
Kitazawa, et al. (1998) Nature, 392, pp.494-497
Imamizu, H. et al., Nature, 403, 192-195, 2000.
Houk JC, Wise SP (1995) Distributed modular architectures linking basal ganglia, cerebellum, and cerebral cortex: their role in planning and controlling action. Cerebral Cortex, 5, 95-110.内部モデル学習制御と腕の柔らかさ調節の統合に関して
片山正純（豊橋技術科学大学）
NEW 概要（改）
人の運動学習制御系において，内部モデルの存在やその重要性について３０年前 から議論されており，最近になってようやく様々な観点から研究されるようにな ってきた．この観点から，内部モデル（順モデルと逆モデル）の存在と必要性， その役割について概説し，内部モデルを学習により獲得する学習制御モデルにつ いて説明する．さらに，ヒトの運動制御系における調節メカニズム（腕の可変粘 弾性など）と内部モデル学習制御を統合することにより，より生理学的に妥当な モデルを構築できるのではないかと考えている．この観点から，誤差や予測誤差 に基づいて腕の粘弾性を調節することにより，より効果 的に学習・制御するため の順逆モデルを用いた学習制御モデルについて議論する．
必読文献
Kawato M: Internal models for motor control and trajectory planning. Current Opinion in Neurobiology 9, pp.718-727 (1999).
小脳に学習で獲得される内部モデル
川人光男（ＡＴＲ人間情報通 信研究所）
小脳皮質内に、登上線維が運ぶ運動指令の誤差に誘導されて、運動制御対象の逆ダイ ナミクスモデルが、プルキンエ細胞のシナプス可塑性で獲得されるとする仮説を小脳 内部モデル理論と呼ぶ。この仮説はサルが単純な眼球運動を行うときの電気生理学的 研究によって様々な側面から支持されてきた。この一連の研究と小脳学習の論争、下 オリーブ核とカオス、小脳多重順逆内部モデルなどの最新のトピックスを紹介する。
人間の小脳に獲得される内部モデル：脳機能イメージングによる検証
今水寛 (科学技術振興事業団 ERATO）
計算論的神経科学では，自己の身体や，操作対象物（例えば道具）のキネマティクス ・ダイナミクスを反映する「内部モデル」が脳に獲得され，速く正確な予測制御が可 能になると考えられている．実験心理学の手法と，脳機能イメージングの方法を組み 合わせて，人間の小脳に，内部モデルが獲得される様子を計測した研究と，その理論 的背景・神経生理学的関連事項について説明する．
到達運動の最適化と誤差の信号
北澤茂（電子技術総合研究所）
ごくありふれた到達運動は、滑らかに「最適化」された運動だった(Flash と Hogan, 1985; Unoら, 1989)。実は、その「最適化」は終点の誤差を小さくしようとする生物 学的に合理的な目的にも適うものだった(Harris と Wolpert, 1998)。そして、最適 化された運動制御の鍵を握る小脳の、寡黙な登上線維信号には、確かに到達運動の誤 差の情報（しかも予測性の誤差情報までも）が含まれていた(Kitazawaら, 1998)。果 たしてこの登上線維信号を使って誤差分散を減らすような学習をすることは可能だろ うか。可能性と問題点について議論したい。
運動制御における高次の問題 - 到達運動と視覚運動変換を例にとって-
阪口豊（電気通信大学）
NEW 概要（改）
この講義では，運動制御に関してこれまであまり議論されていない高次の問題について議論したい．具体的には，上肢の到達運動とプリズム適応の問題を例にとって，小脳が到達運動の制御や学習において果 たす役割，プリズム適応における小脳と基底核（教師あり学習と強化学習）の関わり，軌道計画や運動計画のモデルなどのについて，演者自身の問題意識に基づいて述べる予定である．ここで議論する内容の多くは現在進行中のものであり，参加する皆さんからの積極的な意見，コメント，反論を期待している．
必修文献
Houk JC, Wise SP: Distributed modular architectures linking basal ganglia, cerebellum, and cerebral cortex: their role in planning and controlling action.
Cerebral Cortex, 5, 95-110, 1995.
副読文献
虫明 元: 基底核，小脳と大脳皮質の機能連関，神経進歩, 39, 277--289, 1995.
Doya K: What are the computations of the cerebellum, the basal ganglia and the cerebral cortex. Neural Networks, 1999.
阪口：内部モデルの信頼度に基づく運動計画のアルゴリズム，電子情報通信学会論文誌，J79-D-II, 248-256, 1996.
3日目の必読文献：
R.S.Sutton and A.G.Barto, Reinforcement learning: An introduction, Chapter 3. The Reinforcement learning problem, pp.51-85, 1998
A.G. Barto, Adaptive Critics and the Basal Ganglia ,In Models of Information Processing in the Basal Ganglia, James C. Houk , Joel L. Davis , David G. Biser , pp. 215-232 1995
Nakahara, H., Doya, K., Hikosaka, O. (1998) Benefit of multiple representations for motor sequence control in the basal ganglia loops. BSIS Tech. Rep. No.98-5強化学習の基礎：Ｑ学習，ＴＤ学習
小池康晴（東京工業大学）
強化学習の基礎的な知識を得ることを目的として，代表的なアルゴリズムである， Ｑ学習とＴＤ学習に ついて，理論的な話をする．
鮫島和行 (科学技術振興事業団 ERATO）
報酬の予測を用いて行動を学習する理論である強化学習の基礎的な部分 をお話しします。私は演習と、状態の予測を用いた強化学習について 担当する予定です。
大脳基底核による眼球運動制御：報酬と動機づけの意味彦坂興秀（順天堂大学）
我々は、大脳基底核のニューロンがその選択的な抑制機構によって随意的眼球運動（サッケード）の発現を調節することを明らかにしてきた。その基本的なニューロン機構は、線条体（特に尾状核）から黒質網様部を介して上丘に投射する直列的な GABA 作動性の抑制性結合である。一方で、線条体には黒質のドーパミンニューロンからの強い投射があり、大脳皮質 - 線条体結合の作用を修飾していると考えられている。我々は、報酬を調整した記憶誘導性サッカード課題をサルに訓練して、基底核の一部である尾状核のニューロン活動を調べた 。その結果、主に空間的情報を運ぶ大脳皮質 - 尾状核結合が、主に報酬の予告情報を運ぶ黒質由来のドーパミン性ニューロンからの結合によって、そのシナプス効率を可塑的に変化させることが示唆された。
大脳基底核の計算モデル中原裕之（理化学研究所）
大脳皮質ー皮質下回路で、運動制御に重要な回路は二つある。一つは、小 脳と大脳皮質を結ぶ回路で、もう一つが大脳皮質と大脳基底核を結ぶ回路であ る。本講義では、この大脳皮質ー大脳基底核回路の運動における学習・制御に 関する我々の研究について話したい。
必読文献
Hiroyuki Nakahara, Kenji Doya, Okihide Hikosaka. (1998, BSIS Techincal Reports No.98-5). Benefit of Multiple Representations for Motor Sequence Control in The Basal Ganglia Loops. ( Postscript file)
http://www.mns.brain.riken.go.jp/~nakahara/papers/TR_BG2x5short.ps.Z
4日目の必読文献：
R. P. N. Rao and D. H. Ballard Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, vol.2, no.1, 79-87.
Watanabe, T. & Miyauchi, S. (1998). Roles of attention and form in visual motion processing: Psychophysical and brain imaging studies. In T. Watanabe (Ed.), High-level motion processing -- Computational, biophysiological and psychological approaches (.pp. 95-114), MIT Press.
Barlow, H. B. (1990). A theory about the functional role and synaptic mechanism of visual aftereffects. In C. Blakemore (Ed.), Vision: coding and efficiency (pp. 363-375). Cambridge, UK: Cambridge University Press.
Predictive Coding in Recurrent Neocortical Circuits
Rajesh P. N. Rao (Salk Institute)
Neocortical circuits are dominated by recurrent feedback connecions. If cortical area A projects to cortical area B, then area B invariably sends feedback connections to area A. Similarly, within a given cortical area, there exists massive recurrent excitatory feedback between pyramidal neurons due to local horizontal connections. What is the role of feedback in cortical information processing? I will review recent models that postulate that (a) feedback connections between cortical areas instantiate statistical generative models of cortical inputs, and (b) recurrent feedback connections within a cortical area encode the temporal dynamics associated with these generative models. The resulting network allows predicting coding of spatiotemporal inputs and suggests functional interpretations of nonclassical surround effects in the visual cortex on the basis of natural image statistics. We show that recent results on spike timing dependent plasticity in recurrent cortical synapses are consistent with such a model of cortical feedback and present comparisons of model simulations to electrophysiological data from awake monkey visual cortex.
Relevant references:
1. Rajesh P. N. Rao and Terrence J. Sejnowski. ``Predictive Sequence Learning in Recurrent Neocortical Circuits'' Advances in Neural Information Processing Systems Volume 12, S. A. Solla, T. K. Leen, and K.-R. Muller (eds.), Cambridge, MA: MIT Press, 164-170, 2000.
2. Rajesh P. N. Rao and Dana H. Ballard. ``Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive Field Effects'' Nature Neuroscience, 2(1), 79-87, 1999.
3. Rajesh P. N. Rao. ``An Optimal Estimation Approach to Visual Perception and Learning'' Vision Research, 39(11), 1963-1989, 1999.
Interactions between top-down and bottom-up processing by means of fMRI and psychophysics.
Takeo Watanabe（Boston University）
It goes without saying that the human visual information processing system is very complex. Marr (1982) proposed that several principles should be taken into consideration to improve understanding of this complex system. These include the modularity principle and thefeedforward principle . The modularity principle assumes that the visual system consists of several processes that are relatively independent of each other in early stages of visual processing. Therefore, each of these processes can be largely examined independently without considering the others. The feedforward principle assumes that the majority of visual functions can be understood without taking feedback effects into consideration. While research that follows these principles has greatly contributed to understanding some important aspects of visual information processing, other important aspects of information processing have been relatively neglected, especially, interactions between different processes and feedback from higher to lower levels . Research on motion perception is not exceptional in this sense. Over the last decade, as in other aspects of visual processing, the majority of research on the processing of velocity of a moving object has mainly explored feedforward processing within the motion module. Here I will specifically talk about recent advancement in research on effects of top-down processing and interactions between top-down and bottom-up processing in motion. The first half will be on effects of attention to a local motion on early-stage visual cortices and the second half on interactions between top-down and bottom-up processing revealed in perceptual learning.
There has been a good deal of controversy over whether attention influences area V1-the first cortical area onto which information from the retina is projected. Attention to motion has been found to modulate monkey area MT and the human homologue of MT/MST. Here we show that activation of V1 by attention to motion is task dependent. Our stimulus consisted of a group of translating random dots superimposed over another group of random dots executing expansion motion. Subjects were instructed to pay attention selectively to the translation, expansion, or neither in particular (passive condition). The activity in the human MT/MST homologue measured by fMRI was significantly higher in both the translation and the expansion conditions than in the passive condition, while the activity in area V1 was significantly higher only in the translation condition. These results show that attention to motion modulates area V1, and more interestingly that high-level cognitive processing such as attention may directly or indirectly determine the retroactive extent of feedback within the motion pathway in a manner dependent on the type of motion attended.
Perceptual learning shows surprising specificity for visual features such as motion direction1, orientation, and location. When it is location-specific, learning is thought to involve a small portion of the retinotopic map in the stage directly relevant to a task. Here, however, we show that location specificity is the result of more complex signal interactions over a larger retinotopic area. Subjects were trained and tested on the discrimination of the global motion direction of displays of dots moving in spatio-temporally local random directions. During the early phases of learning larger performance gains were obtained within the stimulated area for the range of local dot motion directions than outside the range, with smaller gains beyond the stimulated area. In a later phase improvement was obtained both within and beyond the stimulated area but only for the global motion direction. We argue for a dual mechanism in which learning ensues from the interaction of a passive on-center/off-surround mechanism for local motion directions, and a diffusive excitatory mechanism driven by task demands.
環境に適応し．未来を予測する視知覚システム
西田眞也（NTTコミュニケーション科学基礎研究所）
視覚心理の観点から，運動残効という錯視現象を切り口にして，視知覚システムの予 測性，適応性などについて述べる．具体的には，視覚運動情報処理へのトップダウン の影響には階層的な構造があること，人間の脳が運動情報に基づいて未来の位置を予 測していること，残効は最適符号化のための視覚システムの動的変化の現れであるこ と，などを説明する．
聴覚系のダイナミクスと環境適応性
柏野牧夫（NTTコミュニケーション科学基礎研究所）
音源定位における文脈効果，残効，学習などの現象を取り上げ， 刺激に適応して効率的な符号化を実現する神経機構について論じる． また，聴覚における補完現象を取り上げ，知覚の頑健性を 実現するボトムアップ，トップダウンのプロセスについて論じる．
5日目の必読文献：
Shiro Ikeda, Shun-ichi Amari, and Hiroyuki Nakahara, "Convergence of The Wake-Sleep Algorithm", In Michael S. Kearns, Sara A. Solla, and David A. Cohn editors, Advances in Neural Information Processing Systems 11, pp.239-245. The MIT Press, 1999
Masahiko Haruno, Daniel Wolpert, and Mitsuo Kawato, "Multiple Paired Forward-Inverse Models for Human Motor Learning and Control", In Michael S. Kearns, Sara A. Solla, and David A. Cohn editors, Advances in Neural Information Processing Systems 11, pp.31-37. The MIT Press, 1999
Shinji Kakei, Donna S. Hoffman and Peter L. Strick, "Muscle and Movement Representations in the Primary Motor Cortex", Science, vol.285, pp.2136-2139, 1999隠れ変数と階層的学習
池田思朗（科学技術振興事業団 さきがけ研究21）
統計モデルにおける隠れ変数とは，外部から直接観測できない状態のことであ る．一方脳において，皮質間あるいは皮質の異なる領野間の階層的学習が現在， 広く問題となっている．このような階層的学習のモデルに対し，隠れ状態を導 入することで，情報理論的な理解が深まると考えられる．講義では，情報論に おけるエントロピー，情報量を分り易く説明し，隠れ状態の概念をニューラル ネットや他の統計モデルの例を交えて解説する．
必読文献
Shiro Ikeda, Shun-ichi Amari, and Hiroyuki Nakahara, ``Convergence of The Wake-Sleep Algorithm'' , In Michael S. Kearns, Sara A. Solla, and David A. Cohn editors, Advances in Neural Information Processing Systems 11, pp. 239-245. The MIT Press, 1999
http://www.mns.brain.riken.go.jp/~shiro/papers/conferences/nips98.ps.gz http://www.mns.brain.riken.go.jp/~shiro/papers/conferences/nips98.pdf
＊ダウンロードできます
予測と制御による階層的運動学習
春野雅彦（国際電気通信基礎技術研究所）
高等生物は日常様々な要素運動を組み合わせて複雑な階層的運動を行っている。 本講義では予測と制御に基づくアークテクチャによる計算モデルを導入し、い かに階層層的運動が獲得されるかについて考える。本モデルと実際の脳との可 能な対応や、モデルから派生した実験等についても紹介する。
前運動野・一次運動野における運動指令の座標系に見られる階層性について：空間 座標から筋肉座標へ
筧 慎治（科学技術振興事業団・東京医科歯科大学)
コップに手を伸ばす際の脳内過程は、外部座標系でコードされた目標の位置が、適 切な筋活動へと変換される階層的な座標変換とする見方が一般的であるが、そのニュ ーロン機構は殆ど知られていない。最近筆者は、手首の単関節運動について空間、関 節、筋肉の３つの座標系を分離する方法を開発し、前運動野と一次運動野における運 動指令の座標系を分析した。その結果、前運動野における空間座標系での運動指令が 、主に一次運動野で、体性感覚情報によるゲイン調節の中間段階を経て筋肉座標系へ と変換される階層的な機構が示唆された。この機構のモデルを中心に、頭頂連合野、 脊髄を含むより大きなシステムへの拡張を試みる。更にこれらの皮質領野間に見られ る強力な双方向性結合の意義を座標系の階層性という視点から検討する。