お問い合わせの多い
Predictive Coding Deep Neural NetworksのChainer版ですが、
https://github.com/eijwat/Predictive_Coding_DNN_S
（tensorboardの機能なし＝高速稼働します）
か
https://github.com/eijwat/Predictive_Coding_DNN_TB
（tensorboardの機能あり）
を参照ください。
オプティカルフロー解析ソフトは、
https://github.com/eijwat/Optical_Flow_Analyzer
こちらです。
同コードは、
Figshareにも置いてあります。Figshareには、入力動画やテスト画像も置いてあります。FigshareのURLや詳細は下記論文を参照ください。
Watanabe E, Kitaoka A, Sakamoto K, Yasugi M and Tanaka K (2018)
Illusory Motion Reproduced by Deep Neural Networks Trained for Prediction.
Front. Psychol. 9:345. doi: 10.3389/fpsyg.2018.00345
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345
2019年6月23日日曜日
2019年3月4日月曜日
宇都宮大山本研究室との共同研究が論文になりました
再帰性反射シートをつかって水中に立体結像を行い、それをメダカの行動解析に応用しました。
Erina Abe, Masaki Yasugi, Hideaki Takeuchi, Eiji Watanabe, Yasuhiro Kamei, and Hirotsugu Yamamoto, Development of omnidirectional aerial display with aerial imaging by retro-reflection (AIRR) for behavioral biology experiments. Optical Review https://doi.org/10.1007/s10043-019-00502-w (2019)
Erina Abe, Masaki Yasugi, Hideaki Takeuchi, Eiji Watanabe, Yasuhiro Kamei, and Hirotsugu Yamamoto, Development of omnidirectional aerial display with aerial imaging by retro-reflection (AIRR) for behavioral biology experiments. Optical Review https://doi.org/10.1007/s10043-019-00502-w (2019)
2018年10月17日水曜日
『生物の科学 遺伝』に総説を掲載
宇都宮大学の山本先生、八杉先生との共著総説が『生物の科学 遺伝』（２０１８年第６号）に掲載されました。内容はコンピュータアニメーションを使ったメダカの行動解析です。最後に〈錯視と深層学習の研究〉とのつながりにも触れています。本号の特集は「メダカの行動学」で、巻頭グラビアはなんと「メダカブームの最前線」です。メダカや行動学に関心のあるかたは是非。
http://www.nibb.ac.jp/neurophys/iden.pdf
http://www.nibb.ac.jp/neurophys/iden.pdf
2018年10月1日月曜日
サイエンスZEROに出演しました
当ラボ主催者の渡辺がサイエンスZERO（NHK－Eテレ）に出演しました。渡辺が制作にもかなり深く関わり、今春Frontiers in Psychologyに発表した論文を中心とした内容になりました。錯視を楽しみながら、じっくりと脳の秘密に迫っていきます。人工知能について考えるヒントも与えてくれるはずです。
サイエンスZERO「不思議な図形で脳のナゾに迫る！」
http://www4.nhk.or.jp/zero/x/2018-10-06/31/2476/2136690/
２０１８年９月３０日（日）２３：３０～２４：００
２０１８年１０月６日（土）１１：００～１１：３０（再放送）
NHKのスタッフ、出演者のみなさまのご努力によりとても分かりやすい内容になりました。見逃した方はオンデマンドサイトでどうぞ。
追記：
サイエンスZERO「不思議な図形で脳のナゾに迫る！」
http://www4.nhk.or.jp/zero/x/2019-03-03/31/10819/2136690/
再々放送放映日：３月３日（日）午後１１時３０分～
再々々放送：３月９日（土）午前１１時００分～
サイエンスZERO「不思議な図形で脳のナゾに迫る！」
http://www4.nhk.or.jp/zero/x/2018-10-06/31/2476/2136690/
２０１８年９月３０日（日）２３：３０～２４：００
２０１８年１０月６日（土）１１：００～１１：３０（再放送）
NHKのスタッフ、出演者のみなさまのご努力によりとても分かりやすい内容になりました。見逃した方はオンデマンドサイトでどうぞ。
 |
| フレイザーの錯視（©NHK） |
追記：
サイエンスZERO「不思議な図形で脳のナゾに迫る！」
http://www4.nhk.or.jp/zero/x/2019-03-03/31/10819/2136690/
再々放送放映日：３月３日（日）午後１１時３０分～
再々々放送：３月９日（土）午前１１時００分～
2018年4月13日金曜日
ブラインドにインクがじわじわ滲むという錯視
 |
| ブラインドにインクがじわじわ滲むという錯視 |
Eiji Watanabe, Ink blots Illusion, 2018
2018年3月20日火曜日
Frontiers in Psychology誌に論文を発表しました
深層学習によって「蛇の回転錯視」の知覚再現に成功しました。
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345/
基礎生物学研究所 神経生理学研究室の渡辺英治准教授は、同研究所の八杉公基研究員と立命館大学の北岡明佳教授、生理学研究所の坂本貴和子助教、サクラリサーチオフィスの田中健太博士との共同研究によって、深層学習ネットワークが「蛇の回転錯視（注１）」が引き起こす運動知覚を再現することを、新たに発見しました。
深層学習ネットワークは、脳の神経ネットワーク構造や動作原理を参照して設計された人工知能のひとつであり、近年、画像分類や音声認識など、幅広い分野で画期的な成果を収めているだけでなく、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。
今回研究グループは、大脳皮質の動作原理として有力な仮説のひとつである「予測符号化（注２）」を組み込んだ深層学習ネットワーク（PredNet）によって、錯視の再現ができるかどうかを検証しました。深層学習ネットワークに、我々の日常生活などの自然な情景を撮影した動画（約５時間）を繰り返し学習させたところ、学習した後の深層学習ネットワークは、実際に動いているプロペラが回転する動きを予測するだけでなく、「蛇の回転錯視」が引き起こす、あたかも画像が回転しているかのように見える回転運動様の錯覚すらも再現することがわかりました（図１）。
本成果は、錯視を深層学習ネットワークが再現した世界で初めての事例であり、錯視を引き起こすメカニズムのひとつとして予測符号化理論が有力な仮説であることを支持しています。今後、錯視を判断基準にした深層学習は、脳の動作原理の解明に貢献すると期待されます。本成果は2018年3月15日付けで学術誌 Frontiers in Psychologyに掲載されました。研究内容の詳細につきましては、基生研のプレスリリースにて。
######
注１）
蛇の回転錯視：立命館大学の北岡明佳博士が２００３年に考案した錯視（「北岡明佳の錯視のページ」http://www.ritsumei.ac.jp/~akitaoka/）。静止画であるにもかかわらず強い運動知覚を生じさせる。人だけではなくサルやネコ、魚にも知覚されると考えられている錯視であり、生理学的な知見も集積している。北岡博士は、蛇の回転錯視以外にも多くの錯視を考案しているが、中でも特に２００８年に発表されたシマシマガクガク錯視は、米国アーティストであるレディー・ガガのアルバムジャケットに採用されたことで有名。
http://www.ritsumei.jp/news/detail_j/topics/12336/year/2013/publish/1
注２）
予測符号化：RaoとBallardによって１９９９年（Nature Neuroscience）に提唱された視覚系大脳皮質の動作原理に関する仮説。大脳皮質は常に視覚世界の予測をしており、感覚入力と予測との誤差のみを学習しているとする。現在大脳皮質の動作原理を説明する仮説の中では最も有力なもののひとつ。
https://www.nature.com/articles/nn0199_79
追記）
本論文は、Frontiers in Psychology誌のPerception Science分野のチーフエディターであるRufin VanRullenのレビュー、
VanRullen, R. (2017). Perception science in the age of deep neural networks. Front. Psychol. 8:142. doi: 10.3389/fpsyg.2017.00142
https://www.frontiersin.org/articles/10.3389/fpsyg.2017.00142
の檄文を受けてFrontiers in Psychology誌に投稿されたものです。論文のエディターは、VanRullen、査読者のひとりはPredNetの開発者です。
私たちの研究グループは、錯視を生じさせる神経ネットワークは、予測学習による結果とではないかという仮説を２０１０年に提唱しています（錯視と予測符号化の関係を論じた最も初期の記述のひとつになります）。このときは予測符号化と呼ばずに、もっと汎用概念「デルタモデル」という名称で仮説を提案しています。
Watanabe, E., Matsunaga, W., and Kitaoka, A., Motion signals deflect relative positions of moving objects, Vision Research 50, 2381-2390 (2010)
今回の深層学習による研究は、このときの仮説をより直接的に検証したものになります。
本論文の最後の下りで「逆心理学（Reverse Psychology）」という手法を提案しています。逆遺伝学が構成最小単位である遺伝子から生物個体の表現型を解き明かしていったように、逆心理学では構成最小単位であるニューロンの働きから心の表現型を解き明かしていくことを期待しています。逆心理学（あるいは逆神経科学）が新しい神経科学の地平を切り拓いてくれるでしょう。
#################################################################
Frontiers Featured NEWS (2018) April 26
https://blog.frontiersin.org/2018/04/26/artificial-intelligence-tricked-by-optical-illusion-just-like-humans/
#################################################################
ニュートン ２０１８年６月号 フォーカス記事
http://www.newtonpress.co.jp/
#################################################################
A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception (28 May 2018)
PredNetの考案者らによる続報です。主観的輪郭、フラッシュラグ効果がPredNetによって再現されています。
https://arxiv.org/abs/1805.10734
#################################################################
動き錯視を再現する簡単なモデル（２０１８年６月９日）
簡単な数理モデルで回転錯視を再現しようと試みています。深層学習による回転錯視の再現との対比が面白く展開しましています。
https://qiita.com/stnk20/items/c36bef359a8f92d058b0 https://twitter.com/stnk20/status/1003963496050987008
https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00345/
基礎生物学研究所 神経生理学研究室の渡辺英治准教授は、同研究所の八杉公基研究員と立命館大学の北岡明佳教授、生理学研究所の坂本貴和子助教、サクラリサーチオフィスの田中健太博士との共同研究によって、深層学習ネットワークが「蛇の回転錯視（注１）」が引き起こす運動知覚を再現することを、新たに発見しました。
深層学習ネットワークは、脳の神経ネットワーク構造や動作原理を参照して設計された人工知能のひとつであり、近年、画像分類や音声認識など、幅広い分野で画期的な成果を収めているだけでなく、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。
今回研究グループは、大脳皮質の動作原理として有力な仮説のひとつである「予測符号化（注２）」を組み込んだ深層学習ネットワーク（PredNet）によって、錯視の再現ができるかどうかを検証しました。深層学習ネットワークに、我々の日常生活などの自然な情景を撮影した動画（約５時間）を繰り返し学習させたところ、学習した後の深層学習ネットワークは、実際に動いているプロペラが回転する動きを予測するだけでなく、「蛇の回転錯視」が引き起こす、あたかも画像が回転しているかのように見える回転運動様の錯覚すらも再現することがわかりました（図１）。
本成果は、錯視を深層学習ネットワークが再現した世界で初めての事例であり、錯視を引き起こすメカニズムのひとつとして予測符号化理論が有力な仮説であることを支持しています。今後、錯視を判断基準にした深層学習は、脳の動作原理の解明に貢献すると期待されます。本成果は2018年3月15日付けで学術誌 Frontiers in Psychologyに掲載されました。研究内容の詳細につきましては、基生研のプレスリリースにて。
 |
| 【図１】蛇の回転錯視（左図は左回転、右図は無回転）の運動知覚が深層学習ネットワークによって再現されました。連続した二枚の予測画像からオプチカルフローを検出し、ベクトルとして表現した（黄色の点がベクトルの始点、赤い線がベクトルの方向と大きさを示しています。 |
######
“Illusory Motion Reproduced by Deep Neural Networks Trained for Prediction”
Eiji Watanabe, Akiyoshi Kitaoka, Kiwako Sakamoto, Masaki Yasugi and Kenta Tanaka
Eiji Watanabe, Akiyoshi Kitaoka, Kiwako Sakamoto, Masaki Yasugi and Kenta Tanaka
DOI: 10.3389/fpsyg.2018.00345
#################################################################
蛇の回転錯視：立命館大学の北岡明佳博士が２００３年に考案した錯視（「北岡明佳の錯視のページ」http://www.ritsumei.ac.jp/~akitaoka/）。静止画であるにもかかわらず強い運動知覚を生じさせる。人だけではなくサルやネコ、魚にも知覚されると考えられている錯視であり、生理学的な知見も集積している。北岡博士は、蛇の回転錯視以外にも多くの錯視を考案しているが、中でも特に２００８年に発表されたシマシマガクガク錯視は、米国アーティストであるレディー・ガガのアルバムジャケットに採用されたことで有名。
http://www.ritsumei.jp/news/detail_j/topics/12336/year/2013/publish/1
注２）
予測符号化：RaoとBallardによって１９９９年（Nature Neuroscience）に提唱された視覚系大脳皮質の動作原理に関する仮説。大脳皮質は常に視覚世界の予測をしており、感覚入力と予測との誤差のみを学習しているとする。現在大脳皮質の動作原理を説明する仮説の中では最も有力なもののひとつ。
https://www.nature.com/articles/nn0199_79
追記）
本論文は、Frontiers in Psychology誌のPerception Science分野のチーフエディターであるRufin VanRullenのレビュー、
VanRullen, R. (2017). Perception science in the age of deep neural networks. Front. Psychol. 8:142. doi: 10.3389/fpsyg.2017.00142
https://www.frontiersin.org/articles/10.3389/fpsyg.2017.00142
の檄文を受けてFrontiers in Psychology誌に投稿されたものです。論文のエディターは、VanRullen、査読者のひとりはPredNetの開発者です。
私たちの研究グループは、錯視を生じさせる神経ネットワークは、予測学習による結果とではないかという仮説を２０１０年に提唱しています（錯視と予測符号化の関係を論じた最も初期の記述のひとつになります）。このときは予測符号化と呼ばずに、もっと汎用概念「デルタモデル」という名称で仮説を提案しています。
Watanabe, E., Matsunaga, W., and Kitaoka, A., Motion signals deflect relative positions of moving objects, Vision Research 50, 2381-2390 (2010)
今回の深層学習による研究は、このときの仮説をより直接的に検証したものになります。
本論文の最後の下りで「逆心理学（Reverse Psychology）」という手法を提案しています。逆遺伝学が構成最小単位である遺伝子から生物個体の表現型を解き明かしていったように、逆心理学では構成最小単位であるニューロンの働きから心の表現型を解き明かしていくことを期待しています。逆心理学（あるいは逆神経科学）が新しい神経科学の地平を切り拓いてくれるでしょう。
#################################################################
Frontiers Featured NEWS (2018) April 26
https://blog.frontiersin.org/2018/04/26/artificial-intelligence-tricked-by-optical-illusion-just-like-humans/
#################################################################
ニュートン ２０１８年６月号 フォーカス記事
http://www.newtonpress.co.jp/
#################################################################
A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception (28 May 2018)
PredNetの考案者らによる続報です。主観的輪郭、フラッシュラグ効果がPredNetによって再現されています。
https://arxiv.org/abs/1805.10734
#################################################################
動き錯視を再現する簡単なモデル（２０１８年６月９日）
簡単な数理モデルで回転錯視を再現しようと試みています。深層学習による回転錯視の再現との対比が面白く展開しましています。
https://qiita.com/stnk20/items/c36bef359a8f92d058b0 https://twitter.com/stnk20/status/1003963496050987008
2018年3月5日月曜日
3DCGメダカ作成マニュアル
3DCGメダカ作成マニュアルをリ公開しました。
動物の写真だけから動物の立体モデルを簡単に作成することができます。
動物行動学をはじめ様々な用途があると思います。
八杉公基研究員の労作です。是非ご活用下さい。
https://doi.org/10.6084/m9.figshare.5947066
動物の写真だけから動物の立体モデルを簡単に作成することができます。
動物行動学をはじめ様々な用途があると思います。
八杉公基研究員の労作です。是非ご活用下さい。
https://doi.org/10.6084/m9.figshare.5947066
2017年9月5日火曜日
メダカの色覚の季節変化
 |
| 季節によって色が変わるメダカ（基生研プレスリリースより） |
基礎生物学研究所 季節生物学研究部門との共同研究の成果が、論文として発表されました。私たちのラボで開発されたメダカのバーチャルリアリティ提示システムが使用されました。
詳細は、基生研プレスリリースにて。
Nature Communications 2017年9月4日18時掲載
論文タイトル:“Dynamic plasticity in phototransduction regulates seasonal changes in color perception”
著者: Tsuyoshi Shimmura, Tomoya Nakayama, Ai Shinomiya, Shoji Fukamachi, Masaki Yasugi, Eiji Watanabe, Takayuki Shimo, Takumi Senga, Toshiya Nishimura, Minoru Tanaka, Yasuhiro Kamei, Kiyoshi Naruse, Takashi Yoshimura （新村毅、中山友哉、四宮愛、深町昌司、八杉公基、渡辺英治、下貴行、千賀琢未、西村俊哉、田中実、亀井保博、成瀬清、吉村崇）
http://dx.doi.org/10.1038/s41467-017-00432-8
2017年4月12日水曜日
PLOS ONE誌に論文を発表しました。
基礎生物学研究所（神経生理学研究室）の中易知大研究員（現信州大学）、八杉公基研究員、渡辺英治准教授らと、九州大学の白石壮馬大学院生（現NEC）、内田誠一教授の研究グループは、３次元コンピュータグラフィックス（3DCG）アニメーションなどのヴァーチャルリアリティ技術を取り入れ、実物とほとんど見分けがつかない「ヴァーチャルメダカ」を作成し、これを用いることで、メダカが色、形、移動軌跡（全体的な動き）、体軸運動（尾ビレなどの局所的な動き）など様々な情報を駆使して、群れる相手を選択することを明らかにしました。色、形などの形態情報に加えて、移動軌跡、体軸運動などの運動情報を同時に統制・操作できるヴァーチャルメダカを開発することで従来不可能であった研究が可能になり、動物がどのように同種・異種を判断しているのかなど動物の群れ形成および視覚認知メカニズムの解明につながると期待されます。
掲載論文
Three-dimensional computer graphic animations for studying social approach behaviour in medaka fish: Effects of systematic manipulation of morphological and motion cues
Tomohiro Nakayasu, Masaki Yasugi, Soma Shiraishi, Seiichi Uchida, Eiji Watanabe
Research Article | published 11 Apr 2017 PLOS ONE
https://doi.org/10.1371/journal.pone.0175059
関連するデジタルコンテンツ（フリーで使用できます）
http://www.nibb.ac.jp/neurophys/download/
１）ポリゴンモデル（３ｄｓＭＡＸ）スタジオ和オリエント（株）作製
２）動画（ＭＰ４）
３）オブジェクトトラッカー（Medaka Fish Tracker 3.7 for Windows)
★プレスリリース（基生研ＨＰ）
★参考動画（YouTube）
 |
| メダカの三次元モデル |
Three-dimensional computer graphic animations for studying social approach behaviour in medaka fish: Effects of systematic manipulation of morphological and motion cues
Tomohiro Nakayasu, Masaki Yasugi, Soma Shiraishi, Seiichi Uchida, Eiji Watanabe
Research Article | published 11 Apr 2017 PLOS ONE
https://doi.org/10.1371/journal.pone.0175059
関連するデジタルコンテンツ（フリーで使用できます）
http://www.nibb.ac.jp/neurophys/download/
１）ポリゴンモデル（３ｄｓＭＡＸ）スタジオ和オリエント（株）作製
２）動画（ＭＰ４）
３）オブジェクトトラッカー（Medaka Fish Tracker 3.7 for Windows)
★プレスリリース（基生研ＨＰ）
★参考動画（YouTube）
2016年2月1日月曜日
３Dアニメーションモデルによるメダカの社会性行動の解析
精密なメダカの３Dアニメーションモデルを構築し、
メダカの社会性行動の解析を行っています。
成果の一部を以下の学会で報告しました。
The Sixth International Symposium on Aero Aqua Bio-Mechanisms (Honolulu, Hawaii)
第３８回日本神経科学大会（横浜）
Behaviour 2015 (Cairns, Australia)
"How to hack animals using virtual reality technologies" Tomohiro Nakayasu and Eiji Watanabe （招待講演）
メダカの社会性行動の解析を行っています。
成果の一部を以下の学会で報告しました。
The Sixth International Symposium on Aero Aqua Bio-Mechanisms (Honolulu, Hawaii)
第３８回日本神経科学大会（横浜）
Behaviour 2015 (Cairns, Australia)
"How to hack animals using virtual reality technologies" Tomohiro Nakayasu and Eiji Watanabe （招待講演）
 |
| メダカ♂３Dポリゴンモデル |
登録:
投稿 (Atom)