研究紹介

本質的な興味

「人が，状況や現実の文脈の中で，学ぶ」，「人が，状況に適応した振る舞い（行動）を行う」，「人々が，会話の"場"がもつ意味を，暗黙的に共有する」など，実世界の中で人が発揮させる「社会的な知能」に，本質的な興味を持っています．「このような知能が，どのようなものなのか」という理解と，「どのようにすれば，このような知能を拡張できるのか」という工学的支援方法の実現に，興味をもっています．具体的には，以下です．

【興味1】人のもつ社会的知能の「構成原理」について，科学的説明を与えること．

【興味2】このような知能を拡張する仕組みの「設計論」を明らかにして，また，これを工学的に実装すること．

課題設定

上記の興味をベースとして，いくつかの課題を設定して，研究を行っています．いずれも，「行動を対象としたデータ分析技術の開発」によって実施するものです．

実世界における学習を対象として，「ICT（情報通信技術）による次世代環境教育」，「人間行動の高度理解技術」を創出する研究．これは，「特定の課題（例えば，環境問題）の解決に向けてアクションを起こせる人をどう育成するか」という教育方法論改善への基礎研究となります．また，「人がそもそも有している本質的な知能（賢さ）とは何か」という，人工知能研究の最も基礎的な興味に立ち向かうものです．
一般的な会話の「場」など広くドメインを設定して，人々が，会話の"場"がもつ意味を，暗黙的に共有する際の会話の場の意味構造（セマンティクス）を理解する研究．これは，「人がそもそも有している本質的な知能（賢さ）が何に立脚しているのか」，「"人工知能に対して何かのインタフェースによって媒介・接続された人間社会"を，どう設計するか」を考察するための基礎研究となります．
「人の行動に起因する事故原因」を解明する研究．これは，「高齢社会における交通事故をどう抑制するか」など，安心・安全な社会システムの実現に向けた基礎研究となります．
＜注＞交通情報学（運転習慣の分析など）に関しては，他大学（近畿大学多田先生）との共同研究のスキームに一部参加させていただいているものの，現在，本研究室で学生を受け入れる際のメインテーマとしては，設定しておりません．

行動を対象としたデータ分析技術の開発

分析と計測技術は車の両輪であって，データ分析が扱う対象の範囲は，情報技術の革新と共に広がっています．特に，近年，情報技術（ネットワーク，MEMS（微小電気機械素子技術），センサ）の小型化，高性能化，サービス化に伴い，量的かつ質的に多様なデータを取得できる環境が整いつつあり，情報爆発時代（ビッグデータ，リッチデータ）を迎えています．これは，（1）従来計測できなかったことが計測できるようになり，従来捉えられなかったことを捉えられるようになる，（2）多種多様なデータの分析を通して総合的に現象を把握することで，新しい価値を社会に還元できる，ということです．ただし，量的・質的に多様なデータを分析し，意味のある情報を抽出する手法については，未だ，多くの研究課題が残されています．

このような背景の中，本研究室では，人が実世界でなす知的活動（学習）を対象に，行動に注目したデータ分析技術を開発しています．特に，データマイニング技術（多様なデータから価値のある情報を抽出する技術）によって，意味のある空間情報，意味のある行動情報（特に，知的な行動）を抽出する方法について研究しています．その際，「ユビキタスセンサや知識表現手法を用いて，実世界で生起する知的活動を定量的側面，定性的側面から計測する」，「データの特性を踏まえて分析し，統合的に結果を判断する」などの複合的なテクニックの入った分析方法論を開発しながら，研究を進めています．また，このような分析方法論から得られた知見を，グループウェアシステム（人の協調を支援するための情報システム）の開発などの工学的応用にフィードバックする研究も行っています．

人間行動の理解に向けて，様々なセンサ（現象を見る「目」）を組み合わせ，センサ情報を統合することで，高次の人間理解を行う．図は，シングルボードコンピュータによる実装を行う様子で，サンプル的に紹介．

最近の研究（一部）の紹介

実世界で生起する学習に関してその構造を捉えるべく，計測・モデル化・推定に関わる研究を実施しています．また，最近の取り組みとして，人が共理解を成立させるための「場」を構造化し，会話空間のセマンティクス（意味構造）を捉える研究を進めています．

知識活動の網羅的記録技術～実世界学習の場の中で生起する現象を捉える～

本研究が対象とする実世界学習の場は，教室環境や実験室環境ではないため，空間的な広がりをもちます．そのような場を学習者が自律的に歩き回って自由に観察・調査すると，従来の計測方法では，「学習者が，どこで，どのように環境を捉えて，どのような活動を行い，どのような知識を得たのか」を，捉えきれなくなります．そこで，本研究では，学習者の注視物や会話の記録用のウェアラブルカメラ・マイク，身体動作計測用の複合センサ（位置，加速度，角速度，高度など），及び，これらのデータ処理機構を開発し，実世界にいる学習者が，どこで，何を見て何を話し，どう振舞ったのたかを，観測・記録・分析できるようにしました．さらに，学習者が現場で行った知識活動の内容を，意味ネットワークによって構造化記述させる手法を開発しました．これらのマルチモーダルセンシングデータによって，学習者の知識・体験獲得状況の時系列生起過程を，詳細かつ網羅的に分析することが可能となりました．これは，学習効果測定や要因分析を高度化する際に礎となる計測技術です．

岡田昌也，多田昌裕：``行動計測・知識外化技術による実世界学習の場の空間特性の抽出手法''，情報処理学会論文誌，Vol. 53, No. 4, pp. 1433--1447, 4月，2012. （査読あり）
岡田昌也，鳥山朋二，多田昌裕，角康之，間瀬健二，小暮潔，萩田紀博：``実世界重要体験の抽出・再現に基づく事後学習支援手法の提案''，電子情報通信学会論文誌D，Vol. J91-D, No.1, pp. 65--77，1月，2008. （査読あり）

実世界の場のモデル化技術～知識・体験活動の空間的な生起構造を捉える～

実世界でなされる多様な知識活動に関して，その成り立ちを捉えるために，「環境学習の場として設定された特定のフィールドが，どのような学習を促すのか」，その空間特性をモデル化する研究を行いました．具体的には，ユビキタスセンシングおよび知識外化の技術により，「実世界学習の場が，どのような質の学習を，どの程度の量引き出すか」を計測し，学習活動の空間的生起構造から，場の空間特性を抽出する分析技術を開発しました．その結果，実世界では多様な学習が生起しますが，その内容は場所に依存することが分かり，場所情報を手がかりに学習状況を限定できることが明らかとなりました．また，発見的知識が多い場所など，知識につながるタネとなる物理的な情報が，実世界にどのように分布するか，その空間的な構造を描き出すことを可能としました．これは，その場その場の特性に合わせた適応的な教育を実現し，学習者と実世界の相互作用を再設計することを可能とする分析技術です．

岡田昌也，多田昌裕：``行動計測・知識外化技術による実世界学習の場の空間特性の抽出手法''，情報処理学会論文誌，Vol. 53, No. 4, pp. 1433--1447, 4月，2012. （査読あり）
岡田昌也，多田昌裕，納谷太，鳥山朋二，小暮潔：``場所ごとの重要行動の生起確率に基づく状況考慮型協力依頼手法''，情報処理学会論文誌，Vol. 50, No. 10, pp. 2583--2595，10月，2009．（査読あり）

学習状況の推定技術～知的活動の状況を推定する，体験情報を教材化する～

実世界学習は，実世界での体験学習だけで完結するのではなく，得られた体験を事後に振り返って内省することで，体験の効果を高めることができます．従来の本や教科書は，事前に決められた内容を記載した静的な教材ですが，「多様な状況の中で動的に生起する自然体験」を，ボトムアップ的な学習を促すための教材として構成することに取り組みました．具体的には，実世界の学習者の活動を複数の身体装着型センサで記録し，「学習者が特に重要な学習活動を行っているとき」を，学習者の身体動作情報から高精度に推定する技術を開発しました．そして，学習者が強い興味をもって，共同考察や議論などの重要な学習活動を行っていたときの発話，注視物，周辺状況を，ビデオ，音声，映像空間を用いて時空間的に自動構成する技術を完成させました．また，「学習者の自発的意志に基づく多様な体験の結果」を教材として用いて，学習者らに議論・内省させることで，事後の気付き，発見の効果を良好に与えられることを確かめました．

岡田昌也，鳥山朋二，多田昌裕，角康之，間瀬健二，小暮潔，萩田紀博：``実世界重要体験の抽出・再現に基づく事後学習支援手法の提案''，電子情報通信学会論文誌D，Vol. J91-D, No.1, pp. 65--77，1月，2008. （査読あり）

実世界における学習の質と注意配布行動に関するマルチモーダル分析手法

実際の社会で使える知識は，教科書の中よりも，むしろ実世界の状況の中に埋め込まれています[Lave91]．これまでに，著者は，実世界における発見的学習の状況を，センサ情報から推定し，多様性を萌芽とした知識創造を支援することを目的とした研究を，実施しました．その最終成果の一つである次の論文[岡田2016]を，紹介します．

[岡田2016]岡田昌也，多田昌裕："実世界における学習の質と注意配布行動に関するマルチモーダル分析手法の提案"，情報処理学会論文誌，Vol. 57, No. 1, pp. 379-392, 1月，2016（査読あり）※情報処理学会より，「情報処理学会論文誌ジャーナル特選論文」（きわめて優れた研究成果があって、多くの人に読んでもらうことが推奨される論文）として表彰．

この論文では，実世界における学習の質と学習行動の関係性を明らかにするマルチモーダル分析手法を開発・実践し，状況考慮型の学習支援サービスを駆動する核となる知見の導出を行いました．これは，「実世界に内在する情報の構造を捉える研究」[岡田2012]，「実世界の中での人の振る舞いを捉える研究」[Okada2014a, Okada2014b]を基盤として発展させた研究です．この研究で，実世界の空間を対象とした情報処理の質が，実世界に対する身体的相互作用，特に，3次元的注意配布行動と関係することを示しました．これは，（1）実世界で身体と知的状況が協調すること，（2）学習者の身体を通して外部に表出される行動から，学習者の内部の知的状況を読み解けること，を示す結果です．

この研究によって，実世界学習を評価する際には，学習時における3次元的注意配布状況を捉えることで，彼らの学習の進み具合などを把握し，学習活動の状況が，抽象思考（生態系全体への考察など）へ発展する可能性があるか否かを捉える手がかりになることが分かりました．この手がかりは，実世界学習に対する実時間支援（体験中におけるモバイル端末による支援など），非実時間支援（事後における固定端末による振り返りの支援など）の両方に有用で，学習者の状況を踏まえた支援サービスを駆動する知識エンジンの核として活用できます．すなわち，以上の研究で，実世界における学習状況をセンサで計測・理解することによって，「多様性を萌芽とした知識創造」を支援することが可能となりました．

【参考文献】

[Lave91] Jean Lave and Etienne Wenger, "Situated Learning: Legitimate Peripheral Participation", Cambridge University Press, Cambridge, UK, 1991.
[岡田2012] 岡田昌也，多田昌裕：``行動計測・知識外化技術による実世界学習の場の空間特性の抽出手法''，情報処理学会論文誌，Vol. 53, No. 4, pp. 1433--1447, 4月，2012. （査読あり）
[Okada2014a] Masaya Okada, and Masahiro Tada: ``Analytics of Real-world Learning by Re-constructing Time-series Occurrence of Qualitatively Different Learning and 3D Human Attention'', Proceedings of E-Learn2014, pp.1476-1485, AACE, Louisiana, USA, October 2014 （査読あり）
[Okada2014b] Masaya Okada, and Masahiro Tada: ``Formative Assessment Method of Real-world Learning by Integrating Heterogeneous Elements of Behavior, Knowledge, and the Environment'', Proceedings of The 4th International Conference on Learning Analytics and Knowledge (LAK14), pp. 1--10, ACM, Indiana, USA, March 2014（査読あり）

会話空間のセマンティクス：共理解を成立させるための「場」の構造化・推定手法

人々が会話を通して共理解を行う際には，単に，会話で交換されるメッセージだけではなく，会話の「場」を暗黙的に共有して意味の協同構築の媒体（メディア）としていると考えられます．そこで，会話空間のもつ意味構造に注目し，共理解を成立させるための「場」を構造化・推定する手法を開発しています．具体的には，複数話者が合意事項を重ねる際の発話内容に対して，その文法構造を格解析する手法で，これにアプローチしています．

河合眞幸，岡田昌也：``会話空間のセマンティクス：共理解を成立させるための「場」の構造化・推定手法の提案''，2017年度人工知能学会全国大会（第31回），名古屋，5月，2017．

「状況論的知能」の計算論的理解のための構成・実践型研究手法

実世界においては，取り得る行動の選択肢が膨大に存在しています．しかし，人は，実世界から取得した状況情報から，行動生成に関する制約条件を見出し，適切な行動を決定することができます．本研究では，人が多様な状況のそれぞれに適応した行動を生成することを，「状況論的知能の発現」とよんでいます．

このような，状況論的知能の発現を，人はどのように行っているのでしょうか？

本研究では，人が状況論的知能を発現させる際の計算構造を理解するために，人をある種のロボティクスシステムとして見なした研究手法を提案しています．そして，人の知能発現状況に関して生態学的妥当性を有する実験環境において，(1)実世界における人の知能についてその仮説をもとに行動と状況の視点で確率・数理モデルを構成すること，(2)そのモデルを実践的に検証して得られた知見から新たな仮説(モデル)を生成すること，の二点を繰り返すことを提案しています．現在，この研究手法を基盤にして，状況論的知能の成り立ちについて，構成的かつ実践的に理解する研究を行っています．

永田鴻流，黒木康能，岡田昌也：``状況論的知能の計算論的理解のための構成・実践型研究手法''，2018年度人工知能学会全国大会（第32回），鹿児島，6月，2018．