Matsuno SHOGO (松野 省吾)

Offer Organization: 日本学術振興会, System Name: 科学研究費助成事業, Category: 基盤研究(C), Fund Type: -, Overall Grant Amount: - (direct: 2900000, indirect: 870000)
ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちでも利用が可能である。しかしながら、従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。
令和３年度の研究では、視線方向識別のための学習モデルを新規に作成し、研究代表者らの従来の手法では上下左右正面の５方向の視線を識別していたものを、左上右上を追加し７方向の識別を可能とした。これにより、パソコン画面上でのカーソル移動の操作性が向上し、カーソル移動だけでなく入力画面の切り替えなどを視線のみで簡単に行える入力インタフェースを構築することができる。
また、畳み込みニューラルネットワークを時間軸方向に拡張した3D-CNNを応用し、ユーザの瞬目を検出する新しい手法を開発した。新たに構築した3D-CNNを用い、意識的な瞬目と無意識に生じる瞬目を撮影した眼球近傍の動画像ファイルから学習モデルを構築したところ、意識的な瞬目の検出を高精度にキャリブレーションフリーで行なえることを実験により確認した。
令和３年度に開発したこれらの手法のうち、視線方向識別については一般的なパソコンでリアルタイム処理が可能であるものの、瞬目検出についてはまだオフライン処理を行っている。今後、瞬目検出のリアルタイム処理を実現し、視線方向識別手法と組み合わせて実用的な視線入力インタフェースを構築する。

Offer Organization: Japan Society for the Promotion of Science, System Name: Grants-in-Aid for Scientific Research, Category: Grant-in-Aid for Early-Career Scientists, Fund Type: -, Overall Grant Amount: - (direct: 3600000, indirect: 1080000)
本研究では，遠隔・仮想空間におけるコミュニケーションの質的な向上を目指し，非言語情報によるインタラクションを感性情報によって活性化するコミュニケーション支援インタフェースの開発を目的としている．具体的には，ユーザの視線と瞬目の情報を捉え，コミュニケーションにおける話者の感性情報の表出を計測することで，遠隔コミュニケーション時に欠落してしまう非言語インタラクションの復元を試み，情報の相互共有を促すシステムの構築を目指す．このようなシステムの要素技術として，視線計測と瞬目種類の検出と識別が必要となるが，これらのうち瞬目種類の識別について，研究代表者は実用的な方法を既に開発しており，本研究では話者の感性情報の表出と，視線移動や瞬目の生起の関係性について研究を進めている．
視線移動や瞬目は数百ミリ秒で一連の動作を完了する比較的高速な生理現象である．そのため，専用の計測機器（アイトラッカー）を使用して，コミュニケーション時における話者の視線移動を高時間分解能で記録することで，感性情報を推測するための基準となるパラメータの調査を進めている．このとき，研究代表者らの開発した瞬目識別アルゴリズムとアイトラッカーの提供するAPIを組み合わせることで，特定の動作を自動的に計量するソフトウェアの開発を行い，本研究で構築する計測環境であっても視線計測と瞬目識別の自動計測が可能であることを予備実験により確認している．

Offer Organization: Japan Society for the Promotion of Science, System Name: Grants-in-Aid for Scientific Research, Category: Grant-in-Aid for Scientific Research (C), Fund Type: -, Overall Grant Amount: - (direct: 2700000, indirect: 810000)
We researched to realize an eye glance or electroencephalogram(EEG) input interface that enables input to a portable device using eye glance or EEGs without using fingers. For eye glance input, instantaneous other view (eye glance) was used. For EEG input, lighting interval fluctuation stimulus was used. In the case of eye glance input, it was possible to detect eye glances with a discrimination rate of 90% or more by image analysis using Open CV. In the case of EEG input, it was possible to detect the blinking stimulus that subjects gaze with a discrimination rate of 90% or more by transient type EEG analysis using the lighting interval fluctuation stimulus. Furthermore, we proposed a general purpose design that can input many options with a small number of degrees of freedom as an interface for portable devices, and examined a gesture input method using wrist movement.