Research Topics

概要 / Overview

センサ・機械学習・ネットワーク・アプリケーションなどを複合的に組み合わせた,新しいユビキタスサービスの研究を行っています.中でも,センサ(IoT)と機械学習(AI)を用いた人の行動認識に関する研究を軸としており,その実現のために新しいセンサの開発からアプリケーションの実装まで幅広く実施しています.近年では,行動認識の先にある研究として,情報技術による行動変容の励起と,行動変容を踏まえた社会ステムに関する研究に力を入れています.ダイバーシティティを重視し,さまざまなスキルを持った優秀な学生たちに加え,多くの企業とコラボレーションしながら研究を進めています.

My research field is all kinds of ubiquitous computing systems composed from sensors, network, applications, and data analysis. Particularly, I focus on human activity/behavior recognition based on various sensors (IoT) and machine learning (AI). Toward an accurate recognition and prediction, my research cover wide topics from the development of new hardwares to the implementation of mobile application. As a challenging future topic, I started the research on “behavior change by digital intervention”, in which information technology affects our behavior in the society.

テーマは大きく分けて,スマートホーム・オフィス,スマートライフ・スポーツ,そしてスマートシティの3つ領域に分かれています.各領域の中で,下図に示すような様々な研究を実施しています.

Main research topics are smart home & office, smart life & sports, and smart city. The research keywords are appeared in the following figure.

スマートホーム & オフィス / Smart home & Office

スマートホーム環境 / Smart home environment
2013年,奈良先端大学内に,1LDKのスマートホーム環境を構築しました.リビング,寝室,キッチン,お風呂,トイレといった基本的な設備を備えた家で,実際に住むことができます.ここには,屋内位測位装置や各種センサ(消費電力や環境など)が多数設置されています.家電はHEMSあるいは赤外線で集中制御可能となっています.
We built an actual smart home inside our lab in 2013. It consists of 2 rooms, kitchen, bath room, toilet and many sensors. Representative sensor is a high accuracy indoor positioning sensor based on TDOA. Others sensors are motion sensors, environmental sensors, electrical power sensors. All the appliances are controlled by IR commander or HEMS.

Download (PDF, 1.4MB)

shome2 行動認識 / Activity recognition
スマートホームにおける主な研究は行動認識に関するものです.さまざまなセンサと機械学習を駆使して,居住者の行動を推定するシステムを構築しています.今では,位置情報と消費電力情報によって,約90%の行動が把握できるようになってきています.
We try to recognize inhabitant’s context by using various sensors and machine learning. Representative sensor is an indoor positioning sensor and electronic power sensor. By observing the change of power consumption and position, the smart home can understand 90% of inhabitant’s activities.

屋内位置測位 / Indoor Localization
位置情報は,居住者の行動認識において,非常に強力なセンサとなります.スマートホーム環境には,世界最高精度の屋内位置測位システムが導入されていますが,非常に高価なシステムであり,一般家庭に普及するものではありません.そこで,光や音,ビーコンなど安価に得られる情報を用いた新しい屋内位置測位システムの研究を行っています.
“Position” is one of the strong information to recognize inhabitant’s behaviors. In our smart home equips an accurate indoor positioning system made by the commercial company. However, it is quite expensive and it requires an inhabitant to wear a special tag on his arm. Therefore, we try to propose a novel indoor localization methods that utilize the ambient light, sounds, and wireless beacon signals.

家電制御技術 / Adaptive Appliance Control
行動認識に基づいた荷電制御の研究を行っています.例えば,かざすだけでどの家電を操作したいのかを推定し,その家電用のリモコンになる適用的リモコンや,複数の冷暖家電を組み合わせて高速かつ省エネに快適環境へ遷移させるシステムなどを開発しています.
we propose an appliance control system which has advantage of both remote controls and gesture recognition by utilizing a high-accuracy indoor localization system. In addition, we propose an automatic appliance control system based on the context. It considers the best combination of various appliance in terms of the cost and time.

新しいセンサモジュールの開発 / New Sensor Module
行動認識の精度改善や社会実装に向けて,新しいセンサも開発しています.例えば,太陽電池だけで動作するエナジーハーベスト人感センサ,体温を遠隔から検知するサーマルセンサ,ビルトイン家電用の電力計,1秒ごとに計測可能な電力計,音響解析機能内蔵マイク,といったものが開発されています.オフィス向けには,姿勢を認識する椅子やストレスを検知するマウス,なども開発しています.
We have developed various sensors for the research. Representative sensors are energy harvest wireless motion sensor, water faucet sensor, electric power sensor, privacy-aware sound sensor.

mhchk スマートオフィス / Smart Office
オフィスにおけるセンシングとして,ストレスセンシングを行っています.キーボードやマウス,ヘッドセット,椅子などオフィス環境で利用されるモノの中にセンサを埋め込むことで,仕事に影響をあたえることなく,労働者の状態を計測し,定常時との差分からストレスを検知しようと試みています.
We built the system for monitoring the stress of office workers called “Mobile Health Check Kit for Office”. It is based on the laptop having Intel RealSense such as NEC LaVie Hybrid Advance (HA850/AAS) and the thermal image sensor is added on the top. Intel Realsense is used for monitoring heart rate, counting eye blinking, and mouth movement. In addition, we measure the number of key typing, typing sound, and mouse distance. These measured data are integrated in our developed desktop application and are visualized by the graph.

daycare 社会実装 / Field Experiment
スマートホームでの研究成果は,老人ホーム,幼稚園,コールセンタなどで実験的に導入されつつあります.実環境での利用を通じて,システムの課題を明らかにすることと,研究成果の実用化が目的です.
From Jan. 2016, we have started the experimental research in an actual day-care center, where about 15 seniors are visiting for a rehabilitation everyday. Our system consists of a special beacon and beacon scanner, and tries to support the recording task of care workers based on our activity recognition technologies.

スマートライフ・スポーツ / Smart life and sports

senstick 超小型マルチセンシングボード SenStick / Ultra Tiny Multi-Sensing Board SenStick
SenStickは,代表的な8種類のMEMSセンサを超小型基板に実装した世界最小クラスのBLE搭載マルチセンシングボードおよび周辺ソフトウェアの総称です.電子工作をすることなく,購入後すぐに,IoTの本質であるデータ分析に注力できるように開発されました.iOS/Android向けのアプリケーションやNode.jsのライブラリを用いることで誰でも手軽にデータ計測が可能になります.小型かつスティック型という珍しい形状は,メガネやお箸,杖といった細長いモノや小さいモノをIoT化するのに向いています.ボタン電池駆動ではなく,一般的なLiPoバッテリを採用しており,1回の充電で24時間以上(105mAhとして)のセンシングが可能です.また,BLEチップとして,Nordic社のnRF52を搭載しており,Cortex-M4Fによる高度なデータ処理も可能です.一般的なBLEセンサと異なり,大容量フラッシュメモリ(32Mバイト)をボード上に実装しているため,スマートフォン無しで連続ロギングが可能なことも特徴の一つです.そして,SenStickは,回路図,ファームウェア,周辺ソフトウェア,すべて大学の研究成果として公開しており,自身でファームを書き換えてオリジナルのセンサボードを開発することも可能です.
SenStick is a novel ultra tiny sensor board made for sensing our tiny activities in our life. The most impressive point is its size. The size is 75mm(W) x 10mm(H) x 5mm(D) and its weight is around 3 (g) including a battery. On this tiny board, 8 sensors (acceleration, gyro, magnetic, light, UV, temperature, humidity, and pressure), flash memory, BLE, and battery are embedded in high density. Second interesting point is that it has a flash memory for recording all the sensing data. To record an accurate raw data without any loss is quite important for research purpose. If all the sensor data are transmitted via BLE, the battery will be soon wasted. In addition, BLE is not reliable. Therefore, we add the flash memory on the board and only the sampling data is transmitted through BLE. As a result, it works more than 10 hours. In addition to the hardware, we are now implementing a support software for iPhone/Android and Mac. Furthermore, 3D CAD data of various case designs will be open for users. SenStick enables everyone to make every things sensor!

Web site 1: https://www.facebook.com/UltraTinySensorBoardSenStick/
Web site 2: http://senstick.com/

Download (PDF, 1.44MB)

touch タッチ操作の挙動分析 / Touch Analyzer
スマートフォンには,さまざまなセンサが搭載さており,それを駆使した行動認識の研究が行われています.その中で,我々は,タッチパネルをセンサとして使う方法を提案しています.タッチエリア,スワイプの速度,タッチの圧力といったデータから,スマホ使用者の状態を推定できないかと考えています.例えば,利き手を理解して,反対の手で何が行われているのか(喫煙や食事など)を推定したり,手の大きさからユーザ属性(男女,年齢など)を推定したり,操作スキルに応じたUI(User Interface)を提供できないか,などについて研究を行っています. Touch Analyzerは,こうした研究を行うための基盤ツールであり,Android端末上での操作情報をすべてロギングできるものです.
we propose a system that utilizes user touch behavior on Android as a sensor that recognizes human context. The novelty of our system lies in its use of the touch panel, which is originally an interface, as a sensor. As an initial study, we developed a system for Android that monitors touch operations. Currently, Android security prevents background access to the touch log data of applications without root access. Furthermore, because “touch” is not a default sensor, normal users cannot easily translate touch log data into actual touch behavior. To address these challenges, we accessed the event-device log, which allows our system to monitor the touch operations for all applications, without requiring root access. In addition, our system can categorize eight representative touch operations from the touch log data: the number of fingers, the data-points, and the relationship between the start-point and the end-point.

touch Waiston Belt
肥満を抑制することと良い姿勢を指導することを目的とした,ベルト型ウェアラブルデバイスWaistonBeltを開発しています. WaistonBeltは,これまで度重なるバージョンアップを行い,ウエスト計測機能や姿勢認識機機能を搭載しています. 2016年に,JST START (IoT部門)に採択され,実用化に向けて動き出したところです.

touch ヘルスサポート / Health Support
ダイエット手法の1つとして,食べたものを記録するFood Journalingがあります.この記録作業を簡単かつ継続可能なものにする研究を行っています.簡単にする仕組みとしては,撮影された写真から食べ物とその量,更にカロリーまでを推定する手法を提案しています.提案手法は,写真に写り込んだ箸を手がかりに,皿の直径と高さを算出し,その量を推定します.継続可能にする仕組みとしては,アバター(犬)を導入し,犬を育てるために必要なアイテムを購入するためには,写真をアップロードしなければならないというゲームにしています.

touch 自転車センシング / Cycle Sensing
自転車競技向けの位置情報共有システムを企業と開発しました.このシステムは,自転車に取り付けたビーコンを沿道の観客が検知するというもので,低コストに広域を把握することが可能となっています.実際のレースでも何度か実証実験を重ねており,実用化が期待されます.また,一般の自転車ライダー向けに,そのスキルを評価するシステムを作りました.これは,Stravaという走行データが蓄積されるサイトからの情報に基づき,自身のスキルが,全ユーザに対してどの位置にあるのかを把握するという仕組みです.

touch BGMからの感情認識 / Emotion Estimation from BGM
最近のスマホには,複数枚の写真をつなぎ,コラージュビデオを自動作成する機能が備わっています.より印象的なコラージュを作成するためには,体験時の感情を励起するようなBGMが重要となります.我々はさまざまなBGMに対して,クラウドソーシングを用いて,人がどのように感じるのかという感情モデルを構築しました.それを用いて,写真に対して適切なBGMを自動で割り当て,印象的なコラージュを自動生成するシステムを開発しています.

スマートシティ / Smart city

touch 参加型センシングとゲーミフィケーション / Participatory Sensing and Gamification
一般市民が持つスマートフォンを用い,低コストに都市をセンシングする参加型センシングというものが注目されています.我々の研究室でも,これまでサクラの開花状況をドライブレコーダー画像から自動収集するSakura Sensor,街灯の明るさをセンシングする街灯コレクションといった研究を行ってきました.このようなセンシングを低コストに行おうとすると,ゲームのように楽しんでもらえる必要がありますが,どのようなシナリオや仕掛けが参加者の好奇心を煽るのかは未知数です.そこで,ゲームシナリオを柔軟に変更可能な独自の参加型センシング基盤ParmoSenseを構築しました.ParmoSenseを使えば,複数人が同時に街歩きをして画像を収集する,スタンプラリーを実施する,といった位置情報を含む参加型イベントを容易に構築することが可能となります.その良さを活かして,2016年2017年と神奈川県綾瀬市イベント「びゅ~っとあやせ【参加申込みは締め切りました】 – 綾瀬市役所」, のプラットフォームとして採用されています.

Download (PDF, 469KB)

touch ソーシャルデータ分析 / Social Data Analysis
都市センシング(urban sensing)においては,「人」も重要なセンサの1つとなります.今では,スマートフォンを持ち歩き,TwitterやFacebookなどソーシャルメディア上で,その場所,その時間に思ったことや出来事をつぶやくのは当たり前の行為となっています.これらを収集し,分析することで,都市の中で何が起きているのかを明らかにしたり,その情報伝播のメカニズムについて研究を行ったりしています.例えば,荒川が開発したGeoIMEという日本語入力システムは,位置に応じてIMEの辞書が切り替わるというものですが,この検証にはTwitterの位置情報付きツイートを用いています.Twitterを用いた研究としては,災害時の情報伝播や地域イベントの検出といった研究もあります.他にも,写真SNSであるFlickrを用いたものとして,観光スポットの抽出,アマチュア写真家向けの撮影支援アプリなども開発しています.

Download (PDF, 7.6MB)

touch 行動変容に基づく乗り捨て型カーシェア / One-way car sharing with Behavior Intervention
情報技術の進展により,スマートフォンに提示された予定に基づいて行動し,提示された乗り換えルートにしたがって移動し,ビーコンで配られるクーポンにつられて買い物をするなど,情報技術によって,我々の行動が変化しています.このようなICTによって励起される「行動変容」をうまく使い,医療費増大,交通難民,ごみ問題,施設維持コスト増大など山積した社会問題を少しでも解決しようというチャレンジングな課題に取り組んでいます.実験するための「社会」として,2016年にNAISTに乗り捨て型カーシェアリングシステムを導入し,その社会で起きる車の偏在,という課題を情報技術によって解決するというプロジェクト モビリティ社会システム実験プロジェクト を開始しています.行動認識により,車に乗ってくれそうな潜在ユーザを見つけ出し,AIがメッセージを使って行動変容を誘発します.まだ,実験半ばですが,AIによって効率的に運用される乗り捨て型カーシェアリングシステムの実現を目指しています.

Download (PDF, 3.16MB)

touch 観光情報のキューレーション / Curation of Tourism information

xxxxxx



touch 災害時コミュニケーション / Communication in a disaster

xxxxxx



過去のテーマ / Past topics

  • 2010- : Wireless near field communication based on UDP broadcast.
  • 2009- : Indoor positioning method with WiFi mesh network
  • 2007-2008 : Pre-downloaded Contents Delivery Network based on P2P communication.
  • 2007-2008 : uGrid (Ubiquitous Grid) network and its applications (wall display, IP over everything)
  • 2007-2008 : High speed path calculation method with a dynamic reconfigurable processor DAPDNA2
  • 2001-2006 : QoS control method on Optical Burst Switching Network
  • 2000-2001 : Packet discarding method in ATM networks