ここから本文です
プロジェクタの投影画面を指先で操作できる タッチセンシング技術を開発 ～直接触れずに空中で指示する応用も実現可能～ どこでもタッチディスプレイ化に期待
2021年08月06日
【概要】
奈良先端科学技術大学院大学（学長：塩﨑一裕）先端科学技術研究科 情報科学領域 光メディアインタフェース研究室の辻茉佑香 (博士後期課程1年)、向川康博教授、舩冨卓哉准教授と東海大学（学長：山田清志）情報通信学部の久保尋之講師、アリゾナ州立大学のSuren Jayasuriya（スレン ジャヤスリヤ）助教のグループは、プロジェクタで壁など平面に投影した映像について、スマートフォンのように画面に指で触れて操作できるタッチセンシング機能をつける技術を共同で開発しました。どのような平面でもタッチディスプレイ化できるうえ、投影した平面に直接触れず空中で操作する簡便な装置への応用が期待されます。
本研究では、プロジェクタとカメラを組み合わせて、指が特定の平面に近づいたことを検知するシステムを構築しました。これは、プロジェクタの平面映像にタッチしている指の一部だけをカメラ（ローリングシャッターカメラ）で撮影し、コンピュータ処理により指がタッチした位置情報を検出して投影映像に反映する方式です（図3参照）。これまでの手法とは異なり、指の位置を検出するための光源が不要で、その結果として安価で小型な点が特徴です。
さらに、センシングする領域を適切に設定すれば、例えば平面から1～2cm離れた位置からのタッチ操作が実現可能で、画面に直接触れない空中操作への応用が可能になります。
この研究成果は、国際学術誌IEEE ACCESS（出版国：アメリカ合衆国）にオンラインでEarly Access版が公開されています。
【https://ieeexplore.ieee.org/document/9495800】
【背景と目的】
床や壁にプロジェクタで映像を投影すると、さまざまな平面を仮想的にディスプレイにすることができます。しかし、もともと床などにはスマートフォンのようなタッチセンシングの仕組みが備わっていないことから、映像投影した面に直接触れて操作をするためには、追加のタッチセンシング機能を実装する必要があります。
ところが、従来の画像処理でタッチセンシングを実現するとき、プロジェクタの映像が手の映像にかぶさって検出を妨げてしまうこと（図1）や、どの位置にタッチしているかどうかを1台のカメラ映像から判定するのが難しい（図2）といった課題がありました。
こうしたことから、本研究では、プロジェクタの映像に影響されず、一般的な1台のカメラを使った映像処理でのタッチセンシングの実現を目指しました。
【解説・特徴】
カメラでシーンを撮影すると、通常はファインダーの範囲に収まる状景が余すことなく写し取られます。そこで本研究では、プロジェクタと、操作する指を撮影するカメラを組み合わせて一体化し、コンピュータ処理することで、指で触れたかどうかの判定に必要な特定の奥行き・傾き・厚みの部分だけに限定することができました。
そのために使用したカメラはローリングシャッターという方式で、撮影対象を1ラインずつ上から順に撮影することができます。このカメラにより、投影される平面に対し、少し上部にある部分だけを平面と平行の方向に数㎝の厚みで撮影すれば、指がタッチした場合は指の一部が撮影され、そうでない場合は指が撮影されない仕組みを作ることができます。これによって、指が面にタッチしているかどうかを、1台のカメラから判定することができます（図3、4、5）。
今回の研究では、カメラがプロジェクタ映像そのものを撮影しないため、例えばプロジェクタ映像にリアルな手が含まれていた場合にも、コンピュータは本物の手と映像の手を区別することができます（図6）。また、投影映像はときに重要な情報を含むことがあるため、プロジェクタ映像を撮影せずにタッチセンシングを行うことはプライバシーの観点でも有効です。
【今後の展開】
本研究は、タッチセンシングする領域をコントロールすることができるため、平面に直接タッチせずに、空中でタッチ操作を行えるようなタッチレス操作への応用が可能だと考えています。空中操作は、人と人との間接的な接触を減らすポテンシャルを秘めており、感染症対策にも有効です。
【用語解説】
① タッチセンシング機能：指で触れて操作するためのセンシング方式。タッチ操作はさまざまな操作方式の中でも最も直感的であり、最も身近であると言える。スマホのタッチ画面のように、画面そのものにタッチセンシング機構がある静電容量方式が最も一般的。
② ローリングシャッターCMOSカメラ：カメラのセンサ素子（イメージセンサ）が上部のラインから順に露光が開始される方式のカメラ。安価に製造できることなどが特徴。
③ レーザ走査プロジェクタ：レーザ光が内蔵の振動式小型のミラーに反射し、スクリーンを2次元的に走査することによって映像を投影する方式のプロジェクタ。超小型で低消費電力な点が特徴。
【お問い合わせ先】
＜研究に関すること＞
奈良先端科学技術大学院大学 先端科学技術研究科 光メディアインタフェース研究室
教授 向川康博
TEL：0743-72-5280 E-mail：omi-staffs@is.naist.jp
東海大学 情報通信学部 情報メディア学科
講師 久保尋之
TEL：03-3441-1171㈹ E-mail：hkubo@tsc.u-tokai.ac.jp
＜報道に関すること＞
奈良先端科学技術大学院大学 企画総務課 渉外企画係
TEL:：0743-72-5063 FAX：0743-72-5011
E-mail：s-kikaku@ad.naist.jp
東海大学 東京キャンパス（高輪校舎） 広報担当
TEL：03-3441-1171㈹ FAX：03-3447-6005
E-mail：yk102782@tsc.u-tokai.ac.jp
奈良先端科学技術大学院大学（学長：塩﨑一裕）先端科学技術研究科 情報科学領域 光メディアインタフェース研究室の辻茉佑香 (博士後期課程1年)、向川康博教授、舩冨卓哉准教授と東海大学（学長：山田清志）情報通信学部の久保尋之講師、アリゾナ州立大学のSuren Jayasuriya（スレン ジャヤスリヤ）助教のグループは、プロジェクタで壁など平面に投影した映像について、スマートフォンのように画面に指で触れて操作できるタッチセンシング機能をつける技術を共同で開発しました。どのような平面でもタッチディスプレイ化できるうえ、投影した平面に直接触れず空中で操作する簡便な装置への応用が期待されます。
本研究では、プロジェクタとカメラを組み合わせて、指が特定の平面に近づいたことを検知するシステムを構築しました。これは、プロジェクタの平面映像にタッチしている指の一部だけをカメラ（ローリングシャッターカメラ）で撮影し、コンピュータ処理により指がタッチした位置情報を検出して投影映像に反映する方式です（図3参照）。これまでの手法とは異なり、指の位置を検出するための光源が不要で、その結果として安価で小型な点が特徴です。
さらに、センシングする領域を適切に設定すれば、例えば平面から1～2cm離れた位置からのタッチ操作が実現可能で、画面に直接触れない空中操作への応用が可能になります。
この研究成果は、国際学術誌IEEE ACCESS（出版国：アメリカ合衆国）にオンラインでEarly Access版が公開されています。
【https://ieeexplore.ieee.org/document/9495800】
【背景と目的】
床や壁にプロジェクタで映像を投影すると、さまざまな平面を仮想的にディスプレイにすることができます。しかし、もともと床などにはスマートフォンのようなタッチセンシングの仕組みが備わっていないことから、映像投影した面に直接触れて操作をするためには、追加のタッチセンシング機能を実装する必要があります。
ところが、従来の画像処理でタッチセンシングを実現するとき、プロジェクタの映像が手の映像にかぶさって検出を妨げてしまうこと（図1）や、どの位置にタッチしているかどうかを1台のカメラ映像から判定するのが難しい（図2）といった課題がありました。
こうしたことから、本研究では、プロジェクタの映像に影響されず、一般的な1台のカメラを使った映像処理でのタッチセンシングの実現を目指しました。
【解説・特徴】
カメラでシーンを撮影すると、通常はファインダーの範囲に収まる状景が余すことなく写し取られます。そこで本研究では、プロジェクタと、操作する指を撮影するカメラを組み合わせて一体化し、コンピュータ処理することで、指で触れたかどうかの判定に必要な特定の奥行き・傾き・厚みの部分だけに限定することができました。
そのために使用したカメラはローリングシャッターという方式で、撮影対象を1ラインずつ上から順に撮影することができます。このカメラにより、投影される平面に対し、少し上部にある部分だけを平面と平行の方向に数㎝の厚みで撮影すれば、指がタッチした場合は指の一部が撮影され、そうでない場合は指が撮影されない仕組みを作ることができます。これによって、指が面にタッチしているかどうかを、1台のカメラから判定することができます（図3、4、5）。
今回の研究では、カメラがプロジェクタ映像そのものを撮影しないため、例えばプロジェクタ映像にリアルな手が含まれていた場合にも、コンピュータは本物の手と映像の手を区別することができます（図6）。また、投影映像はときに重要な情報を含むことがあるため、プロジェクタ映像を撮影せずにタッチセンシングを行うことはプライバシーの観点でも有効です。
【今後の展開】
本研究は、タッチセンシングする領域をコントロールすることができるため、平面に直接タッチせずに、空中でタッチ操作を行えるようなタッチレス操作への応用が可能だと考えています。空中操作は、人と人との間接的な接触を減らすポテンシャルを秘めており、感染症対策にも有効です。
【用語解説】
① タッチセンシング機能：指で触れて操作するためのセンシング方式。タッチ操作はさまざまな操作方式の中でも最も直感的であり、最も身近であると言える。スマホのタッチ画面のように、画面そのものにタッチセンシング機構がある静電容量方式が最も一般的。
② ローリングシャッターCMOSカメラ：カメラのセンサ素子（イメージセンサ）が上部のラインから順に露光が開始される方式のカメラ。安価に製造できることなどが特徴。
③ レーザ走査プロジェクタ：レーザ光が内蔵の振動式小型のミラーに反射し、スクリーンを2次元的に走査することによって映像を投影する方式のプロジェクタ。超小型で低消費電力な点が特徴。
【お問い合わせ先】
＜研究に関すること＞
奈良先端科学技術大学院大学 先端科学技術研究科 光メディアインタフェース研究室
教授 向川康博
TEL：0743-72-5280 E-mail：omi-staffs@is.naist.jp
東海大学 情報通信学部 情報メディア学科
講師 久保尋之
TEL：03-3441-1171㈹ E-mail：hkubo@tsc.u-tokai.ac.jp
＜報道に関すること＞
奈良先端科学技術大学院大学 企画総務課 渉外企画係
TEL:：0743-72-5063 FAX：0743-72-5011
E-mail：s-kikaku@ad.naist.jp
東海大学 東京キャンパス（高輪校舎） 広報担当
TEL：03-3441-1171㈹ FAX：03-3447-6005
E-mail：yk102782@tsc.u-tokai.ac.jp
