体の不自由な人の目になり声になる装置

[From August Issue 2010]

Currently, Japanese society is working on overcoming many barriers. And many devices to assist the physically challenged are being developed. The AuxDeco (Forehead Sensory Recognition System) developed by EyePlusPlus Inc. is a device to assist the blind. Worn on the forehead, the user can feel through their skin the shape of an object in front of them. For example, if an object is round, this device uses electronic sensors to simulate a round shape on the person’s forehead. If there is a street crossing, the device simulates a horizontal line. This way, through their skin, a user can better distinguish shapes and forms.

AuxDeco includes a small camera. This camera captures images of objects in front of the user. Then the AuxDeco computer reads and converts the photo’s outline into data. The data is sent through the headband to the forehead. There, 512 installed electrodes recreate the object’s shape via electronic pulses directly onto the user’s forehead.

KANNO Yonezo, the President of EyePlusPlus Inc. says that “We had to make many improvements on the first AuxDecos’ because they were too heavy, and the electronic pulses were too strong and painful. We also developed a program whereby users could purchase the AuxDeco after training with it for 20 to 30 hours. As a result, recent feedback indicates that the AuxDeco is both convenient and safe.” There are also some social groups offering grants to blind individuals who want to purchase the device.

Kanno adds that, “It is a good thing for engineers to pursue technological advances. But how new technology is used to help people is the more important issue.” Kanno is currently on a humanitarian support mission introducing the AuxDeco to India and Southeastern Asia.

Another tool, called the Neurocommunicator, was created by HASEGAWA P. Ryohei, Ph.D, the leader of the Neurotechnology Research Group of the Human Technology Research Institute at the National Institute of Advanced Industrial Science and Technology (AIST). This device interprets a person’s brain waves to determine their intentions which can then be transmitted audibly. Using the Neurocommunicator individual patients with severe motor impairment can convey up to 512 different kinds of messages.

To start, the user puts on the device then looks at one of 8 icons shown on the computer screen in front of them, which include actions such as “eat” and “move.” The computer program analyzes the brain waves and interprets which icon the user is focusing on. The next screen displays another set of 8 icons that are relevant to the initial choice. So if the first icon chosen was “move,” then the next set of icons would include locations such as “bathroom” or “hospital.” After the user chooses their location, another set of icons appears from which the user could choose the action they want to do once they get there. So, if “bathroom” was chosen, then the next 8 icons would include “brush teeth,” and “wash face.” After the user has completed all his choices, in an artificial voice the machine would then say: “I want to go to the bathroom and brush my teeth.”

Three very complicated technologies were required in creating this device. The first was a high-performance, small yet affordable electroencephalograph (EEG); the second was the technology to quickly and correctly decipher the brain wave data, and the third was the program to efficiently create the message. So, after various technological improvements, both an EEG half the size of a cell phone, and a program with the speed to decipher the user’s choices in 3-to-4 seconds, were successfully developed.

“Since we experiment to deepen the understanding of the human brain, sometimes people speak badly of us and we are referred to as the ‘mad scientists’,” admits Hasegawa. “But with devices like this, we believe neuroscience can provide society with beneficial accomplishments.”

EyePlusPlus, Inc.
the National Institute of Advanced Industrial Science and Technology (AIST)

Text: SAZAKI Ryo

[2010年8月号掲載記事]

日本では今、社会全体でバリアフリー化が進められています。そして、 体の不自由な人たちを助ける装置も開発されています。株式会社アイプラスプラスの「オーデコ」(額感覚認識システム)は、目の見えない人を助ける装置です。これを額につけると目の前にある物の形を、肌で感じることができます。例えば丸い物があると、この装置は電気の刺激で額に円の形を描きます。横断歩道があると横線を表示します。このように物の輪郭を額で知ることができるのです。

オーデコには小さなカメラがついています。このカメラで前にある物を撮ります。するとオーデコのコンピューターがその写真から物の輪郭だけを読み取ります。そのデータはオーデコの額にふれている部分に送られます。その部分には512個の電極があり、輪郭のデータと同じ形を電気の刺激によって表します。

アイプラスプラス代表取締役社長の菅野米蔵さんは言います。「始めのころのオーデコは重かったり、電気の刺激が痛いくらい強かったりしたので改良しました。また使い方を20~30時間かけて習ってからオーデコを買う、というシステムもつくりました。その結果、オーデコは便利で安全だと言われるようになりました」。目が見えない人を支援する団体の中には、オーデコを買う人に助成金を出すところもあります。

菅野さんは言います。「エンジニアが技術を追求するのはいいことです。でもその技術をどう人の役に立てるかが大切です」。菅野さんは今、オーデコを人道支援としてインドや東南アジアにも広める活動をしています。

独立行政法人産業技術総合研究所のヒューマンライフテクノロジー研究部門ニューロテクノロジー研究グループ・グループ長の長谷川良平博士は、「ニューロコミュニケーター」という装置をつくりました。これは脳波を利用して人の考えを読みとり、音声で表現してくれる装置です。これを使うと話すことも書くこともできない人でも512種類のメッセージを伝えることができます。

この装置を頭につけた人は、目の前の画面に映し出される、「飲食する」や「移動する」など8つのアイコンのうちの1つに注意を向けます。するとパソコンのプログラムが脳波の変化を分析して、その人の注意がどのアイコンに向いているかを判断します。次の画面では、最初に選んだアイコンに応じてさらに8つのアイコンが提示されます。もし、最初に「移動する」を選んだ場合は、「洗面所」や「病院」など場所のアイコンが表れます。ここから1つを選ぶと、さらにその移動先で行いたい作業、例えば洗面所であれば「歯みがき」や「洗顔」などのアイコンが8つ出ます。このように3回アイコンを選ぶと、その組み合わせで「洗面所に行って歯みがきがしたいです」のようなメッセージを装置が人工音声で話してくれます。

この装置には3つの難しい技術が必要でした。1つめは小さくても高性能で安い脳波計、2つめは脳波データを早く正しく解読する技術、3つめはメッセージを効率よくつくる仕組みでした。改良の結果、携帯電話の半分ほどの大きさの脳波計や、1回の選択あたり3~4秒でデータを解読するプログラムの開発に成功しました。

「脳を調べる実験をする私たちは、マッドサイエンティストと悪く言われることがあります」と長谷川さんは言います。「でもこのような装置によって、脳科学の成果を社会の役に立てることができると思っています」。

株式会社アイプラスプラス
独立行政法人産業技術総合研究所

文:砂崎 良

Leave a Reply