IRTが拓く超臨場感遠隔協働環境の研究 | 実世界の臨場感を再現するシミュレーションが医療の訓練・教育を改革する。

医療現場にもたらす新しい臨場感通信

医療現場において、医師が技術や知見を高めるには、長い臨床経験や動物実験に依るのが一般的でした。しかし患者の負担や動物愛護の観点から、こうした熟達方法に疑問を投げかける声が増えつつあります。それと呼応するように誕生したのが、メディカルロボティクスやバーチャルメディスンと呼ばれる分野です。これら新しい分野の発達に伴って、生体の組織研究や外科手術訓練においてもモデリングやシミュレーションが重視されるようになってきました。

すでにハプティック(触覚)デバイスの実用化が進み、遠隔地間で触覚を共有するハプティックスコミュニケーションや触覚協働(仮想)環境の研究も始まっています。しかし物理法則に忠実な、ボリュームベースの臨場感を得られる柔軟物シミュレーションは、いまだ実現していません。またリアルタイム性についても課題が残っています。3次元医療画像全体をストリームして送受信するには、膨大な計算機資源と超高速通信を必要とするからです。これらの技術課題を解決し、現実の医療現場で活用し得る新しい臨場感通信を実現しようとするのが、私たちのプロジェクトです。

人体を視て触れる仮想現実を目指す

私たちの研究では、これまで誰もなし得ていない3つの新しい試みに挑戦しています。一つには、柔らかさや肉感があり、あたかも本物の人体を「視て触って」いるかのような、ボリュームベースの視触覚を実現しようとしている点です。二つ目は、遠く離れた多くの地点間で、視触感を共有できるハプティックコミュニケーションを目指していることです。さらに三つ目は、これを医療現場で使用できるコンピュータでリアルタイムに送受信できるモデルにしようとしています。

まずは滋賀医科大学の協力を得て、マイクロフォースセンサや磁気共鳴断層画像診断(MR)装置を用い、実際の生体内部を撮影します。そして実データをもとに、例えば皮膚を指で押した時の凹みなど、弾性や粘性といった力学的変形特性や内部構造を自動抽出する方法を確立しようとしています。

遠隔地間で同じ操作・触感を可能にする

続く課題は、こうした非一様柔軟物の変形挙動を視触覚提示することです。変形特性や摩擦を考慮し、「中身の詰まった」ボリュームモデルとして表現します。また物体同士やツールとのインタラクティブな視触感も忠実に再現しなければなりません。変形に応じて動的にメッシュ構造を適応させるオンラインリメッシュを用いて、剥離、切断、穿刺といった低侵襲手術のシミュレーションを実現しようとしています。さらに柔軟物がシミュレーション上で変形したり、切断されたりした時に生じる格子点の配置や粗密が不規則な非構造格子状のボリュームデータを、n次元で微分可能なデータにして正規格化し、リアルタイムに可視化します。

ボリュームモデルを遠隔地点で共有(触覚資格の同時共有)

こうした大容量の変形したボリュームデータ自身を送受信する代わりに、私たちは、最少の変形パラメータのみを交信する手法を確立しようとしています。具体的には、遠隔各地点であらかじめ同一のシミュレーションモデルをインストールしておき、操作パラメータのみを同期通信することによって、複数の地点で行われる操作を同時にすべて反映させたシミュレーションを提示しようとしているのです。

すでに肝臓の穿刺シミュレーションモデルを構築し、ロボティクス領域と協力して、リアルタイムな触覚と同レベルの毎秒1000ヘルツの高速データ交信で、相手が触った部位や強さなどを離れた地点で触感できることを実証しました。今後数年で、遠隔触覚協働環境システムを完成させることが目標です。実現すれば、技能伝達メディア・教育メディアとして、医療の教育訓練に画期的な改革をもたらすことでしょう。

超臨場感コミュニケーション、遠隔触覚協働環境、バーチャルリアリティ、遠隔手術訓練、ヒューマンインタフェース、ボリュームデータ、手術シミュレーション

田中弘美 教授

田中弘美 教授

1975年 お茶の水女子大学理学部物理学科卒業。'81年 アメリカ・ロチェスター大学大学院計算科学科マスターコース修了。'88年 大阪大学大学院基礎工学研究科制御工学専攻後期課程修了。工学博士。'75年 (株)富士通勤務。'88年 ATR通信システム研究所客員研究員。'94年 立命館大学理工学部教授。'04年 情報理工学部教授、現在に至る。電子情報通信学会、 情報処理学会、人工知能学会、ロボット学会、芸術科学会、ヒューマンインタフェース学会、IEEE、 Eurographicsに所属。'02年 情報技術委員会委員(文部科学省)、'06年 日本学術会議情報学委員会連携会員。

研究者の詳しいプロフィール
立命館大学研究者データベース:田中弘美
Computer Vision Lab.

このプロジェクトに関連する記事