Brict

| JAPANESE | ENGLISH |

画像情報処理研究チーム, 光量子工学研究センター, 理化学研究所

研究紹介


Dr.Yokota

横田 秀夫

理化学研究所 画像情報処理研究チーム チームリーダー

VCAD System Research Program及び生物情報基盤構築チームから引き続き以下の研究を行っています。

研究テーマ

  • 画像処理、CG、CAD、パターン認識の計算法
  • 生物・材料科学のための情報基盤システムの開発
  • 生きている細胞の現象を記載したライブセルモデルの構築
  • 生物情報基盤システムの医療分野への展開
  • 生物情報データ作成のための計測システムの構築
Publication and Presentation List

領域抽出ソフトウェア:V-Catシステムの開発

V-Catの使用例

VCATの役割は物をコンピュータに再現することです。再現した物がVCAD(design, simulation, manufacturing)につながる事を目的にしています。現実に存在する多くのものには設計図がありません。また、設計図から作られる工業製品についても、出来た物と設計図の間にはずれがあります(加工の精度や欠陥等)。物から設計図に相当するデータを作成することは重要です。VCATはVCADワールドの入口の役割を担っています。

VCATシステムの流れ

  • 1.中身の詰まった物の情報を得るために、連続断層画像(小さい間隔で撮影した断面画像群)を取得。
  • 2.断面画像の確認:VCATで観測データを読み込むと、直交3断面・任意斜断面の表示が可能です。
  • 3.対象の領域抽出:関心対象の領域とそうでない領域をマスクづけによって塗りわけます。複数の関心対象(素材毎やオルガネラ毎など)にそれぞれ別々の領域番号を付与できるます。VCATでは基本的にマウス・ペンタブレット等によって人間が領域抽出を行います。ただし、コンピュータによる自動抽出手段として、閾値による2値化・拡張リージョングローイング法が実装されています。領域抽出は、次のVCADデータ生成に必要であるというだけでなく、これによって各領域の体積や重心といった情報を計算できるようになります。例えば、ダイキャスト製品において破壊の原因になる鋳巣の割合を計算したり、細胞全体に対するあるオルガネラの占有率を計算したりできます。
  • 4.VCADデータの生成: 3で設定した領域データを元にサーフェス(表面形状)データを生成し、vobj形式(obj形式のサブセット。3角形ポリゴンの集合)出力することができます。 最新版はVolumetricメッシュ(縮退6面体)の生成機能があります、これによって観測・計測から直接シミュレーションにつなげる事を可能とします。

生体内部観察技術

3次元内部構造顕微鏡(軟組織)

本チームでは、3次元内部構造顕微鏡(3D-ISM: Three Dimensional Internal Structure Microscope)の研究開発を行っています。3D-ISMは、実際に観察対象物を薄くスライスし、断面画像の観察を繰り返し連続断面を撮影する装置であり、ミクロン(μm)単位でセンチメートルの範囲の3次元構造が撮影可能です。例えばマウスの生体を観察した場合に、1画素(pixel)に細胞一つが対応する解像度の観察が可能です。観察・計測対象の座標と対応する色がコンピュータ内にデジタル情報として得られるため、容易に3次元立体画像の構築が可能です。物理・生化学シミュレーション等の応用へ向けた形状モデルの作成や、デジタルアトラス、組織内での遺伝子発現の様子を細胞レベルで観察・定量化可能な装置です。

マウスの3次元カラー画像

クラウド型画像処理システム

タブレットを用いた3次元画像処理


左:HeLa細胞とミトコンドリア、右:医用CT画像

近年の共焦点レーザー顕微鏡、CT、MIR などの生物・医用画像取得技術の発展により、現代生命科学では大規模な3次元画像の管理と解析が求められています。また、材料工学やシミュレーション・計算工学等の「ものづくり」でも現実世界の計測画像データに基づく解析・モデリングが注目されています。残念ながら、既存の画像処理システムは、共同研究などで必要とされているクラウド・コンピューティングや高度な3次元処理の機能が不足しているのが現状です。本チームでは,ネットワークを介して画像を共有・管理・処理するためのクラウド型画像処理システムの研究・開発を行っています。観察・計測に基づく生命科学や工学での研究・開発を円滑に効率よく進めるための画像情報処理基盤を目指しています。本システムの特徴は、ユーザーが操作するクライアントは既存のウェブブラウザを用いることで画像データの共有管理、フィルタ処理、可視化、インタラクティブな領域抽出、処理履歴の管理などのサービスを提供する仕組みです。例えば、ボリュームレンダリングの様な計算コストの高い処理をリアルタイムに行うには、高性能なグラフィックと高容量のメモリを搭載した高価なパソコン・GPUが通常は必要です。本システムではネットワークを介する事によって、安価なノートPC、タブレットPCからその様な操作を行えます。限られたソフトウェア及びハードウェア資源を共有し、クラウド型のサービスを提供する事により、開発者や研究グループ間でのデータ共有や処理方法の提供などの共同研究・開発を効率的に行うためのシステムです。

細胞内ロジスティクスのデジタル解析

細胞内ロジスティクス解析の例

細胞内で物質輸送を行うエンドサイトーシス(取り込み)、エキソサイトーシス(分泌)、オルガネラ間輸送に代表される各物質輸送経路(メンブレントラフィックの複合的メカニズム・細胞内物流システム)の統括的解明は、病態の理解に向けて非常に重要だと考えられています。特に近年のライブセルイメージングの発展に伴い、細胞内の物流システムの時間変化を連続画像として観察する事が可能となり、その複合的メカニズムの解明が期待されています。しかしながら、現状の細胞生物学では特定のオルガネラや個々の輸送経路に関しての詳細な研究が主流で、観察された個々の輸送画像データに対しての解析・解釈は、人の主観が大きく作用しています。
当チームでは個人の判断基準によらない定量的解析手法の研究・開発が急務であり、細胞内の様々な輸送経路の統一的な定量解析による統括的理解こそが、病態の理解を進めるための最重要課題であると考えます。そのために平成20年度より、当チームは細胞内物流システム解明のための観察画像を基とした新しいデジタル解析システムの研究・開発を目的とし、細胞内輸送観察システム構築、細胞内物流システム画像処理計算法とそのソフトウェアの研究・開発を始めました。日本発の先端情報工学技術であるVCADシステムを生かして、色々な中身の詰まった生きたモノである細胞内物流システムの解明に迫る試みです。また、細胞内画像解析・処理の研究は始まったばかりであり、本研究は細胞生物学と情報科学・工学との本格的融合研究の先駆けとなり、新学術領域としての重要な意義を持つ事が期待出来できます。

ライブセルモデリング

ライブセルモデリングの一例

個別の現象を深く探求する現在の細胞研究の成果を統合し、生きている細胞の現象を統合的に取り扱う、いわば生きていることの本質を探るための新しい方法が求められています。当チームは、この様な問題意識のもとに、生きた細胞の俯瞰的な解析を目的として、統一的かつ定量的な条件による生きた細胞の数値モデル「ライブセルモデル」の構築を目指しています。その第1歩として、理研内の競争的資金である理事長ファンドを活用し、理化学研究所の複数のセンターに所属する12の研究室が推進した研究プロジェクト「生物研究基盤ツールとしてのライブセルモデリング」にて、実験方法の開発、規格化した実験・対象、4次元イメージング手法の検討、細胞のデータ取得、データ処理、4次元モデル構築まで、幅広い分野の技術を集結して研究を推進しました。

V-Catシステム・領域抽出技術の細胞生物学研究への応用

GFP-NLS定常発源HeLa細胞の樹立

近年、細胞生物の研究において、顕微鏡の観察データより定量的な解析を行う必要性が増しています。また、顕微鏡や蛍光蛋白質の技術の進歩により、生きている細胞を詳細に経時的に観察することが出来るようになってきました。そこで、細胞内の物質輸送やオルガネラ形成過程を共焦点レーザー顕微鏡で3次元タイムラプス観察を行い、それらのデータを当チームで開発している領域抽出技術やVCATシステムを用いて定量的に解析する手法を開発・提案していきます。また、手法の開発・提案だけではなく、得られた解析結果より、細胞内輸送やオルガネラ形成過程の分子機構の理解を深めることも目指しています。  更に、観察対象とするオルガネラや物質を蛍光標識するプラスミドの構築、及び、特定のオルガネラを観察するための蛍光標識蛋白質を定常発現する細胞株の樹立など、領域抽出やVCATシステム開発などに供するデータ取得に向けた系の確立も進めています。

分裂前後のゴルジ体

生物を対象とした画像の領域抽出

ライブセルデータからのオルガネラの領域抽出とVCADを使った可視化結果

X線CTやMRIなどの各種観察装置の発達により臓器や骨、細胞の細部までの詳細な観察が容易になりました。また、最近は画像から様々な情報を引き出し体積や表面積など各種の解析データを取得できます。そのためには、観察対象が画像のどこに存在するかコンピュータに認識させる必要があります。当チームでは認識に必要な基幹技術の一つとして、統計的パターン認識技術を使った領域抽出システムを開発しています。

柔軟物体のアニメーション手法

Fig.1 テンソル場の編集

Fig.2 アニメーション結果

軟体動物や筋組織など,柔軟物体のアニメーションを生成するための新しいデザイン手法・アルゴリズム(計算法)の研究を行っています.

通常,アニメーションデザインには,埋め込んだ骨格の関節角を指定するスケルトン法や,代表的な形状を複数指定するキーフレーム法などが利用されていますが,これら二つの方法では柔軟物体の動きが表現し難いという問題がありました.そこで我々は,局所領域の変形パターンの指定によりモデル全体の動きがデザインできる新しい枠組みを提案しました.提案手法では,ユーザが,モデル内部に筋線維走向(Fig1 a)と筋線維走向に対する伸縮パターン(Fig1 b)を与えると,アニメーションが生成されます(Fig 2).アニメーションは,我々の提案したアルゴリズムにより,高速かつ非常に安定に計算されるため,動いている物体にインタラクティブに外力を加えることなどが可能です.

この新しい柔軟物体のアニメーション手法は,デジタルエンターテイメント産業だけでなく,医療や自然科学分野の教育・研究に広く応用されることが期待されます.

画像に基づく形状モデリング

Fig.1 Bilateral H-RBFによる領域抽出


Fig.2 CTからの花形状モデリング

本チームでは,デジタル画像処理とデジタル幾何形状処理の融合研究を行っています.画像からの形状処理や幾何学に基づく画像処理技術・計算法の開発を行っています.

インタラクティブな3次元画像の領域抽出: 画像中の抽出したい領域・形状は、必ずしも境界エッジで囲まれているとは限りません。特に生物・医用応用や材料科学などでは、専門家が培った経験と知識に基づいて(Educated Guess)画像中のあやふやな領域を抽出する必要があります。本研究では、指定した曲線群を通過(補間)し,且つ画像のエッジに沿った曲面を領域の境界として抽出する計算方法を開発しました。そのために、様々な応用でよく用いられている放射基底関数(RBF: Radial Basis Function)のまったく新しい拡張Bilateral Hermit RBFを提案しました。指定した曲線と法線を補間するHermitタイプのRBFを画像のエッジに沿う様にBilateral定義域に拡張します。これにより、エッジがはっきりしない専門家にしか分からない箇所はインタラクティブに配置した曲線を補間のための制約条件に、他の部分は自動的にエッジに沿った領域抽出を実現しました(Fig.1参照)。

X線CT画像からの花モデリング: 花の形状をコンピュータ内で構成する事はCGにて重要です。ゲーム・映画などのデジタル・エンターテイメントだけでなく、Botanical Art、デジタル図鑑や自然環境のシミュレーションなど幅広い応用があります。複雑な花形状を写実的に構成する問題はチャレンジングな課題です。これは、花の形状は複雑な曲面が幾重にも重なり合った構造により構成されているためです。本研究では、X線CTを用いて実世界の花を計測し、その3次元画像に基づく花形状のモデリング計算法を開発しました。新しい動的曲線・曲面モデルを提案し、複雑な形状・構造を持つ花の効率的モデリングに成功しました(Fig.2参照)。

デジタル幾何形状処理

Fig.1 特徴線抽出

Fig.2 幾何変形

コンピュータ内に計測・観測によって取り込まれた幾何形状情報を、効率良く処理する新しいアルゴリズム(計算法)の研究を行っています。具体的には下記特徴抽出や形状変形の研究を実施しています。

特徴線抽出:特徴線(尾根谷線)は形状の認識や圧縮等幅広く用いられています。本研究では70年間失われていた曲面の主曲率(kmax,kmin)に間する公式(Fig.1参照)を再発見しました。この公式を用いて、1秒間に100万ポリゴン以上の微分幾何量を計算する高速なアルゴリズムを提案し、曲面上の特徴線を抽出する技術を開発しました。Fig.1でのnは曲面の単位法線ベクトル、三角形と逆三角形はそれぞれ曲面上のラプラス作用素と勾配作用素です。

幾何変形:形状の幾何変形(Fig.2参照)はコンピュータ・ゲームや映画等のデジタル・エンターテイメント産業・工業製品設計等の「ものつくり」技術で非常に有用です。形状から等距離にある中心軸(Medial Axis)を用いて入力形状の厚みを保存する新しい幾何変形アルゴリズムを提案・開発しています。

工業材料内部観察技術

硬組織対応型3次元内部構造顕微鏡

3次元内部元素分析

医療分野でよく用いられるCT、MRIは2次元の断層像を積み重ねることで3次元情報を構築します。我々の方法では、試料を切断し、その切断面の写真を積み重ねることで3次元モデルを作ります。生体組織など柔らかいものはカミソリ刃で薄くスライスしていきますが、骨や金属などは硬いため、すぐに刃が破損してしまいます。そこで目をつけたのが、精密切削という技術です。精密切削は金属やプラスチック材料の表面を精密に仕上る加工技術です。この方法で仕上た表面は凹凸が100nm以下の鏡のような面になります。このような鏡面は顕微鏡で観察しても加工の傷が目立たず、組織の破壊も少ないので、材料内部の穴や不純物、結晶組織の断面形状がはっきり観察できます。この精密切削による鏡面の生成と観察を繰り返すシステムを構築したことで、多断面の断層像を高速に自動的に得ることが可能になりました。また、このシステムにX線を使った元素分析装置を搭載し、材料内部の3次元元素分布測定を実現しました。

小型物体に特化した3次元画像計測装置の開発

Fig. 1 試作装置によって作成された昆虫データ

小型な物体を対象とし、3次元の形状情報とフォトリアリスティックなテクスチャを有した3次元コンピュータモデルの作成が可能です。

小型な物体を対象とした場合、市販の3次元画像計測装置では被写界深度による影響から形状およびテクスチャの取得が難しいといった問題がありました。 そこで厚さ1mm程度の特殊な光源を開発することにより、小型な物体の3次元画像計測を可能とした装置の試作を行いました。試作した装置を利用することで、昆虫の標本からFig. 1に示すような3次元コンピュータモデルを作成することができます。 また作成したデータに対して他の生きている昆虫の動作をモーションキャプチャ技術を用いて割り当てることも可能です。生物・歴史的遺物の3次元コンピュータモデルを利用したデジタル図鑑としての応用が期待されています。

インタラクティブビューアの開発

Fig. 1 3D-ISMインタラクティブビューア

3D-ISM(3次元内部構造顕微鏡)等によって取得された3次元データを一般的なパソコンのwebブラウザ上でインタラクティブに閲覧・操作することが可能です。

X線CT、MRIによって取得される3次元データは透過率によって構成されますが、3D-ISMによって取得される3次元データは赤・緑・青成分の3要素からなる色情報の塊として構成されています。 前者の場合、透過率を頼りにしたボリュームレンダリングが有効ですが、ハイエンドグラフィクスカードを使用していないPC上にて任意領域の切断、回転、拡大といったインタラクティブな操作を行うことは、特にカラー3次元データではパフォーマンス上の制約から難しい問題でした。 そこで3D-ISMによって取得される透過率を持たない3次元データに特化した可視化の手法を提案し、Fig. 1のようなインタラクティブビューアの開発を行っています。
また開発中のビューアは立体視表示も可能であるため、3次元データの奥行き関係を視覚的に把握したい場合にも役立ちます。コンピュータ上に再現された物を、ネットワークを介して公開・共有することは各分野の研究者にとって有益な情報となりえると期待しています。

低解像画像の画質向上高精細化

生体観察画像などに代表される低解像度でノイズを多く含む画像を,画像解析等に適した高品質な高解像度画像に変換する研究を実施しています.

本研究では,入力ラスタ画像(輝度値つき点集合)を輝度値の近似式による連続的表現に変換し,スカラ場を任意の解像度で再サンプリングすることで高解像な画像を生成しています.連続な近似式に変換することで,ノイズの影響が軽減され高品質な微分特徴量の計算が可能になるなど,解析に適した特徴が生まれます.この連続な関数のスカラ場をサンプリングして得た出力ラスタ画像もこれらの性質を受け継いだものになります.

この高精細化のポイントは,いかにうまい近似式を作るかにあります.本研究では,ノイズに強く精密な近似を得意とするPartition of Unityという近似法を採用しました.アルゴリズムは局所的な計算から成り立っているので,大規模ボリュームデータも比較的高速に計算することができます.しかし,近似手法であるため,組織間の膜のような特徴面もぼやけてしまうという問題がありました.本研究では局所計算に特徴面検出・保持のステップを加え,特徴面を保存した近似による高精細化を実現しました.

画像の高精細化

デジタル画像処理

Fig.1 高速特徴保存フィルタによるノイズ除去

Fig.2 多重解像度解析

Fig.3 高階調画像(HDRI)の合成

近年の画像取得技術の急速な発達により、画像データの量・重要性は爆発的に増しています。自然科学で用いられる医療用CT・MRI、共焦点レーザー顕微鏡、望遠鏡、人工衛星等の観察・観測装置及び、工学・重工業でのCT、監視カメラ等の測定・計測装置から得られるデジタルデータは、画像データとしてコンピュータ内に記録されます。また、デジタルカメラやカメラ付き携帯電話の普及により、デジタル画像データは研究者や技術者だけでなく一般の方も日常的に取り扱うデジタルデータとなりました。しかしながら、画像取得技術発展の速度にくらべて画像処理技術・計算法の発展速度は遅いのが現状です。そこで、我々のチームでは、コンピュータ内に計測・観測・撮影によって取り込まれた画像情報を、効率良く処理する新しいアルゴリズム(計算法)の研究を行っています。具体的には下記ノイズ除去、特徴解析や画像合成の研究を実施しています。

ノイズ除去:現実世界から取り込まれた画像データは通常ノイズを含みます。その様なノイズを入力画像の特徴を保存しながら除去する計算法の考案・開発は重要な課題として世界中で研究がされています。 本研究では現在もっともよく使われている特徴保存フィルタであるBilateralフィルタの新しい高速近似計算法を提案し、通常莫大な計算時間が必要なノイズ除去処理を高速に計算可能な技術を開発しました(Fig.1参照)。

特徴解析:画像の特徴解析はコンピュータ・ビジョンやパターン認識の要素技術として非常に重要です。本研究では特徴を解像度に応じて解析する多重解像度解析(Fig.2参照)の技術を用いて、新しい画像特徴の考案を目指しています。特にデジタル幾何形状処理技術との融合により画像の幾何特徴抽出技術の開発を行っています。

HDR画像合成:露光設定を変えて同じ対象を撮影すると、High Dynamic Range画像(HDRI)と呼ばれる複数のレンジに輝度分布を持つ高階調画像を得る事が出来ます。これは同じシーンの暗い所、明るい所やその中間を撮影した画像データです。最近のデジタルカメラには多重露光機能としてこのHDRIが取得可能です。この様な高階調画像を通常のディスプレイで表示するためには、合成が必要です。本研究では高速特徴保存フィルタを用いて精度良く画像合成を行えるアルゴリズムの提案・開発をしています(Fig.3参照)。


(C) 2008~ Image Processing Research Team, RIKEN, Japan. All rights reserved.