革新知能統合研究センター マルチモーダル視覚知能チーム
チームディレクター 岡谷 貴之(D.Eng.)
研究概要

現在、大規模言語モデルを中核とする AI は、画像や映像に映る場面や出来事をある程度記述できるものの、現実世界を深く理解する能力はありません。私たちは、視覚情報を軸に多様なモダリティを統合して実世界を理解する AI の研究開発に取り組み、橋や道路の点検、自動運転・運転支援など社会に直結した課題の解決をめざしています。
研究主分野
- 情報学
研究関連分野
- 工学
- 複合領域
- コンピュータビジョン
キーワード
- インフラ点検管理のためのAI・ロボット技術
- マルチモーダルAIの実社会応用
主要論文
- 1.
Charoenpitaks, Korawat, Van-Quang Nguyen, Masanori Suganuma, Masahiro Takahashi, Ryoma Niihara, and Takayuki Okatani.:
"Exploring the Potential of Multi-Modal AI for Driving Hazard Prediction"
IEEE Transactions on Intelligent Vehicles, Early Access, 1-11 (2024). - 2.
Yamane, Tatsuro, Pang-jo Chun, Ji Dang, and Takayuki Okatani.:
"Deep learning-based bridge damage cause estimation from multiple images using visual question answering"
Structure and Infrastructure Engineering 1-14 (2024) - 3.
Kunlamai, Thannarot, Tatsuro Yamane, Masanori Suganuma, Pang‐Jo Chun, and Takayaki Okatani.:
"Improving visual question answering for bridge inspection by pre‐training with external data of image–text pairs"
Computer‐Aided Civil and Infrastructure Engineering 39, no. 3, 345-361 (2024) - 4.
Zhang, Jie, Masanori Suganuma, and Takayuki Okatani.:
"Contextual affinity distillation for image anomaly detection"
In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 149-158 (2024) - 5.
Lu, Xiangyong, Masanori Suganuma, and Takayuki Okatani.:
"SBCFormer: Lightweight Network Capable of Full-size ImageNet Classification at 1 FPS on Single Board Computers"
In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 1123-1133 (2024) - 6.
Wang, Zhijie, Masanori Suganuma, and Takayuki Okatani.:
"Rethinking unsupervised domain adaptation for semantic segmentation"
Pattern Recognition Letters 186, 119-125 (2024) - 7.
Aota, Toshimichi, Lloyd Teh Tzer Tong, and Takayuki Okatani.:
"Zero-shot versus many-shot: Unsupervised texture anomaly detection"
In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 5564-5572 (2023) - 8.
Zhu, Yanjie, Hidehiko Sekiya, Takayuki Okatani, Masayuki Tai, and Shogo Morichika.:
"B-CNN: a deep learning method for accelerometer-based fatigue cracks monitoring system"
Journal of Civil Structural Health Monitoring 13, no. 4, 947-959 (2023) - 9.
Wang, Zhijie, Xing Liu, Masanori Suganuma, and Takayuki Okatani.:
"Unsupervised domain adaptation for semantic segmentation via cross-region alignment"
Computer Vision and Image Understanding 234 (2023) - 10.
Nguyen, Van-Quang, Masanori Suganuma, and Takayuki Okatani.:
"Grit: Faster and better image captioning transformer using dual visual features"
In European Conference on Computer Vision, 167-184 (2022)
関連リンク
メンバーリスト
主宰者
- 岡谷 貴之
- チームディレクター
メンバー
- NGUYEN Quang Van
- 特別研究員
- WANG Zhijie
- 特別研究員
- 関屋 英彦
- 客員研究員
- 全 邦釘
- 客員研究員
お問い合わせ先
〒980-8579 宮城県仙台市青葉区荒巻字青葉6
東北大学工学部機械知能系2号館
Email: takayuki.okatani@riken.jp