1. Home
  2. 研究室紹介
  3. 革新知能統合研究センター
  4. 目的指向基盤技術研究グループ

革新知能統合研究センター マルチモーダル視覚知能チーム

チームディレクター 岡谷 貴之(D.Eng.)

研究概要

岡谷 貴之 (D.Eng.)

現在、大規模言語モデルを中核とする AI は、画像や映像に映る場面や出来事をある程度記述できるものの、現実世界を深く理解する能力はありません。私たちは、視覚情報を軸に多様なモダリティを統合して実世界を理解する AI の研究開発に取り組み、橋や道路の点検、自動運転・運転支援など社会に直結した課題の解決をめざしています。

研究主分野

  • 情報学

研究関連分野

  • 工学
  • 複合領域
  • コンピュータビジョン

キーワード

  • インフラ点検管理のためのAI・ロボット技術
  • マルチモーダルAIの実社会応用

主要論文

  • 1. Charoenpitaks, Korawat, Van-Quang Nguyen, Masanori Suganuma, Masahiro Takahashi, Ryoma Niihara, and Takayuki Okatani.:
    "Exploring the Potential of Multi-Modal AI for Driving Hazard Prediction"
    IEEE Transactions on Intelligent Vehicles, Early Access, 1-11 (2024).
  • 2. Yamane, Tatsuro, Pang-jo Chun, Ji Dang, and Takayuki Okatani.:
    "Deep learning-based bridge damage cause estimation from multiple images using visual question answering"
    Structure and Infrastructure Engineering 1-14 (2024)
  • 3. Kunlamai, Thannarot, Tatsuro Yamane, Masanori Suganuma, Pang‐Jo Chun, and Takayaki Okatani.:
    "Improving visual question answering for bridge inspection by pre‐training with external data of image–text pairs"
    Computer‐Aided Civil and Infrastructure Engineering 39, no. 3, 345-361 (2024)
  • 4. Zhang, Jie, Masanori Suganuma, and Takayuki Okatani.:
    "Contextual affinity distillation for image anomaly detection"
    In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 149-158 (2024)
  • 5. Lu, Xiangyong, Masanori Suganuma, and Takayuki Okatani.:
    "SBCFormer: Lightweight Network Capable of Full-size ImageNet Classification at 1 FPS on Single Board Computers"
    In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 1123-1133 (2024)
  • 6. Wang, Zhijie, Masanori Suganuma, and Takayuki Okatani.:
    "Rethinking unsupervised domain adaptation for semantic segmentation"
    Pattern Recognition Letters 186, 119-125 (2024)
  • 7. Aota, Toshimichi, Lloyd Teh Tzer Tong, and Takayuki Okatani.:
    "Zero-shot versus many-shot: Unsupervised texture anomaly detection"
    In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 5564-5572 (2023)
  • 8. Zhu, Yanjie, Hidehiko Sekiya, Takayuki Okatani, Masayuki Tai, and Shogo Morichika.:
    "B-CNN: a deep learning method for accelerometer-based fatigue cracks monitoring system"
    Journal of Civil Structural Health Monitoring 13, no. 4, 947-959 (2023)
  • 9. Wang, Zhijie, Xing Liu, Masanori Suganuma, and Takayuki Okatani.:
    "Unsupervised domain adaptation for semantic segmentation via cross-region alignment"
    Computer Vision and Image Understanding 234 (2023)
  • 10. Nguyen, Van-Quang, Masanori Suganuma, and Takayuki Okatani.:
    "Grit: Faster and better image captioning transformer using dual visual features"
    In European Conference on Computer Vision, 167-184 (2022)

関連リンク

メンバーリスト

主宰者

岡谷 貴之
チームディレクター

メンバー

NGUYEN Quang Van
特別研究員
WANG Zhijie
特別研究員
関屋 英彦
客員研究員
全 邦釘
客員研究員

お問い合わせ先

〒980-8579 宮城県仙台市青葉区荒巻字青葉6
東北大学工学部機械知能系2号館
Email: takayuki.okatani@riken.jp

Top