Machine Intelligence × Medical Engineering
本研究室では、生体知識と医用画像を対象とした情報学とデータ科学、人工知能(AI)や機械学習のイメージング・診断・治療への応用に関する研究を行っています。
Keywords: Machine intelligence in medicine, Automated diagnosis and therapy
Collaborators：富士フイルム株式会社, イーグロース株式会社
京都大学 肝胆膵移植外科, 呼吸器外科, 泌尿器科, 整形外科, 放射線治療科, 放射線診断部
名古屋大学 呼吸器外科, 奈良医科大学 口腔外科, 洛和会音羽病院, 医学物理分野
Update
Member
Mami Kobayashi
M2
Naruki Murahashi
M2
Ryohei Motoda
M2
Ena Obayashi
M1（情報学）
Hikaru Kayo
M1
Yusuke Sekiguchi
M1
Kosuke Maeda
M1
Yota Tsumori
B4
Jun Nakajima
B4
Kotaro Nishimura
B4
Misaki Hidaka
B4Research
機械学習を活用した高次元生体情報の予測と診断・治療への応用
本研究では，治療時のイメージングに対する制約や限界に対し、部分観測 に基づいて生体をより深く理解し、治療に直結する情報を生成する深層イメージング技術を探求している．新たに開発した Image-to-graph convolutional network により、2次元X-ray画像から輪郭が視認できない腹部臓器の3次元形状や変形を推定できることを確認した．（共同研究：京大病院 放射線治療科, 医学物理学分野）
画像生成モデルを用いた超解像医用イメージング
CT, MRI 等の医用イメージング装置のより高速な撮像や高精細化，小型化とモビリティ化の実現を目指して, 生体の3次元構造あるいは動きや変形を含む医用画像の特性を踏まえた潜在拡散モデル等の画像生成技術の開発を行っている．従来の Cone-beam CT イメージングの半分以下の挟角条件で得られる投影データから，高い画質を有する三次元画像の生成が可能であることを確認した．
内視鏡カメラ画像を対象とした手術支援AIガイド
肺がん切除術や肝切除術等の内視鏡手術やロボット支援手術を対象に，手術時のカメラ画像に対して臓器内部の腫瘍位置同定と予測切除ガイドを重畳可視化する手術支援AIガイドの実現を目指している．肺の虚脱変形モデルと手術映像における肺形状の認識技術を研究開発の核として，臨床における利用を想定したプロトタイプシステムの開発を目指している．（共同研究：富士フイルム株式会社, 京大病院 呼吸器外科, 名古屋大学, AMED ACT-M 2017-20）
教師なし画像変換による欠損画素の復元と画質改善
CT画像内に生じた金属アーチファクトは診断や手術計画，放射線治療等，多くの臨床分野において問題となっており，複雑な欠損画素の復元は課題である．本研究では，複数の歯科金属から生成される広範囲な画素欠損を伴うアーチファクトを対象に3次元敵対的生成ネットワークの枠組みの構築を目指している．（共同研究：イーグロース株式会社, 奈良医科大学）
臓器切除プロセスマッピング
本研究では，患者固有の三次元CT画像に基づいて半自動でシミュレーション画像を生成する臓器切除プロセスマッピングを提案した．肺切除の進展に伴って変化する臓器外形や血管構造等の術中解剖の可視化を達成すること，手前計画や医学教育への有効性を確認した． （共同研究： 富士フイルム株式会社, 京大病院 呼吸器外科，肝胆膵移植外科）
医学知識の因果解析と診断・治療プロセスの体系化
本研究では，患者個人の三次元画像を用いたセミオートマティック治療計画システムを開発した．集積した600例を超える診断・治療計画データベースを対象に，因果推論モデルや解釈性の高い機械学習モデルを構築することによって，専門家の推論機序の可視化，診断・治療プロセスの体系化を目指している． （共同研究：イーグロース株式会社, 奈良医科大学, 洛和会音羽病院）
Software
Volume rendering software for medical imageing and biological visualization
Virtual planning software for mandibular reconstruction
Deformable resection process map for intraoperative cutting guides
Publication
for recent years. For all years, access this [link]
Journal
- N. Okada, S. Inoue, C. Liu, S. Mitarai, S. Nakagawa, Y. Matsuzawa, S. Fujimi, G. Yamamoto, T. Kuroda, Unified total body CT image with multiple organ specific windowings: validating improved diagnostic accuracy and speed in trauma cases, Scientific Reports, Vol.15, Art no. 5654, 2025. [html]
Conference
- L. Zhang, N. Mukumoto, M. Nakao, H. Hirashima, N. Murahashi, H. Inokuchi, M. Nakamura, K. Shibuya, Conditional diffusion model-based image transformation of MR sequences in MR-guided radiotherapy, International Conference on Radiological Physics and Technology (ICRPT), 2025.
- S. Somiya, K. Masui, N. Kume, T. Magaribuchi, M. Nakao, A. Sawada, T. Kobayashi, Assessment of Force Thresholds Perceived as Safe by Expert Surgeons in Surgical Procedure, Human Computer Interaction (HCI) International, 2025. (Accepted)
- T. Onishi, M. Nakao, T. Mizowaki, M. Nakamura, A Multi-domain Model for Reducing Artefacts in Cone-beam CT, European SocieTy for Radiotherapy and Oncology (ESTRO), 2025
- Z. Wang, R. Umehara, M. Nakamura, M. Nakao, Construction of an Organ Shape Atlas Using a Hierarchical Mesh Variational Autoencoder, IFMIA, 2025.
- 金室 美紀, 平島 英明, 中村 光宏, 中尾 恵, 胸部4D-CT画像予測のための拡散モデルによる変位場生成, 電子情報通信学会技術報告 (MI), 2025.
- 鹿養 晃生, 尾崎 尚, 今井 裕一郎, 中尾 恵, 口腔内スキャンを対象とした局所深層識別子による部分点群位置合わせ, 電子情報通信学会技術報告 (MI), 2025.
- 関口 雄介, 中村 光宏, 中尾 恵, 腹部領域を対象とした臓器領域の指定による疑似CT画像生成方法, 電子情報通信学会技術報告 (MI), 2025.
- 前田 康介, 門松 由佳, 上野 陽史, 芳川 豊史, 中尾 恵, オフライン学習を用いた胸腔鏡画像に対する肺葉単位の2D/3D位置合わせ, 電子情報通信学会技術報告 (MI), 2025.
- 磯貝 日向子, 村橋 成紀, 中村 光宏, 中尾 恵, 潜在拡散モデルを用いた狭角CT画像再構成の試み, 第64回日本生体医工学会大会, 2025.
- 小林 真実, 木戸口 勇気, 小木曾 聡, 西野 裕人, 中尾 恵, 拡散オフライン学習を用いた腹腔鏡画像に対する形状位置合わせ, 第64回日本生体医工学会大会, 2025.
- 村橋 成紀, 中村 光宏, 中尾 恵, 疑似CBCT画像を活用した潜在拡散モデルによるCBCT画像の画質改善, 第64回日本生体医工学会大会, 2025.
- 元田 凌平, 御手洗 彰, 上田 順宏, 今井 裕一郎, 中尾 恵, 外科的知識を含む医用画像を対象とした深層因果探索モデルの構築, 第64回日本生体医工学会大会, 2025.
- 御手洗 彰, 大林 依那, 中尾 恵, 下顎骨再建手術を説明可能な AI の開発, 生体画像と医用人工知能研究会, 2025.
Invited Paper/Lecture
- 中尾 恵, 生体の背景知識を活用する機械学習と診断治療支援, 映像情報メディア学会誌, 2025年5月号
Journal
- R. Miura, M. Nakamura, M. Nakao, Image-to-Volume Deformable Registration by Learning Displacement Vector Fields, IEEE Trans. on Radiation and Plasma Medical Sciences, 2024. (Early Access) [html]
- T. Oya, Y. Kadomatsu, T. F. Chen-Yoshikawa, M. Nakao, 2D/3D deformable registration for endoscopic camera images using self-supervised offline learning of intraoperative pneumothorax deformation, Computerized Medical Imaging and Graphics, 102418, 2024. [html]
- Y. Kuriyama, M. Nakamura, M. Nakao, Data Augmentation using the hierarchical encoding of deformation fields between CT images, IEEE Trans. on Radiation and Plasma Medical Sciences, Vol. 8, No. 8, pp. 939-949, 2024. [html]
- K. Masui, N. Kume, M. Nakao, T. Magaribuchi, A. Hamada, T. Kobayashi, A. Sawada, Vision-based estimation of manipulation forces by deep learning of laparoscopic surgical images obtained in a porcine excised kidney experiment, Scientific Reports, Vol.14, Art no. 9686, 2024. [html]
- S. Nakamura, M. Nakao, S. Okado, Y. Kadomatsu, H. Ueno, T. F. Chen-Yoshikawa, Robot-Assisted Complex Anatomical Segmentectomy Using Resection Process Map, Annals of Thoracic Surgery Short Reports, 2024. [html]
- Y. Kadomatsu, M. Nakao, S. Okado, H. Ueno, T. Kato, S. Nakamura, T. F. Chen-Yoshikawa, Virtual Thoracoscopic Imaging for Accurate Pulmonary Nodule Localization: Clinical Experience, Surgery Today, 2024.
Conference
- S. Mitarai, C. Liu, G. Yamamoto, and N. Munekata, Facilitative Agents with Deliberate Handicaps in Traditional Competitive Games for Improved Playability, In Companion Proceedings of the 2024 Annual Symposium on Computer-Human Interaction in Play (CHI PLAY Companion '24), 2024. [html]
- M. Goda, G. Yamamoto, C. Liu, K. Kishimoto, S. Mitarai, Y. Mori, T. Kuroda, Virtual Patientization: A Playable Design for Clinical Ultrasound Training by Embedding Virtual Lesions, In Companion Proceedings of the 2024 Annual Symposium on Computer-Human Interaction in Play (CHI PLAY Companion '24), 2024. [html]
- K. Iwamoto, K. Kishimoto, S. Mitarai, Y. Mori, C. Liu, T. Yuki, T. Ohtsuki, Y. Nishino, M. Nagayasu, H. Miyagishima, T. Hikita, N. Nishida, G. Yamamoto, T. Kuroda, Classifying Nursing Records Based on Patient and Nurse Actions for Automating Records, 2024 14th Biennial Conference of the Asia-Pacific Association of Medical Informatics (APAMI), 2024.
- C. Liu, S. Mitarai, L. H. O. Santos, S. Okahashi and G. Yamamoto, RehaBricks: An Electronic Modular Pegboard for Improving Upper Limb Exercise Adaptability, 2024 46th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2024. [html]
- 磯貝日向子, 中村 光宏, 中尾 恵, 条件付き拡散モデルを用いたスパースビューCT画像再構成法の比較評価, 電子情報通信学会技術報告 (MI), 2024..
- 小林 真実, 木戸口 勇気, 小木曾 聡, 西野 裕人, 中尾 恵, オフライン学習を用いた腹腔鏡画像に対する形状位置合わせ, 電子情報通信学会技術報告 (MI), 2024.
- S. Somiya, K. Masui, N. Kume, T. Magaribuchi, M. Nakao, A. Sawada, T. Kobayashi, Assessment of Force Thresholds Perceived as Safe by Expert Surgeons in Surgical Procedures, 泌尿器科学会総会, 2024
- T. Onishi, M. Nakamura, M. Nakao, T. Mizowaki, Tri-Domain Peristaltic Artifact Reduction Model for Mitigating Motion Artifacts in Cone-Beam CT Imaging, 66th AAPM annual meeting, 2024.
- 増井 仁彦, 粂 直人, 中尾 恵, 宗宮 伸弥, 曲渕 敏博, 濵田 彬弘, 澤田 篤郎, 小林恭, 深層学習による次世代内視鏡手術における操作力推定メソッド構築の挑戦と未来,, 日本泌尿器内視鏡・ロボティクス学会, 指定演題, 2024.
- 大西 隆生, 中村 光宏, 中尾 恵, 溝脇 尚志, サイノグラムドメインを用いたCBCTアーチファクト除去のための深層学習モデルの開発, 第37回日本放射線腫瘍学会 学術大会, 2024.
- 元田 凌平, 中尾 恵, 画像分類における深層因果探索モデルの検討, 電子情報通信学会技術報告 (MI), Vol. 123, No. 411, pp. 11-14, 2024.
- 茂森 大亮, 中尾 恵, 距離情報を活用した敵対的学習による金属アーチファクト低減手法, 電子情報通信学会技術報告 (MI), Vol. 123, No. 411, pp. 95-98, 2024.
- 村橋 成紀, 中村 光宏, 中尾 恵, 条件付き拡散モデルを用いたCone-beam CT画像の画質改善の試み, 電子情報通信学会技術報告 (MI), Vol. 123, No. 411, pp. 109-112, 2024.
- 増井 仁彦, 粂 直人, 中尾 恵, 曲渕 敏博, 濵田 彬弘, 澤田 篤郎, 小林 恭, 視覚情報のみから手術鉗子による臓器加圧程度を推定する検討, 日本生体医工学会 生体画像と医用人工知能研究会, 2024.
- 門松 由佳, 中尾 恵, 上野 陽史, 中村 彰太, 芳川 豊史, 肺切除のための手術ナビゲーションの開発 ～課題と臨床使用の経験～, 日本生体医工学会 生体画像と医用人工知能研究会, 2024.
- W. Zhuang, K. Masui, N. Kume, M. Nakao, Region of Interest guided Unsupervised Anomaly Detection of Forceps Force, 第63回日本生体医工学会大会 オーガナイズドセッション, 2024.
Invited Lecture
- 中尾 恵, 背景知識を活用する機械学習と診断治療支援, ヘルスケアエレクトロニクス研究会, 招待講演, 2024
- 中尾 恵, 背景知識を活用する治療支援コンピュータビジョン, 蔦蔭会総会, 招待講演, 2024.
Journal
- S. Okado, Y. Kadomatsu, M. Nakao, H. Ueno, K. Fukumoto, S. Nakamura, T. F. Chen-Yoshikawa, New method for delineation of the intersegmental line in a deflated lung, Journal of Thoracic Disease, Vol. 15, No.9 pp. 4736-4744, 2023. [html]
- Y. Kishigami, M. Nakamura, M. Nakao, H. Okamoto, A. Takahashi, H. Igaki, Three-dimensional assessment of interfractional cervical and uterine motions using daily magnetic resonance images to determine margins and timing of replanning, J. Appl. Clin. Med. Phys., e14073, 2023. [html]
- Z. Wang, M. Nakao, M. Nakamura, T. Matsuda, Shape reconstruction for undetectable regions of abdominal organs based on a graph convolutional network, Expert Systems With Applications, Vol. 230, No.15, 120593, 2023. [html]
- Y. Kadomatsu, M. Nakao, H. Ueno, S. Nakamura, K. Fukumoto, T.F. Chen-Yoshikawa, Clinical application of resection process map as a novel surgical guide in thoracic surgery, Interdisciplinary CardioVascular and Thoracic Surgery, 3;36(4):ivad059, 2023. [html]
- H. Hirashima, M. Nakamura, K. Imanishi, M. Nakao, T. Mizowaki, Evaluation of generalization ability for deep learning-based auto-segmentation accuracy in limited field of view CBCT of male pelvic region. J Appl Clin Med Phys., e13912, 2023. [html]
- M. Nakao, Medical image synthesis and statistical reconstruction methods, Advanced Medical Engineering, Vol. 12, pp. 21-27, 2023. (Invited review paper) [html]
Conference
- 梅原 隆一, 中村 光宏, 中尾 恵, 階層的潜在変数を用いたMeshVAEによる臓器形状アトラスの構築, 電子情報通信学会技術報告 (MI), Vol. 123, No. 257, pp. 33-36, 2023.
- R. Umehara, M. Nakamura, M. Nakao, Construction of Shape Atlas for Abdominal Organs using Three-Dimensional Mesh Variational Autoencoder, Proc. 44nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2023.
- 芳川 豊史, 中尾 恵, 可変形3 次元画像による大規模バーチャル手術手技アトラスと呼吸器外科手術ガイドシステムの創出, 第62回日本生体医工学会大会, OS-2-3-1-4, 2023.
- 梅原 隆一, 中村 光宏, 中尾 恵, 3次元メッシュ変分オートエンコーダーを用いた臓器形状アトラスの構築, 電子情報通信学会技術報告 (MI), Vol. 122, No. 417, pp. 205-209, 2023.
- W. Zhuang, K. Masui, N. Kume, M. Nakao, A Trail for Image-based Anomaly Detection of Forceps Force us- ing Bidirectional Generative Adversarial Network, Proc. Biological Imaging and Medical AI, 2023.
- 大矢 友貴 , 門松由佳, 芳川 豊史, 中尾 恵, 生成型学習を用いた内視鏡カメラ画像に対する形状位置合わせ, 情報処理学会 コンピュータビジョンとイメージメディア研究会(CVIM), 2023-CVIM-232, No. 22, 2023 (CVIM奨励賞)
- 栗山 由也, 中村 光宏, 中尾 恵, CT画像間の変位場を用いたStyle Mixingの評価と解析, 情報処理学会 コンピュータビジョンとイメージメディア研究会(CVIM), 2023-CVIM-232, No. 34, 2023
- 三浦 龍人, 中村 光宏, 中尾 恵, 三次元変位場の学習に基づく腹部臓器を対象とした2D/3D深層画像位置合わせ, 情報処理学会 コンピュータビジョンとイメージメディア研究会(CVIM), 2023-CVIM-232, No. 5, 2023
Invited Lecture
- 中尾 恵, 変形臓器に対する2D/3D深層位置合わせ, 電子情報通信学会 医用画像研究会 (MI), 招待講演, 2023.
- 中尾 恵, 術中虚脱肺に対応したバーチャルガイドの開発, 第40回日本呼吸器外科学会大会, 招待講演, 2023.
Access
京都大学大学院 医学研究科 人間健康科学系専攻 〒606-8507 京都市左京区聖護院川原町53 E-mail: nakao.megumi.6x (at) kyoto-u.ac.jp
Admission policyContact
医学部人間健康科学科（キャンパスマップ 38番）
Our lab will admit students who meet the following criteria:
Expertise: Bachelor knowledge in informatics or medical engineering.
Language skill: Japanese communication skill for daily conversation and research presentations (> JLPT N1), as our seminars are held in Japanese.