企业官网建设流程全解析

摘要

病理形态与多层分子图谱的系统性跨模态推断、整合可推动疾病生物学研究，但多模态学习仍存在诸多方法学难题。本文提出统一、具备可解释性的多模态学习框架Multi-Embed，实现多层病理形态与多层分子图谱联合建模。在12种癌症的多类基准测试与实际应用场景中，Multi-Embed在形态-分子双向推理、精细组织分区识别、时空轨迹建模任务上均取得更优性能，证明该工具可助力深入解析疾病发病机制。病理图像与分子图谱的多模态学习可加深疾病发病机制、靶向治疗的机制理解。

shaoli@mail.tsinghua.edu.cn

#多模态嵌入 #病理全切片 #空间多组学 #自监督学习 #跨模态推理 #组织微环境 #肿瘤预后 #时空轨迹 #可解释人工智能 #空间聚类

结果

图1 Multi-Embed方法架构与多任务基准对比

(a) Multi-Embed完整工作流：分为特征提取、自监督对比学习、下游评估3大模块。特征提取模块提取切片/斑点/细胞3级多尺度病理形态特征，以及基因组、表观组、转录组、蛋白质组多层分子图谱；将2类特征投影至Multi-Embed联合嵌入空间后开展自监督学习，最终用于跨模态推理、跨模态整合2类下游任务。

(b,c) TCGA大宗数据集12种癌症、预测高可变基因表达跨模态推理小提琴图。

b 为全部癌症整体平均皮尔相关系数 (PCC) 对比，

c 为各癌症分箱结果对比；对比模型为HE2RNA、DeepPT，全部1,550个高可变基因交叉验证平均相关系数展示。

(d–f) 3类空间转录组数据集（Visium、Xenium、Visium HD）基因表达预测基准箱线图，分别为HER2乳腺癌Visium、Xenium、单细胞分辨率Visium HD数据集，对比模型iStar、OmiCLIP。

(g) 甲基化图谱预测基准；

(h) 蛋白丰度预测基准；

(i) 基因突变预测基准，基于TCGA数据，对比DEPLOY、WSI2RPPA、CHIEF/MUSK模型。

(j) 空间蛋白质组ORION结直肠癌数据集蛋白表达预测箱线图。

(k) 3阴性乳腺癌空间聚类调整兰德指数(ARI)对比图，对比OmiCLIP、MISO、SpaGCN等多/单模态模型。

b–h采用双侧t检验计算P值，i–k采用配对t检验；

箱线中心线为中位数，上下框为上下4分位数。

空间聚类跨模态整合性能评估

图2 Multi-Embed多模态整合典型应用场景

(a) TCGA12种癌症多模态预后模型10折交叉验证C指数对比，对照工具PORPOISE。

(b,c) 可解释影像-组学预后标志物：

Multi-Embed识别PORPOISE遗漏高预后风险病理区域(b)，

并基于该区域病理形态推导对应基因表达图谱(c)；

(d) 6套独立外部预后数据集C指数柱状图（3阴乳腺癌、结直肠癌、胰腺导管腺癌、头颈部鳞癌、肺腺癌、子宫内膜癌），误差棒为95%置信区间。

(e,f) 3阴乳腺癌空间转录组3级淋巴结构(TLS)空间聚类识别：单样本训练后其余14张标注切片F1得分对比；

f 为切片病理原图、人工标注、Multi-Embed/OmiCLIP/MISO识别TLS区域，绿色框为病理医师确认新发现TLS区域。

(g) 早期胃癌空间切片病理分区标注：慢性萎缩性胃炎(CAG)、肠上皮化生(IM)、低级别上皮内瘤变(LGD)、早期胃癌(EGC)。

(h) UMAP降维空间聚类与时空轨迹，附带ARI对比柱状图。

(i) 模型推导肿瘤恶性伪时间轨迹。

(j) 轨迹伪时间与拷贝数变异(CNV)评分、6个早期胃癌特征基因平均表达相关性散点图。

a/e/h采用配对t检验；箱线中心线为中位数，框限为4分位数。

数据

本研究中12种癌症对应的RNA测序配套病理图像可通过癌症基因组图谱（TCGA）平台获取

https://portal.gdc.cancer.gov/

本研究使用的CPT数据库数据可访问链接

https://portal.gdc.cancer.gov/projects/CPTAC3/

配套病理图像存储于癌症影像档案库（TCIA）

用于预后预测的SurGen数据集访问地址

https://www.ebi.ac.uk/biostudies/bioimages/studies/S-BIAD1285/

本研究用到的HER2ST、３阴性乳腺癌（TNBC）空间转录组数据集、结直肠癌ORION空间蛋白质组数据集均存放于Zenodo平台，对应数字对象标识符分别为

https://doi.org/10.5281/zenodo.3957256

https://doi.org/10.5281/zenodo.14204217

https://doi.org/10.5281/zenodo.7637988

本研究采用的人胃癌10x Visium空间转录组数据集存储于基因表达综合数据库（GEO），登录号GSE287979

人乳腺癌10x Visium空间转录组数据集可在10x Genomics官网获取

https://www.10xgenomics.com/datasets/human-breast-cancer-block-a-section-1-1-standard-1-1-0/

人扁桃体空间多组学数据集发布于10x Genomics CytAssist平台

https://www.10xgenomics.com/datasets/gene-protein-expression-library-of-human-tonsil-cytassist-ffpe-2-standard

人乳腺癌Xenium原位空间转录组数据集、２款人肺癌Xenium数据集均可在10x Genomics平台查阅

乳腺癌

https://www.10xgenomics.com/products/xenium-in-situ/preview-dataset-human-breast/

肺癌1

https://www.10xgenomics.com/datasets/xenium-human-lung-cancer-post-xenium-technote/

肺癌2

https://www.10xgenomics.com/datasets/preview-data-ffpe-human-lung-cancer-with-xenium-multimodal-cell-segmentation-1-standard/

人结直肠癌、人肺癌10x Visium高分辨率数据集同样开放于10x Genomics平台

结直肠癌

https://www.10xgenomics.com/datasets/visium-hd-cytassist-gene-expression-libraries-of-human-crc/

肺癌

https://www.10xgenomics.com/datasets/visium-hd-cytassist-gene-expression-human-lung-cancer-post-xenium-expt/

代码

MultiEmbed完整开源代码

https://github.com/Epoch1128/

在线交互平台

https://multiembed.qhdyr.net/

详细总结

思维导图

TCGA批量转录组预测

12种肿瘤

3大空间转录平台独立测试

参考

Nat Methods. 2026 May;23(5):903-908. doi: 10.1038/s41592-026-03070-5.

Systematically decoding pathological morphologies and molecular profiles with unified multimodal embedding

注：AI辅助创作，如有不当欢迎指出。内容仅供参考，不构成任何建议。