企业官网建设流程全解析

做过单细胞克隆演化分析的人，大概都经历过类似的一幕：聚类结果出来了，CNV 热图也画出来了，接下来要面对的是"这棵演化树到底怎么长"的问题。经验丰富的分析师会手动调整参数、换个距离度量、换一套根节点，直到树看起来"合理"为止。问题在于，这套流程高度依赖个人经验，换一个人、换一个随机种子、换一个聚类分辨率，结论可能就变了。

这篇来自南京大学与华大基因合作、发表在影响因子 10.8 期刊上的工作，之所以值得生信工程师认真拆一遍，不是因为它的结论有多颠覆，而是因为它把一个长期靠启发式规则和人工判断的问题，重新表述成了一个序列决策问题——用强化学习去搜索演化树的结构。这个视角的转换比结论本身更有价值：它意味着树构建过程的每一步都可以被奖励函数显式约束，而不是靠"看起来对不对"来验收。

需要先说明一点边界：本文复刻的是方法学范式，不是逐行还原原论文的代码。论文中的网络结构细节、超参数配置、具体数据集划分，公开材料里未必完整，硬编造没有意义。我们要做的是把"强化学习 + 单细胞演化"这条分析链路拆开，讲清楚每一步在算什么、为什么这么算、代码怎么写、跑完怎么判断结果靠不靠谱。如果你正在做肿瘤克隆演化、发育谱系追踪，或者单纯想找一个把 RL 用到真实科研问题上的完整案例，这篇文章应该能省你不少时间。

1. 这篇文章真正要解决的问题

传统单细胞演化分析的核心困难，可以概括成一句话：搜索空间爆炸，但可用的信号很稀疏。假设你通过 CNV 推断和聚类，把几千个细胞压缩成了 20 个克隆簇，那么可能的有根树数量随簇数呈超指数增长——20 个叶子的树空间已经大到无法穷举。现有工具（邻接法、最大简约法、贝叶斯系统发育推断）各自都有假设前提，而这些前提在单细胞场景下往往不成立：细胞不是独立进化的个体，突变不是严格按分子钟累积，测序噪声和 dropout 还会把真实信号搅乱。

更麻烦的是流程割裂。常规做法是先用 inferCNV 或 CopyKAT 得到拷贝数矩阵，再用距离矩阵聚类，再喂给某个树构建工具，最后人工检查树的拓扑是否与 CNV 热图的条带模式一致。每一步都有独立的参数，每一步的错误都会向下游传播，而最终结果的正确性却没有一个统一的评价标准。这直接导致了两个后果：一是可重复性差，换个环境跑不出同样的树；二是难以做消融，你说不清楚到底是 CNV 推断改进带来了收益，还是聚类参数调整带来的收益。

强化学习的介入点恰好在这里。如果能把"树构建"拆成"一步步把簇挂到已有节点上"的序列动作，那么整棵树的生成过程就是一个马尔可夫决策过程，奖励函数可以把"子节点与父节点的拷贝数谱相似""树的深度合理""分支不冗余"这些先验同时编码进去。这样做的直接好处是：优化目标显式化、过程可复现、消融实验容易做。你改奖励函数的一个权重，就能量化它对最终拓扑的影响，这在传统流程里几乎不可能完成。

需要坦率地讲，这条路并不适合所有人。如果你的数据只有几百个细胞、克隆结构简单，用现成工具加人工复核就够了，引入 RL 属于杀鸡用牛刀。但当你面对的是多区域取样、多时间点的肿瘤队列，或者需要在几十个样本上批量出结果并保证一致性时，这种"把专家经验写成奖励函数"的思路就体现出工程价值了。

2. 基础概念：单细胞演化分析到底在算什么

在讲强化学习之前，必须先把生物信息学这一侧的概念对齐，否则后面的状态设计和奖励设计会完全失去依据。

2.1 从表达矩阵到克隆结构

单细胞 RNA 测序的原始产物是一个稀疏计数矩阵，行是基因、列是细胞。经过质控、归一化、高变基因筛选、PCA 降维和邻居图构建之后，我们通常用 Leiden 或 Louvain 做聚类得到细胞群。这一步在标准流程里是"分群"，但在演化分析的语境下，它的含义变了——每个群被假设对应一个克隆亚群，群与群之间的层次关系就是我们想还原的进化历史。

这个假设有个明显漏洞：转录组相似不等于谱系相近。两个克隆可能因为微环境相似而表达谱趋同，也可能因为分化程度不同而差异巨大。所以单靠表达谱建树是不可靠的，必须引入更稳定的遗传标记——在肿瘤场景下，这个标记就是拷贝数变异（CNV）。

2.2 CNV 为什么能当作谱系标记

CNV 是体细胞突变的一种，一旦发生在祖细胞里，会随着细胞分裂稳定传给所有后代。这意味着克隆内部的 CNV 模式高度一致，而不同克隆之间的 CNV 模式差异明显。相比点突变，CNV 在单细胞 RNA 数据里更容易被间接推断出来——因为基因组层面的拷贝数变化会直接反映为染色体区段上基因表达的协同升降。

这里的关键技术是滑动窗口平滑：把基因按染色体位置排序，用一定窗口大小（比如 100 个基因）对表达值做移动平均。真实的 CNV 事件会表现为连续数十到数百个基因的整体抬升或下降，而转录噪声在平滑之后会被压掉。正常二倍体细胞在这个矩阵上呈现接近零的基线，扩增区段为正、缺失区段为负。

2.3 三种主流建树路线的对比

强化学习这层，通常接在第一条路线后面：用 CNV 特征作为节点表示，用 RL 搜索拓扑。也有工作把它和轨迹方法结合，用轨迹的伪时间作为拓扑约束。本文的复刻走 CNV 这条主线，因为它是目前公开数据最容易复现的路径。

3. 强化学习为什么能嵌进来

把演化树构建塞进强化学习框架，本质上是一次问题重述。我们不再问"哪棵树最优"，而是问"从空树开始，每一步应该把哪个簇挂到哪里"。

3.1 MDP 的四个要素

• 状态（State）：当前已经构建出的部分树，加上尚未挂载的簇集合。工程上通常表示为一个邻接矩阵加一个挂载掩码，再拼接每个节点的特征向量。
• 动作（Action）：选定一个"未挂载的簇"和一个"已在树上的父节点"，配对成一个动作。如果簇数是 N，动作空间在最朴素的设计下是 N×N 量级。
• 奖励（Reward）：这是整个设计里最见功力的部分。每一步挂载操作给出一个即时奖励，通常基于父子节点的 CNV 谱相似度；整棵树完成后给出一个终止奖励，用来约束全局性质，比如树的深度分布、分支是否冗余、是否出现"星形树"这种退化结构。
• 策略（Policy）：一个从状态到动作分布的映射，用神经网络参数化，训练目标是最大化累计奖励。

用一个下棋的类比会更容易理解：状态是当前棋盘，动作是落子，奖励是最终胜负。区别在于，棋类游戏的规则是确定的，而演化树的"好"是模糊的——这正是为什么奖励函数的设计比网络结构重要得多。

3.2 与启发式方法的本质差异

传统邻接法（Neighbor-Joining）是贪心的：每一步合并距离最近的两个节点。这个策略在距离度量可靠时非常高效，但一旦某个局部合并出错，错误会被永久固化在拓扑里，后面无法撤销。最大简约法引入了全局最优的目标，代价是搜索空间大、需要启发式剪枝。

强化学习的策略梯度方法是带探索的序列决策：训练过程中会尝试不同的挂载顺序，通过奖励的反向传播逐步收敛到一个高分策略。它不会保证全局最优，但能跳出局部贪心陷阱。更关键的是，策略一旦训练完成，在新样本上的推理是快速的——一次前向传播就能给出完整动作序列，不像贝叶斯方法那样每次都要跑 MCMC。

3.3 一个必须提醒的坑

很多人第一次做这件事，会本能地把奖励设成"父子节点相似度之和"。这个设计有个隐蔽的退化解：把所有簇都挂在同一个根节点上，形成星形树。此时每一对父子都是根和叶子，只要根节点的 CNV 谱足够"平均"，相似度之和并不低。解决办法是在奖励里加结构惩罚项，比如限制最大出度、惩罚过短的内部边、或者对树的平衡性做正则。这一点在后文的奖励函数示例里会具体体现。

4. 环境准备与前置条件

4.1 软硬件与依赖

单细胞数据的规模决定了资源需求。一个典型 10x Genomics 样本（约 5000 到 10000 个细胞）在 16GB 内存的机器上可以完成预处理和 CNV 推断，但如果要做多样本整合或加大聚类分辨率，建议 64GB 起步。强化学习部分的算力消耗相对可控，因为状态维度主要由簇数决定（通常 10 到 50），一个消费级 GPU 甚至纯 CPU 都能跑。

# 文件路径：requirements.txt # 说明：以下版本号仅为书写时的常见组合，实际安装请按项目锁定版本 scanpy>=1.9 anndata>=0.9 infercnvpy>=0.4 numpy>=1.23 pandas>=1.5 scipy>=1.9 scikit-learn>=1.2 matplotlib>=3.6 torch>=2.0 gymnasium>=0.28 stable-baselines3>=2.0 leidenalg>=0.9 igraph>=0.10

# 创建独立环境并安装 conda create -n sc-rl-evo python=3.10 -y conda activate sc-rl-evo pip install -r requirements.txt # 验证核心包是否可用 python -c "import scanpy, infercnvpy, gymnasium, stable_baselines3; print('deps ok')"

4.2 数据准备

本文以 10x Genomics 格式的公开单细胞数据为例，目录结构如下。你可以替换成自己项目的数据，只要保证matrix.mtx、barcodes.tsv、features.tsv（旧版本可能是genes.tsv）三者齐全即可。

data/ ├── filtered_feature_bc_matrix/ │ ├── matrix.mtx.gz │ ├── barcodes.tsv.gz │ └── features.tsv.gz └── cell_meta.csv # 可选：细胞类型注释、样本来源

如果手头是 h5 文件，用sc.read_10x_h5()读取即可，后续流程完全一致。这里不建议用模拟数据验证整个链路，因为 CNV 信号是真实结构，模拟数据很难复现染色体区段上的协同变化，容易得出"方法不可靠"的错误结论。

4.3 一个容易被忽略的前置条件

做 CNV 推断必须要有正常参考细胞。infercnv 类的工具都是相对定量：它把参考细胞的平均表达当作二倍体基线，然后计算每个细胞相对这个基线的偏离。如果没有明确的正常细胞群，常见的替代方案是用免疫细胞（T 细胞、B 细胞、髓系细胞）或者用全部细胞的稳健均值作参考。

这个选择影响很大。用错了参考，整张 CNV 矩阵会整体偏移，后续所有距离计算都建立在错误的基线上。实践中的做法是：先用已知标记基因做一轮粗略注释，确认参考群里没有明显的恶性细胞污染，再把它们作为reference_cat传入。如果样本里完全没有正常细胞，那就退而求其次用一个外部的正常样本作参考，这一点必须在方法部分写清楚。

5. 核心流程拆解

整条链路可以拆成六个步骤，每一步都有明确的输入输出和验收标准。

第一步，质控与归一化。过滤低质量细胞和低表达基因，计算线粒体基因比例，做总计数归一化、对数变换、高变基因筛选。验收标准是线粒体比例分布合理（不同组织差异很大，不能一概而论），过滤后细胞数不低于原始数量的 60%。

第二步，降维聚类。PCA 取前 30 到 50 个主成分，构建邻居图，用 Leiden 聚类。分辨率的选取直接决定簇的数量，而簇数又决定了后续强化学习的动作空间大小。经验做法是跑多个分辨率（0.4、0.6、0.8、1.0），看簇的稳定性，选一个簇数在 10 到 30 之间、且各簇细胞数不过分悬殊的分辨率。

第三步，CNV 推断。按染色体位置排序基因，设置窗口大小，用参考细胞做基线，输出细胞级拷贝数矩阵。这一步的输出会存进adata.obsm['X_cnv']，作为后续节点特征的来源。

第四步，构造节点表示。把每个簇内细胞的 CNV 向量取平均，得到一个簇级的拷贝数谱，再做 z-score 标准化和 PCA 降到 16 到 32 维。降维的目的是降低强化学习状态空间维度，同时去掉染色体区段之间的高度相关性。

第五步，定义环境与训练。按第 3 节的设计实现 Gymnasium 环境，用 Stable-Baselines3 的 PPO 训练。训练过程中要监控平均回合奖励曲线，如果长时间不上升，先检查奖励函数而不是调学习率。

第六步，解码与验证。用训练好的策略做确定性推理，得到完整动作序列，还原成邻接矩阵，转成 Newick 格式或树结构对象，然后做下游验证。验证不是"看一眼图"，而是要有量化指标，具体在第 7 节展开。

这条流程里最容易出错的是第三步和第四步的衔接。CNV 矩阵的维度是"细胞 × 基因"，如果直接按细胞建树，节点数会有几千个，完全不可行；如果按簇平均，就引入了聚类误差。比较稳妥的做法是做两次：一次按簇平均建树，一次按簇内的代表性细胞（距离簇中心最近的若干细胞）建树，看两种结果的拓扑是否一致。

6. 完整示例代码实现

6.1 预处理与聚类

# 文件路径：scripts/01_preprocess.py import scanpy as sc import anndata as ad # 读取 10x 矩阵 adata = sc.read_10x_mtx( "data/filtered_feature_bc_matrix", var_names="gene_symbols", cache=True, ) adata.var_names_make_unique() # 基础质控 adata.var["mt"] = adata.var_names.str.startswith(("MT-", "mt-")) sc.pp.calculate_qc_metrics(adata, qc_vars=["mt"], inplace=True, percent_top=None) sc.pp.filter_cells(adata, min_genes=200) sc.pp.filter_genes(adata, min_cells=3) # 线粒体阈值需按组织调整，此处仅作演示 adata = adata[adata.obs["pct_counts_mt"] < 20].copy() # 归一化与降维 sc.pp.normalize_total(adata, target_sum=1e4) sc.pp.log1p(adata) adata.raw = adata sc.pp.highly_variable_genes(adata, n_top_genes=2000, flavor="seurat") adata = adata[:, adata.var["highly_variable"]].copy() sc.pp.scale(adata, max_value=10) sc.tl.pca(adata, n_comps=50, svd_solver="arpack") sc.pp.neighbors(adata, n_neighbors=15, n_pcs=30) sc.tl.leiden(adata, resolution=0.8, key_added="cluster", flavor="igraph", n_iterations=2) print(adata) print(adata.obs["cluster"].value_counts()) adata.write_h5ad("results/adata_clustered.h5ad")

这段代码的关键点在两个地方。一是adata.raw = adata必须在筛选高变基因之前执行，否则后续 CNV 推断拿不到全基因列表，而 inferCNV 需要按染色体位置排列全部基因才能做窗口平滑。二是 Leiden 的flavor="igraph"参数，新版 scanpy 默认走 igraph 实现，不指定的话在某些环境下会报后端相关的警告，虽然不影响结果但会干扰日志排查。

6.2 CNV 推断与特征提取

# 文件路径：scripts/02_cnv.py import scanpy as sc import infercnvpy as cnv import numpy as np adata = sc.read_h5ad("results/adata_clustered.h5ad") # 从 raw 恢复全基因表达矩阵 adata = adata.raw.to_adata() adata.obs["cluster"] = sc.read_h5ad("results/adata_clustered.h5ad").obs["cluster"] adata.obs["cell_type"] = "unknown" # 参考细胞：此处用聚类结果中表达谱最接近正常的一群，实际项目请用已知注释 # 若已有 cell_type 注释，直接指定 reference_cat=["T cell", "B cell"] cnv.tl.infercnv( adata, reference_key="cluster", reference_cat=["0"], # 需替换为真实的正常细胞群 window_size=100, step=10, dynamic_threshold=0.5, ) # 生成细胞级 CNV 打分，便于后续筛选 cnv.tl.cnv_score(adata) # 按簇平均，得到节点级表示 cnv_mat = adata.obsm["X_cnv"] clusters = adata.obs["cluster"].astype(str).values uniq = sorted(set(clusters)) node_feats = np.vstack([cnv_mat[clusters == c].mean(axis=0) for c in uniq]) node_feats = (node_feats - node_feats.mean(axis=0, keepdims=True)) / ( node_feats.std(axis=0, keepdims=True) + 1e-8 ) np.save("results/node_feats.npy", node_feats) np.save("results/node_labels.npy", np.array(uniq)) print("node feature shape:", node_feats.shape)

window_size=100是个经验值：窗口太小噪声压不住，窗口太大相邻的 CNV 事件会被抹平成一片。step控制滑动步长，设小一些可以得到更细的矩阵但计算量上升。dynamic_threshold是自适应阈值参数，不同版本的 infercnvpy 默认值可能有差异，务必以自己的版本文档为准，跑完看一眼热图确认基线是否居中。

6.3 强化学习环境定义

# 文件路径：scripts/tree_env.py import gymnasium as gym from gymnasium import spaces import numpy as np class TreeBuildingEnv(gym.Env): """把演化树构建建模为序贯挂载决策。 状态: 邻接矩阵展平 + 挂载掩码 动作: action = parent * N + child 奖励: 父子 CNV 谱余弦相似度 - 结构惩罚，终止时加全局奖励 """ metadata = {"render_modes": []} def __init__(self, feats, max_out_degree=3, root=0): super().__init__() self.feats = feats.astype(np.float32) self.N = feats.shape[0] self.max_out_degree = max_out_degree self.root = root self.action_space = spaces.Discrete(self.N * self.N) self.observation_space = spaces.Box( low=-1.0, high=1.0, shape=(self.N * self.N + self.N,), dtype=np.float32, ) # 预计算相似度矩阵，避免每步重复算 f = self.feats / (np.linalg.norm(self.feats, axis=1, keepdims=True) + 1e-8) self.sim = (f @ f.T).astype(np.float32) def _obs(self): return np.concatenate( [self.adj.ravel(), self.attached.astype(np.float32)] ).astype(np.float32) def reset(self, seed=None, options=None): super().reset(seed=seed) self.adj = np.zeros((self.N, self.N), dtype=np.float32) self.attached = np.zeros(self.N, dtype=bool) self.attached[self.root] = True self.steps = 0 return self._obs(), {} def step(self, action): parent = int(action) // self.N child = int(action) % self.N valid = ( not self.attached[child] and self.attached[parent] and parent != child and self.adj[parent].sum() < self.max_out_degree ) if valid: self.adj[parent, child] = 1.0 self.attached[child] = True reward = float(self.sim[parent, child]) # 相似度越高越好 self.steps += 1 else: reward = -0.5 # 非法动作直接惩罚 terminated = bool(self.attached.all()) truncated = self.steps >= self.N - 1 if terminated: reward += self._global_reward() return self._obs(), reward, terminated, truncated, {} def _global_reward(self): """终止奖励：鼓励整体一致性，惩罚退化结构。""" edges = np.argwhere(self.adj > 0) if len(edges) == 0: return -1.0 mean_sim = float(np.mean([self.sim[p, c] for p, c in edges])) depth = self._max_depth() depth_penalty = -0.05 * abs(depth - np.log2(self.N)) # 深度接近 log2(N) 更合理 return mean_sim + depth_penalty def _max_depth(self): depth = {self.root: 0} frontier = [self.root] while frontier: nxt = [] for u in frontier: for v in np.where(self.adj[u] > 0)[0]: depth[v] = depth[u] + 1 nxt.append(v) frontier = nxt return max(depth.values()) if depth else 0

这个环境设计里有两个细节值得说明。第一，相似度矩阵在__init__里预计算，因为 PPO 训练要跑几十万步，每步都重算余弦相似度会浪费大量时间。第二，max_out_degree的约束直接写在非法动作判断里，而不是靠奖励惩罚来间接引导——硬约束比软惩罚收敛快得多，这是工程实践里非常实用的一条经验。

6.4 训练脚本

# 文件路径：scripts/03_train.py import numpy as np from stable_baselines3 import PPO from stable_baselines3.common.vec_env import DummyVecEnv from stable_baselines3.common.monitor import Monitor from tree_env import TreeBuildingEnv feats = np.load("results/node_feats.npy") print("num nodes:", feats.shape[0]) def make_env(): return Monitor(TreeBuildingEnv(feats, max_out_degree=3, root=0)) env = DummyVecEnv([make_env]) model = PPO( "MlpPolicy", env, learning_rate=3e-4, n_steps=1024, batch_size=256, gamma=0.99, ent_coef=0.01, # 熵正则，鼓励探索 verbose=1, seed=42, device="auto", ) model.learn(total_timesteps=200_000, progress_bar=False) model.save("results/ppo_tree_model.zip") print("training finished")

ent_coef这个熵系数值得单独说一句。树构建的动作空间里，早期步骤的可选动作很多，后期越来越少，如果熵系数设为 0，策略很容易在训练初期就坍缩到某个固定顺序，之后再也探索不到更好的拓扑。设成 0.01 左右是个温和的起点，如果发现奖励曲线早期就平台化，可以适当调高。

训练规模方面，20 个节点的动作空间是 400，MLP 策略足以应付。但如果你的簇数到了 50 以上，动作空间变成 2500，纯 MLP 的状态表示（邻接矩阵展平）会变得又稀疏又长，这时候应该换成图神经网络编码器，用 GNN 提取树的局部结构特征再输出动作 logits。这是本文复刻范围之外但非常重要的扩展方向。

6.5 解码与结果导出

# 文件路径：scripts/04_decode.py import numpy as np from stable_baselines3 import PPO from tree_env import TreeBuildingEnv feats = np.load("results/node_feats.npy") labels = np.load("results/node_labels.npy", allow_pickle=True) env = TreeBuildingEnv(feats, max_out_degree=3, root=0) model = PPO.load("results/ppo_tree_model.zip") obs, _ = env.reset(seed=42) done = False trace = [] while not done: action, _ = model.predict(obs, deterministic=True) parent, child = int(action) // env.N, int(action) % env.N obs, reward, terminated, truncated, _ = env.step(action) trace.append((parent, child, float(reward))) done = terminated or truncated edges = np.argwhere(env.adj > 0) with open("results/tree_edges.tsv", "w", encoding="utf-8") as f: f.write("parent\tchild\tsimilarity\n") for p, c in edges: f.write(f"{labels[p]}\t{labels[c]}\t{env.sim[p, c]:.4f}\n") print("edge count:", len(edges)) print("total reward:", sum(r for _, _, r in trace)) for p, c, r in trace: print(f"{labels[p]} -> {labels[c]} reward={r:.4f}")

deterministic=True是必须的。训练时策略带随机采样，推理时如果还采样，同一个样本每次跑出来的树都不一样，可重复性就没了。这一点在审稿场景下尤其重要——你得能解释为什么这次跑出来是这个拓扑。

7. 运行结果与效果验证

跑完上面四步，results/目录下应该有以下产物：

results/ ├── adata_clustered.h5ad ├── node_feats.npy ├── node_labels.npy ├── ppo_tree_model.zip └── tree_edges.tsv

tree_edges.tsv就是最终的树结构，每行一条有向边，附带父子相似度。用任意树可视化工具（如 ETE3、igraph、或直接读进 Python 画图）都能渲染。

但"跑通了"和"结果对"是两回事。验证要分三层做。

第一层，结构合理性。检查树的边数是否等于节点数减一（连通性），检查是否存在孤立节点，检查最大出度是否超出约束。这些都是程序可以自动断言的。如果边数不对，说明解码过程中有非法动作被静默接受了，回头检查TreeBuildingEnv.step里的valid判断。

第二层，与 CNV 热图的一致性。把tree_edges.tsv里的父子关系按顺序叠到 CNV 热图上，看子克隆的拷贝数谱是否是父克隆的"进一步演化"——具体表现为大多数染色体区段的取值接近父节点，少数区段出现新的偏移。如果子节点和父节点在几乎所有区段都差异巨大，这条边就很可疑。

第三层，稳定性检验。这是最容易被跳过、但最能说明问题的一层。做法是：换 5 个不同的随机种子重跑预处理和聚类，得到 5 组簇标签，每组都训练一次策略并解码，然后比较 5 棵树的拓扑距离（Robinson-Foulds 距离是常用指标）。如果距离波动很大，说明结论对随机性过于敏感，可能的原因包括聚类分辨率不当、CNV 矩阵噪声过大、或者训练步数不够导致策略未收敛。

还有一条实用的验证路径：把强化学习得到的树和传统方法（比如基于同一距离矩阵的邻接法）做对比。如果两者拓扑高度一致，说明你的奖励函数没有引入奇怪偏好，结果可信度提升；如果差异很大，就要逐个分支去看差异来源，这本身也是很好的消融素材。

8. 常见问题与排查思路

这张表里，最需要重视的是第二行和第三行。参考细胞选错属于"输入错误"，后面所有分析都是白做；奖励函数退化属于"设计错误"，表现是训练看起来很顺利但结果是垃圾。两者都不报错，只能靠主动检查发现。

9. 最佳实践与工程建议

把随机性管住。单细胞分析链路里至少有四处引入随机性：PCA 的svd_solver、邻居图构建、Leiden 的初始划分、PPO 的采样。每一处都要显式设种子，并且把种子记录进结果文件。建议在项目根目录放一个run_config.yaml，把数据路径、所有超参数、随机种子、包版本一次性写死，每次跑实验生成一个独立的输出目录。

奖励函数要写单元测试。这一点很多人想不到。奖励函数本质上是把你的领域知识翻译成数值，它一定会有 bug。写几个手工构造的极端案例做断言：星形树应该得低分、链状树应该得低分、与 CNV 热图明显矛盾的分支应该得负分。这些测试跑起来只要几秒钟，但能在训练几小时之前拦住设计错误。

区分探索期和产出期。训练阶段鼓励探索，产出阶段必须确定性推理。同时建议在产出时保留 top-k 个候选树，而不是只输出一个——科研场景下，几个高分的候选拓扑放在一起看，往往能发现某些分支的置信度天然就低，这比强行给一个"最优解"更诚实。

数据规模上要设一条线。簇数低于 8 的时候，动作空间很小，穷举都能做，没必要上 RL。簇数超过 50 的时候，朴素的状态表示和动作空间都不再可行，需要换图神经网络加动作剪枝。真正适合这套方法的区间大概是 10 到 30 个克隆簇，这也正好是多数肿瘤单细胞研究的实际规模。

结果可解释性优先于指标好看。强化学习容易陷入"奖励刷分"的陷阱：你可以通过不断调整奖励权重让总奖励变高，但树本身可能越来越不符合生物学直觉。稳妥的做法是先固定一套基于领域知识的奖励，跑出基线结果，再做少量受控的权重扰动，观察拓扑变化是否在可接受范围内。如果一改权重拓扑就天翻地覆，说明数据本身的信号不足以支撑这么精细的推断，应该退回更粗粒度的分析。

安全和合规方面。临床样本数据涉及患者隐私，本地分析和上传云端前要确认数据脱敏和授权范围；涉及肿瘤基因数据的研究还应遵循所在机构的伦理审查要求。这些不是走过场，而是数据处理流程里必须前置确认的一环。

# 文件路径：run_config.yaml project: sc-evolution-rl seed: 42 data: matrix_dir: data/filtered_feature_bc_matrix min_genes: 200 min_cells: 3 mt_pct_max: 20 cluster: n_top_genes: 2000 n_pcs: 30 n_neighbors: 15 resolution: 0.8 cnv: window_size: 100 step: 10 reference_clusters: ["0"] rl: max_out_degree: 3 root_index: 0 total_timesteps: 200000 learning_rate: 0.0003 n_steps: 1024 batch_size: 256 ent_coef: 0.01

把配置外置之后，消融实验就变成了改一个 YAML 字段再跑一遍的事，这才是工程化的做法。

10. 这套方法学真正的价值边界

回到最初那个判断：这项工作最有价值的地方，不是某个具体的树结构，而是它示范了一种把生物学家头脑里的隐性规则显式化的路径。传统流程里，"这个分支看起来不对劲"是一句无法量化的话；在这个框架下，它变成了奖励函数里的一个惩罚项，可以被调参、被消融、被复现。

但它也有清晰的边界。强化学习不创造信息，它只是在给定的特征空间里搜索更优的组合。如果你的 CNV 推断本身信噪比不够，或者样本里根本没有足够的克隆结构，再精巧的奖励设计也救不回来。所以落地时的优先级应该是：先把数据质量、参考细胞选择、聚类稳定性这三件基础工作做扎实，再考虑引入 RL 优化拓扑。顺序反了，投入产出比会非常难看。

如果你想继续往下走，有几个方向值得投入。一是把状态编码从 MLP 换成图神经网络，这能让方法在簇数更多的场景下仍然可用；二是把伪时间信息（来自 CellRank 或 scTour）作为额外的奖励项融进去，让拓扑同时满足拷贝数一致性和分化连续性；三是把训练好的策略迁移到新样本上做少样本微调，这是最有工程价值的扩展——如果能做到"一个队列训练、其余样本快速推理"，这套方法才真正具备规模化分析的能力。

最后提醒一句：任何涉及克隆演化结论的分析，都建议保留完整的中间产物和版本记录。从原始矩阵到最终的树，中间的每一步都可能成为审稿人追问的点，也可能成为你自己三个月后回头复盘时唯一的线索。