2.6 分子清洗与标准化：建模前的必要工序

2.6.1 数据为什么是脏的：来源、重复与四类污染

第 2 章前几节默认输入是一张干净的分子图；真实数据几乎从不干净。建模常用的化合物集并非为机器学习而生：它们从专利权利要求、文献数据表、供应商目录与高通量实验记录里拼合而来，各有各的记录习惯。供应商按"能买到什么"登记，目录里多为可溶的盐形式(salt form)；专利按"主张什么"书写，倾向游离碱；文献按原文照录，原作者写哪种就抄哪种；高通量筛选记录的则是孔板里实际加入的样品，常以盐、甚至以混合物形式入库。同一化合物因此以不同面目反复入库：钠盐与游离酸并存、不同质子化状态(protonation state)并存、互变异构体以不同画法并存、立体标注时而明确时而缺失。

问题的实质是等价关系：化学意义上的"同一化合物"是一个等价类，而原始记录不满足这个等价关系——等价的记录长得不一样，不等价的记录有时长得一样。化学数据清洗(chemical data curation)与结构标准化(structure standardization)的任务，就是在建模之前把这个等价关系机械地、可复现地施加到数据上。

污染可以归为四类，见表 2.6-1。前三类是"表示层"的病：分子本身没错，只是写法不统一。第四类是"记录层"的病：结构或标签本身错了——结构张冠李戴（化合物名对应到错误的结构）、活性数值的小数点错位（微摩尔写成纳摩尔，差三个数量级）、单位抄错。表示层的病可以规则化处理；记录层的病没有通用解法，只能靠交叉核对与离群审查发现（Fourches et al., 2010）。

2.6.2 标准化流水线：五个阶段及其顺序

清洗不是一堆可以随意排列的开关，而是一条顺序敏感的流水线。推荐顺序如下。

• 阶段 1
  结构有效性检查：sanitize 全流程（2.1.4）能否通过；不通过者隔离待查，不参与自动修补。
• 阶段 2
  断盐与片段分离：断开金属—配体连接，按重原子数选择最大片段。
• 阶段 3
  电荷中和与再电离：能写成中性形式的改为中性形式，不能者保留并记录。
• 阶段 4
  互变异构规范化：按固定规则集把互变族折叠到一个代表构型。
• 阶段 5
  官能团规范化与终检：非标准价写法改为标准形式，重跑 sanitize，生成规范化标识符。

阶段 1：有效性检查

第一道关卡承接 2.1.4 的 sanitize：价态计算、环感知、凯库勒化、芳构化逐项通过，图才有资格称为分子。公共数据集中总有一小部分记录连这一关都过不了——五价碳、六价氮、断键悬空的原子。处置原则是隔离而非硬救：解析失败与超价错误各有日志，人工复核后决定删除或改正。自动"修复"一个连价态都不满足的图，等于把错误合法化。

阶段 2：断盐与片段分离

盐在 SMILES 里表现为多个不相连的片段（2.2 节的圆点记法），如乙酰水杨酸钠写作酸根阴离子与 [Na+] 两段。断盐(salt stripping)先断开金属与配体之间的离子型连接，再按重原子数保留最大片段(largest fragment)，丢弃反离子。这个默认有明确的化学依据：生物活性通常由游离形式(free form)贡献——测定环境下钠盐、盐酸盐迅速解离，到达靶点的物种是游离酸或游离碱，反离子只是陪伴。但"通常"不等于"总是"，适用边界见下方警示框。

阶段 3：电荷中和

反离子丢掉之后，酸根还带着负电。中和步骤按固定规则再质子化：羧酸根改回羧酸，胺盐改回游离胺。有些电荷无法中和——季铵盐的第四个取代基不是质子，去掉就不再是原分子；这类记录保留原电荷并在报告中登记。还要交代一个局限：测定环境有特定 pH，分子在溶液里的优势电离形态未必是中性形式；中和是"表示约定"，不是物理断言。约定无害，只要全数据集用同一条约定。

阶段 4：互变异构规范化

互变异构对指纹是灾难。摩根指纹（2.5 节）以原子邻域为哈希输入，氢从氧迁到氮，元素标签与键级全变，哈希值随之全变。于是"同一分子"的两条记录相似度骤降，2.5 节的近重复检测完全失效。图 2.6-2 的 2-羟基吡啶/2-吡啶酮对是教科书案例：互变比例随溶剂极性移动，非极性环境偏向羟基式，极性环境偏向酮式（Sitzmann et al., 2010）。互变异构规范化(tautomer canonicalization)的思路是枚举互变族，再按固定规则集选一个代表构型，全族折叠到代表上。但"哪个代表"没有普适答案：优势互变体取决于 pH、溶剂与靶点结合环境，数据库之间也各行其是——Sitzmann 等人对逾亿条记录的分析显示，三分之二以上的独特结构可能存在互变异构，各库登记的构型并不一致（Sitzmann et al., 2010）。规范化选的是"一致"，不是"正确"；对 pH 敏感的建模任务，有时应保留整族或显式建模电离态。

阶段 5：官能团规范化

同一官能团常有多种合法却互异的写法：硝基可写成五价的 N(=O)=O，也可写成电荷分离的 [N+](=O)[O-]；重氮、亚砜、胍都有类似的双写法。官能团规范化(functional group normalization)用一组模式改写规则把非标准价写法统一为标准形式，机理上是一族受限的"模式匹配—改写"变换：匹配到非标准子结构，替换为标准子结构，原子数与总电荷不变。两个动机：其一，五价氮写法在部分价规则下过不了 sanitize；其二，即使都能通过，两种写法的指纹与描述符也不同，等于人为制造了近重复。改写完必须重跑 sanitize——改写规则也是会出错的代码。

顺序为什么不能乱。断盐必须先于中和：反离子在场时"中性形式"无从定义，电荷账目也平不了。中和必须先于互变异构规范化：互变规则集定义在中性官能团上，烯醇负离子不在规则覆盖之内，先规范化再中和会把整族折叠到错误代表。官能团规范化必须作用于已断盐的单分子：否则模式改写会毫无意义地作用于柠檬酸根之类的大块反离子上。每一步都以前一步的输出为前提，这正是流水线的含义。图 2.6-1 以一条盐记录与一条游离酸记录走完全程为例。

2.6.3 清洗的传导效应：从指纹到划分与评估

不清洗的代价沿着建模链条向下传导。第一站是指纹比较。同一路径的盐形式与游离形式，摩根指纹（半径 2、2048 位）的 Tanimoto 相似度典型只有 0.6 上下——具体数值随设置浮动，但量级稳定：远低于"同一分子"应有的 1.0，也低于多数近重复阈值。原因可以数出来：盐记录多出的钠原子贡献自己的环形哈希位，被夺走质子的羧酸氧改变了整片邻域的哈希，共享的骨架位再被稀释一轮。定性地说，"同一分子"在未清洗数据里表现为"中等相似的另一个分子"。

from rdkit import Chem
from rdkit.Chem import AllChem, DataStructs

salt = Chem.MolFromSmiles("CC(=O)Oc1ccccc1C(=O)[O-].[Na+]")  # 记录 A：钠盐
free = Chem.MolFromSmiles("CC(=O)Oc1ccccc1C(=O)O")           # 记录 B：游离酸
fp = lambda m: AllChem.GetMorganFingerprintAsBitVect(m, 2)
print(DataStructs.TanimotoSimilarity(fp(salt), fp(free)))     # 约 0.6，而非 1.0
print(salt.GetNumAtoms(), free.GetNumAtoms())                 # 14 对 13：计数混入 Na

第二站是数据划分。1.3 节的骨架划分（scaffold split）以"测试集含训练集未见过的骨架"为目标；同一分子的盐形式与游离形式恰好共享骨架，两条记录分居训练集与测试集时，模型答对的与其说是泛化，不如说是认出了熟人。3.8 节的评估因此被系统性抬高。设某化合物在原始表中有 k 条记录，训练集比例为 q，则至少一条进训练集、至少一条进测试集的概率为

第三站是标签表本身。同一化合物常被多次测定：不同实验室、不同批次、不同年代。清洗后按标准化结构分组，组内多条活性取中位数：

清洗的直接后果可以一眼核对：唯一标识符数下降。标准化是确定性映射，原始记录集合经映射后像集的基数不大于原像集——重复被折叠，计数只减不增。

from rdkit.Chem import Chem
from rdkit.Chem.MolStandardize import rdMolStandardize

def key(smiles):                       # 固定一条流水线：断盐·中和·规范化
    s = rdMolStandardize.StandardizeSmiles(smiles)
    return Chem.MolToInchiKey(Chem.MolFromSmiles(s))
a = key("CC(=O)Oc1ccccc1C(=O)[O-].[Na+]")   # 盐记录
b = key("CC(=O)Oc1ccccc1C(=O)O")            # 游离酸记录
print(a == b)                          # True：唯一 InChIKey 计数由 2 降为 1

2.6.4 质量审查的实证警示：Trust, but Verify

"清洗很重要"不是修辞，而是被反复量化过的事实。Fourches、Muratov 与 Tropsha 系统审查了公共数据库中的建模数据集，发现无效结构、重复记录（常以不同盐形式与互变异构形式出现）、价态异常与不一致记录在各数据集中占去了不可忽略的份额；他们对数据逐一清洗、重建 QSAR 模型后对比：清洗前后模型的测试集表现出现实质差异，残留错误仍继续压低模型质量。结论浓缩为一句格言——Trust, but verify：数据库可以省去从头测定的成本，但直接拿来建模必须先审查（Fourches et al., 2010）。该工作随后扩展为化学基因组数据清洗的实用指南（Fourches et al., 2016）。

这一支文献也重塑了 QSAR 的方法论规范。Tropsha、Gramatica 与 Gombar 的纲领性论文指出：没有严格验证的构效模型无论拟合多好都不可信——内部交叉验证只是下限，外部测试集验证与 y 随机化对照（打乱标签重训，性能应坍缩到随机水平）才是必要条件（Tropsha et al., 2003）。数据清洗与严格验证是一枚硬币的两面：清洗定义了"模型看到的分子"，验证定义了"模型可信的边界"，两者共同构成 QSAR 验证规范的地基。

2.6.5 流程纪律：固定的规则、入库的脚本与被丢弃者的清单

清洗本身也是代码，也会出错，也在演化。三个纪律由此而来。第一，规则固定并记录版本：断盐阈值、互变规则集、官能团改写表、中和策略，全部写死在配置里，随代码版本管理；工具版本同样要记录——RDKit 的规范化行为跨版本偶有调整，同样的原始数据配不同版本的清洗代码，会得到不同的标准化集。5.2 节会看到，缺少这份版本对应关系，复现就从第一天开始崩塌。第二，清洗脚本与原始数据一起入库：只发布清洗后的数据而不发布清洗规则，他人既无法复现也无法审计；只发布规则而不留原始数据，丢弃了多少分子永远说不清。第三，报告被丢弃者：一份合格的清洗报告至少包含输入记录数、各阶段丢弃或修改的记录数与原因分类（解析失败、超价、多片段、金属断开、互变折叠、重复折叠）、输出唯一分子数，以及规则与工具版本。被丢弃的分子不是噪音，而是数据质量的第一手证据。

2.6.6 与 InChI 的关系：跨库对齐的标准层

清洗流水线为建模准备分子；跨数据库对账还需要一个独立于任何建模工具的标识符。InChI 在生成时自带一层标准化（Heller et al., 2015）： perceived 互变异构被归入"移动氢"处理，质子数差异计入质子化层而不进入连接层。于是 InChIKey 的第一块——连接层哈希——成为跨库对齐的实用工具：盐形式与游离形式的连接层一致，两库记录即可判为同一化合物，图 2.6-1 的折叠正由这一性质支撑。2.2 节讨论过各家 canonical SMILES 互不相认；InChIKey 把"同一分子"压缩成十四个字符，库与库之间的对账才有了共同语言。

但 InChI 的标准层同样是一组选择，不是唯一真理。移动氢的合并范围有既定规则，也有 FixedH 等非标准选项保留特定互变异构；对 pH 敏感的对齐任务，连接层一致可能掩盖应当区分的物种。结论与 2.6.2 一致：标准化永远在"一致"与"保真"之间取舍，关键是选定一套规则、写明版本、贯彻到底。下一节转向另一类"不唯一"——化学反应的表示。