3.6 AttentiveFP：让网络学会看重点

3.6.1 动机：读出决定了哪些原子算数

3.5 节把图模型拆成两段：消息传递让原子吸收邻居信息，读出函数(readout function)把原子状态拼成分子向量。加和、平均、取最大三种固定读出有共同前提——每个原子贡献同等份额。加和保留分子大小的信息，平均把大小抹平，取最大只留最强激活，但无论哪一种，都不区分原子的重要性：四十个原子的分子里，每个原子都占四十分之一。

化学偏偏常走少数派路线。致突变性与 hERG 心脏毒性往往由结构警报(structural alerts)决定——芳香硝基、亲电弹头、富电子稠环这类小集团；药效团(pharmacophore)更是只有寥寥几个原子：一个氢键供体、一个疏水中心，再配上固定的空间距离。真正推动性质的是八个原子，固定平均却给其余三十多个原子各发一份权重，关键子结构的信号随即稀释；分子越大，稀释越重。放大分子上的预测变差，一部分原因就在这里。

应对的办法有三条。一是外挂规则：警报列表先于模型存在，命中即标记。二是回到指纹：ECFP 已把子结构编码成比特，3.3 节的随机森林靠不纯度下降自行挑选——但指纹粒度在训练前写死，任务说了不算。第三条路把“重要性”本身变成可学习量：让网络在训练中为每个原子、每条邻居消息算出一个权重。这就是注意力机制(attention mechanism)。

3.6.2 序列注意力的最小回顾

注意力诞生在序列建模里：翻译要决定目标词对齐哪些源词，摘要要决定句子吸收哪些要点。剥离所有工程细节，留下的骨架只有三个角色——查询(query)问“我在找什么”，每个位置的键(key)答“我这里有什么”，匹配度决定从对应值(value)中取多少。打分、归一、加权取值，三步合起来就是缩放点积注意力(scaled dot-product attention)（Vaswani et al., 2017）：

两个设计需要说清。其一，除以 √d_k 不是装饰。设 q、k 各分量独立、零均值单位方差，点积 q·k 的方差随维度 d_k 线性增长；不缩放时，softmax 的输入跨度以 √d_k 的速度扩张，很快被推向近似独热的分布，梯度经 softmax 雅可比几乎归零。除以 √d_k 把方差拉回 1 附近，训练才稳定。其二，softmax 的归一是局部的还是全局的，取决于求和范围——序列里对全部位置归一，图上则只对邻域归一。这一点在下一小节成为图与序列的分界线。

抽象地看，式 (3.6-1) 做的事只有一件：以“内容相似度”为权做加权平均，顶替原先的等权平均。序列有位置顺序，分子图没有；但分子图有天然的邻接关系，“该看谁”的问题换了个提法——看哪些邻居、看哪些原子。打分函数也随之处更换：点积换成一对可学习向量作用于两个节点表示的拼接。

还有一层差异值得点破：归一的范围决定权重的“竞争对手”。序列注意力对全句归一，一个词与全部位置争夺份额；图注意力只对邻域归一，一个邻居只在键连的小圈子里竞争。后果是图上的注意力系数永远是局部相对量——同一个 α = 0.4，在三个邻居的季碳上与在十几个邻居的稠环碳上，含义并不相同。跨分子、跨原子比较系数时，先看邻域大小，再谈数值大小。

3.6.3 图注意力：权重由内容决定

3.5 节的 GCN 给出了注意力最贴切的参照系：邻域聚合的权重由度数固定，对称归一化后每条边拿到 1/√(d_ud_v)，训练前后分毫不变。图注意力网络(graph attention network, GAT)把这份权重交还给模型（Veličković et al., 2018）。对中心原子 v 与其邻居 u，先做共享线性变换，再以一个小打分向量 a 评估两边内容的匹配程度：

打分只在 v 的邻域内归一：

归一化后的权重接管聚合：

多头注意力(multi-head attention)再添一重冗余：K 组独立的 (W, a) 并行计算 K 套权重。中间层把 K 个头的输出拼接（特征维变为 K·F′），让不同的头各守一套打分标准——一套看电性互补、一套看度数与拓扑，分工无须人工指派；末层改拼接为平均，避免输出维度随头数膨胀。这套用法直接继承自序列注意力（Vaswani et al., 2017），在图上原样可用。

GAT 原是为节点分类设计的：一层看一度邻居，权重学得再好，也只回答“这个原子是谁”。分子性质预测要的是整张图的向量——还差最后一跳。

• 2017消息传递框架把图模型统一为“聚合—更新—读出”三件套，读出首次与聚合并列成为设计维度（Gilmer et al., 2017）。
• 2017缩放点积注意力成为序列建模的标准件（Vaswani et al., 2017）。
• 2018GAT 把邻域权重从度数解放为内容（Veličković et al., 2018）。
• 2020AttentiveFP 把注意力同时用在节点与读出两级，进入分子性质预测（Xiong et al., 2020）。

3.6.4 AttentiveFP：先看邻居，再看全局

AttentiveFP 的方案是把注意力用两次，两级各司其职（Xiong et al., 2020）。第一级在节点上。打分与归一同式 (3.6-2)、(3.6-3) 的形式：成对打分、邻域 softmax、加权求和。不同之处在更新与迭代——每一轮的加权聚合结果不直接作为新状态，而是与原子上一轮状态一起送入门控循环单元(gated recurrent unit, GRU)做门控融合；整个过程迭代 T 轮。T 是关键超参数：每轮信息跨一度键传播，T 轮后每个原子“见过”T 键以内的全部邻居——与 3.5 节消息传递层数、ECFP 半径的对应关系在此原样成立。论文的消融显示，多数任务在 T 取约 2～3 时已接近最优；继续加大 T，收益让位于过拟合。

第二级在读出上，也是本节真正的招牌。3.5 节末尾留过一道伏笔：分层读出按“键—环—官能团—分子”的层级逐层池化，分组由化学先验决定；另一种答案是不预设分组，让数据决定每个原子的份额。AttentiveFP 取后者，做法是引入一个虚拟结点(virtual node)——所谓 master 结点，与分子中全部原子连边，自身携带一个可学习状态 q。读出即在这个“星形图”上再做一次图注意力：q 是查询，每个原子的状态既是键又是值：

两级结构回应了 3.6.1 的动机：节点级让“哪些邻居值得吸收”可学，读出级让“哪些原子算数”可学；固定池化——包括 3.5 节的加和读出——都成了读出注意力在权重取常数时的特例。分层读出与注意力读出由此构成互补的一对：前者把化学先验写进分组结构，后者把分组交给数据。代价与收益都在“可学”二字里，要靠对照实验裁决。

DeepChem 对该架构有现成实现，接口与前几节的模型同构，一段即可跑通，作为本节原理的锚点：

import deepchem as dc
tasks, (train, valid, test), _ = dc.molnet.load_tox21(
    featurizer="MolGraphConv", splitter="scaffold")   # 原子级特征，固定划分对照
model = dc.models.AttentiveFPModel(                   # 两级注意力 + GRU 更新
    n_tasks=len(tasks), mode="classification")
model.fit(train, nb_epoch=20)
auc = dc.metrics.Metric(dc.metrics.roc_auc_score)
print(model.evaluate(test, [auc]))                    # 与 3.3 基线同表记录

3.6.5 把权重画回分子：可视化与解释的边界

读出系数 α_i 是逐原子的标量，天然可以映射回结构：把每个原子按 α 深浅着色，分子图随即变成一张“模型视线图”——哪里深，模型就把分子向量的大头押在哪里。图 3.6-2 给出示意：对一个带硝基的芳环小分子，训练后的读出权重倾向于聚在硝基及其邻位环原子上，远离警报的长尾近乎白色。论文的特征可视化报告了更强的现象：权重可以跨键聚集在不相邻的原子上——作者称之为模型学到了非局部分子内相互作用(nonlocal intramolecular interactions)，例如共轭体系两端的原子同时获得高权重（Xiong et al., 2020）。这类图之所以受欢迎，正因它与药物化学家的读图习惯同构：看分子先看官能团。

实践里还有两个技术选择需要交代。其一是用哪一层的权重：读出系数 α_i 度量分子向量从每个原子取走多少；节点级系数也可以对入边求和或平均，聚合出原子的“被关注度”——两者回答的问题不同，前者关乎全局拼装，后者关乎消息吸收，图注若不写明便无从对读。其二是对照的缺席：着色解释的说服力一半来自反例。同一模型对不含警报的分子，着色应当平缓；若无论什么分子都处处深色，说明权重近乎均匀，着色失去分辨率，此时“深色”不再携带信息。发表与评审中都应附上这类负对照。

把“模型在看哪里”读成“分子为何有毒”，中间隔着一层未经检验的假设：权重度量信息通路的流量，而因果贡献度量拿走这块信息后预测会变多少——两个量只在特定条件下才重合。序列建模里早有系统性质疑（Jain & Wallace, 2019）：同一预测可以由多组差异很大的注意力权重产生，权重不唯一；把权重换成均匀分布或重新排序，预测常常几乎不动，扰动不敏感。翻译到分子上就是：某原子 α 高，可能因为它携带判别信息，也可能只因为它是信息中转站——环系里的枢纽碳把邻域消息汇拢再传出，流量大，贡献未必大。反方意见同样存在：Wiegreffe 与 Pinter（2019）认为上述检验标准本身不充分，注意力的解释力应分情境讨论。争论没有关闭，态度不妨先保守。

3.6.6 局限、成本与去向

注意力不是免费的午餐。计算上，打分成对进行：节点级每条边一次，读出级每原子一次，开销随分子线性增长——分子图普遍小于百原子，真正的账单在多头数与迭代轮数 T 的乘积上。统计上，灵活的权重是额外的自由度，需要数据约束：SIDER、ClinTox 这类千级样本的任务上，两级注意力完全可能过拟合，早停与正则化的分量比在固定池化下更重（3.8 节）。结构上，邻域 softmax 有两点刚性：权重非负且强制和一，重要性只剩相对含义；softmax 无法输出精确零，模型想彻底无视某个邻居，只能给一个极小而非零的权重——噪声邻居永远在门外探头。

放大视野收束本节：读出设计至此已有三条路线——结构先验写进分组的分层池化、数据决定份额的注意力读出、以迭代逼近集合信息的聚合式读出。三者并非取代关系，文献中并存且常混搭；裁决标准自始至终只有一条——回到 3.3 立起的基线表，同划分、同指标、同波动口径下比数字。

两级注意力给出的分子向量，也把本章的性质预测线推到了一个交汇处：表示端，原子份额由任务学出；评估端，成绩要回到 3.3 的基线表上对账，诚实评估的纪律一节都不能少（3.8 节）。往前看，第 4 章的生成模型里，注意力加权还会再登场——对候选分子打分时聚合原子贡献、在图变换中挑选作用位点，机制与本章同源，届时只须增量补课。