3.7 多任务与类别不平衡：Tox21 的真实挑战

3.7.1 Tox21：标签来自实验

Tox21 是美国 NIH（NCATS 与 NTP）、EPA 与 FDA 的联合毒理学计划：以定量高通量筛选(quantitative high-throughput screening, qHTS)在 1536 孔板上对约一万个化合物逐个测定浓度–响应曲线（Huang et al., 2016）。MoleculeNet 收录的教学子集含约 7,831 个分子、12 个二分类任务（Wu et al., 2018）。任务分两类：七个核受体(nuclear receptor)任务——雄激素受体 AR 及其配体结合域、芳香烃受体 AhR、芳香化酶、雌激素受体 ER 及其配体结合域、PPARγ；五个应激反应(stress response)任务——抗氧化应答元件(response element) ARE、DNA 损伤反应 ATAD5、热休克 HSE、线粒体膜电位 MMP、p53 通路。

标签的来历要先讲清楚。矩阵的每一格背后是一条真实的实验曲线：样品按若干浓度点处理，仪器读数拟合为浓度–响应关系，再按曲线形态归为命中或不命中。标签来自测定，不是计算，也不是人工推断。这决定了它的性质：权威性来自实验，噪声也来自实验——假阳与假阴是生物学变异与仪器的产物，不存在标注者分歧那类监督噪声。3.3 节的基线纪律在此同样成立：任何模型的成绩，都要对照这层实验噪声来读。

两个特征把这份数据变成对学习器的双重刁难。其一，类别不平衡(class imbalance)：命中是少数，各任务阳性占比普遍只有百分之几。全判负的平凡解，损失已经相当低；负例主导梯度，模型稍弱就滑向悲观。其二，标签稀疏(label sparsity)：许多分子只在部分任务上有测，y 矩阵含大量未知格（1.3 节）。每个任务的有效数据因此更少，批内的有效样本数还随批波动。图 3.7-1 用一小块标签矩阵示意三色格局。

两者叠加，才有本节的标题。多任务与类别不平衡不是两件可以分别打发的小事，它们互相纠缠：稀疏让不平衡更尖锐（有效正例更少），不平衡又让掩码损失的设计更讲究（权重往哪里放）。3.2 至 3.6 节的模型一律可在此使用，变化全在损失、采样与评估的口径上。

3.7.2 稀疏标签与掩码损失

3.1 节把“缺失”表达为权重掩码(weight mask) w：w_it = 1 表示分子 i 在任务 t 的标签真实存在，w_it = 0 表示未知。落到二分类，多任务训练用的就是掩码损失(masked loss)——按格过滤的二元交叉熵：

式子的要点全在求和范围：Ω 只含 w = 1 的格子，未测的格子在 y 里填什么都不影响损失。缺失是“不知道”，负例是“知道为否”，两者在 y 矩阵里都可写成 0，语义相反，w 是唯一仲裁者。把未测当阴性训练，等于向模型宣布它从未获得的证据：分子 i 在任务 t 的活性从未测定，模型却收到一条“确为负”的梯度。后果是系统性的——预测概率被整体压低，正例召回受损；任务的正例率口径被稀释，评估随之失真。

掩码还带来一个纯统计层面的麻烦：批内有效样本数波动。训练按分子组批，一批 64 个分子落到任务 t 上，有效格数可能是 60，也可能是 7——取决于这批分子恰好在哪些任务上有测。损失若按批平均，任务 t 在不同批里的“音量”忽大忽小，梯度噪声随之增大；极端时一批里某任务的有效格全为负，该批对该任务的梯度只在教模型说“不”。两种缓解：任务感知采样(task-aware sampling)——组批时保证每个任务有起码的有效标签数；或按批内有效格数归一损失，压平音量波动。前者牺牲均匀随机性、引入轻微分布偏移，后者略改各任务的相对权重。都有代价，但都比放任波动好。

3.7.3 多任务学习：硬参数共享的机理

先看困境的另一面。12 个任务的分子高度重叠，同一批化合物在多数任务上都有测定；单独训练 12 个网络，等于把同一个结构–活性问题切成 12 份，各自从头学习“什么样的结构值得警惕”。每个任务的有效数据不过数千、正例数百，单任务网络极易过拟合。多任务学习(multitask learning)的提议是：合并训练，让任务互相帮忙（Caruana, 1997）。

标准结构是硬参数共享(hard parameter sharing)：低层的分子编码器——3.5 节的消息传递层与读出——被所有任务共用；其上为每个任务 t 设一个小的输出头 f_t，通常一层线性变换加 sigmoid。参数分两份：共享的 θ₀，各任务私有的 θ_t。图 3.7-2 画出这一分工。

共享为什么有用？两条互补的解释。正则化解释：θ₀ 的更新来自全部任务的梯度，一组参数要同时解释 12 个任务的信号，容许的过拟合路径随之收窄。单任务里那些“恰好拟合本任务噪声”的表示，很难同时讨好其余 11 个任务；正则化(regularization)由此不靠惩罚项而靠结构达成，效果类似数据扩增——同一分子在不同任务下的标签互相牵制，模型学到的必须是跨任务稳定的结构规律。归纳迁移解释：相关任务的信号互为补充。数据多的任务把共享编码器训练充分，数据少的任务在这个表示之上只需拟合一个小头——它“借”到的是别的任务用数据学来的词汇。Caruana 的经典表述即此：多任务学习是一种归纳迁移(inductive transfer)机制，以相关任务的训练信号为彼此注入归纳偏置(inductive bias)（Caruana, 1997）。

两条解释共享同一个前提：任务相关。Ramsundar 等（2015）的大规模研究给出定量图景：将近四千万条测定、二百余个靶点合并训练，多任务网络的预测力随任务与数据的增加而提升，数据量与任务数是两个独立的增益来源。收益却分布不均——获益最大的是数据量小的任务，部分数据集几乎无改善甚至受损，对训练时未见的任务迁移也有限。加任务不是免费午餐：先助后抑的转折随时可能出现，判据始终是任务相关性与逐任务的验证成绩。

“抑”的机理就是负迁移。不相关任务的梯度在 θ₀ 上方向冲突：任务甲要把某参数往东推，任务乙要往西推，平均之后互相抵消，甚至把参数推离两者各自的最优。冲突不是偶发噪声而是持续拉锯时，联合训练就输给单任务。识别靠对照：每个任务留一条单任务基线（3.3 节），联合训练后逐任务比对；持续劣于基线者，在相关性矩阵里多半也找不到朋友。处置不必犹豫——按任务相关性分组训练（组内共享、组间独立），或干脆给冲突任务拆出单任务。多任务是一种可进可退的结构选择，不是信仰。

3.7.4 类别不平衡的应对谱系

回到不平衡本身。机理一句话：负例主导损失，梯度的大半在教模型“对一切说不”。对策按“动什么”分四层——动指标、动阈值、动损失、动数据。表 3.7-1 先给全景，再逐条看机理与代价。

评估侧换指标。最便宜的一层，训练完全不动。不平衡下 AUC 对模型差异不敏感（3.3.6），应改以 PR 曲线与 PR-AUC 为主叙事——其随机基线高度就是阳性占比，任何真实的改善都看得见；辅以平衡准确率(balanced accuracy)（TPR 与 TNR 的平均）或召回率。He 与 Garcia 的综述系统梳理了这一侧的选项（He & Garcia, 2009）。

阈值移动。训练不动，推理时把判决阈值从 0.5 挪到验证集选定的位置：固定 TPR 下最大化查准率，或按漏报与误报的代价比取等代价线的切点（3.3 节）。排序未变，只是换了工作点；代价是阈值绑定验证集分布，部署语境必须明确。

损失重加权。把正例项乘上 c_t ≥ 1：

机理：正例的每一份误差梯度放大 c 倍，模型对漏报更痛，召回上升。代价：输出概率系统性偏高，校准(calibration)变差——本该读作频率的 p 变成了带偏的打分；c 过大还会让小任务的正例被反复放大，训练不稳。下游只用排序（配合阈值移动）时校准损失可以接受；要报概率，就得再校准。

焦点损失。另一种动损失的方式，让权重随难度自适应：

Lin 等为密集目标检测提出焦点损失（Lin et al., 2017），在分子任务里同样对症：海量负例大多已被轻松分对，调制因子把它们的权重压向零，梯度自动聚焦到错分与难分样本上，无须人工设定 c_t。代价与重加权同源且更重：概率语义进一步扭曲——focal 训练的输出不是校准概率，只宜作排序分数；γ 也须在验证集上调。

过采样与欠采样。过采样(oversampling)重复正例或插值造新正例，欠采样(undersampling)丢弃负例。分子数据有个特有的坎：指纹或表示空间里的“插值”多半不对应任何真实分子——两个分子表示的平均未必有合法结构与之对应，化学上无意义的合成样本会污染共享表示。实践中常见的是按权重重复采样真实正例，效果近似重加权，差别在它改变了批组成、与批归一化这类组件有相互作用；欠采样则直接扔掉多数类信息，只宜在负例极多时用。

3.7.5 早富集：只看头部的指标

虚拟筛选的部署形态与以上都不同：化合物库动辄百万，实验只测排在前面的几十个。排序的中后段无关紧要，头部才是价值所在——而 AUC 恰恰对头部不敏感。把排前 10 名里的 3 个活性挪到第 100 名开外，AUC 几乎不动，买回家的分子却已经变了。度量须给头部更大的权重（Truchon & Bayly, 2007）。

早富集(early enrichment)度量的共同想法：名次 r 越靠前，权重越大。RIE 一族取指数衰减权重 w(r) = e^(−αr/N)，把每个活性按名次计权求和，再除以随机排序下的期望：

α 的语义一句话：衰减率由 α/N 决定，列表前 x 份承载约 1 − e^−αx 的总权重。α = 20 时，前 5% 占约 63%、前 10% 占约 86%；α 小则权重近均匀、度量退向全局排序观，α 大则只认头几名。图 3.7-3 画出两种 α 的权重轮廓。

最朴素的替代是富集因子(enrichment factor, EF)与“top-x% 命中率”：

EF 好算好讲，两个局限要记牢。其一，对头部内部的位置不敏感：7 个活性挤在前 7 名与散在第 1–100 名，只要都落在前 5% 就同分——指数权重族（RIE、BedROC）能区分这两种情况。其二，小样本方差大：随机排序下前 x% 的命中数服从超几何分布，均值 P·x%，波动与均值同阶；EF = 2 与 EF = 3 的差距可能在噪声之内。报告早富集时应附随机波动量级，或多次划分的方差（3.8 节）。还要记得这一族全是排序指标——若部署需要概率，另做校准，别把排序分数当频率读。

3.7.6 实务清单：诊断与报告

把本节的判断落成可执行的清单，三件事。

诊断任务相关性。在共同有效标签上计算 12 × 12 的两两关联——Φ 相关系数或正例 Jaccard。口径要紧：只在两个任务都有标签的分子上算，缺失格必须剔除，否则稀疏模式本身会污染关联估计。相关性矩阵回答两个问题：哪些任务适合合并训练（分组依据）；异常的单任务表现该怪谁——与其他任务全不相关的孤立列，多半是负迁移的候选人。

报告不平衡比。逐任务给出有效正例数、有效负例数与正例占比 n_t⁺/|Ω_t|。模型成绩离开这些数字没有解释力：AUC 0.85 出现在 π = 0.05 的任务与 π = 0.4 的任务，是两回事。

逐任务报告，宏平均汇总。多任务 AUC 有两种平均：池化——12 个任务的预测并成一个大表算一个 AUC；宏平均——逐任务各算再平均。惯例是宏平均(macro-average)：任务分数跨任务不可比，池化任由占比高、碰巧容易的任务主导总量（3.3.6，Wu et al., 2018）。宏平均本身也会掩盖单任务的灾难——0.5 与 0.9 平均得漂亮，一个不可用的任务藏在里面。均值汇报，逐任务列表随附。

清单之外还剩一个问题：多任务网络训练中，验证集上 12 条曲线此起彼伏，何时停、以哪条为准？早停的判据与诚实评估的纪律，正是下一节的主题。