陈文杰 · 写作

如何设计结构化零假设？

Thu, 02 Jul 2026 00:00:00 GMT

很多表征探针使用的“对照”太容易被击败。随机打乱标签会破坏所有信息，包括探针本来可以合理利用的结构。因此，优于这种对照并不能证明太多。

简单置乱的问题

当我们说模型“编码”了某种残基级属性时，隐含的比较对象应当是一个无法从序列恢复该属性的世界。但同一家族中的序列会共享统计特征。探针可能只是识别了蛋白质家族，而不是真正找到了残基级信号。

一个可用的定义

结构化零假设应满足以下条件：

保留整体序列统计特征，例如长度、组成和家族结构。
保留标签的边际分布。
破坏我们声称模型捕获到的特定“序列 → 标签”关系。

def structured_null(seq_labels, family_ids, rng):
    """在家族内置乱标签，同时保留家族层面的基础比例。"""
    out = {}
    for fam in set(family_ids):
        idx = [i for i, f in enumerate(family_ids) if f == fam]
        perm = rng.permutation(idx)
        for a, b in zip(idx, perm):
            out[a] = seq_labels[b]
    return out

尚未解决的问题

零假设需要有多强的对抗性？是否要保留基序？
不同注释类型是否需要分别设计零假设？

这是一篇持续更新的研究笔记。我会随着 SAE-DISTILL 的零假设测试逐步稳定而继续修订。

如何解释蛋白质语言模型特征

Thu, 18 Jun 2026 00:00:00 GMT

蛋白质语言模型中的单个神经元通常具有多义性：同一维度可能同时响应疏水性、二级结构和蛋白质家族特征。稀疏自编码器（SAE）希望得到含义更单一的特征，但这种含义仍然需要严格检验。

为什么不用原始维度，而使用 SAE

叠加表示：PLM 需要在有限维度中容纳更多概念，SAE 可以扩展表示基。
便于比较：特征更容易在不同层和不同检查点之间对齐。
适合作为探针目标：稀疏特征通常比原始维度更适合做可恢复性测试。

最小训练示例

loss = mse(x, decode(features)) + l1 * features.abs().mean()

真正困难的部分不在损失函数，而在于如何评估这些特征到底表示什么。

SAE 无法直接告诉我们什么

一个特征是否真正被下游任务使用，还是只是存在于表征中。
特征与标签之间的相关性，能否通过家族留出评估。
学到的特征字典在不同随机种子下是否稳定。

这些问题需要各自独立的实验。没有结构化评估的可解释性结果，只能作为假设，不能直接当作结论。

什么样的生物 AI 结果才可信？

Sat, 30 May 2026 00:00:00 GMT

做过计算病理和抗毒力候选物筛选后，我逐渐整理出一份简短的检查清单，用来判断自己是否应该相信一个结果。

1. 数据划分要接近真实使用场景

随机划分天然容易得到乐观结果。蛋白质任务应考虑家族留出，临床数据应使用外部队列。数据划分要尽量模拟现实中最困难的使用情况。

2. 必须报告校准，而不是默认模型可靠

在生物医学任务中，只有准确率而没有校准是不够的。可靠性图和预期校准误差（ECE）的计算成本不高，却能暴露很多问题。

3. 要主动寻找数据泄漏

仅按完全相同的样本去重远远不够。近重复样本、共享分子骨架和批次效应都需要单独检查。

4. 写作时要限制论断强度

稿件中的每个强论断都应对应具体实验，每个实验也应说明可能的失效模式。如果一个论断无法通过结构化零假设检验，就不应该写出来。

5. 失败结果也应当可以复现

可复现性也包括阴性结果。只能复现成功案例的流程，并不是真正可复现的流程。

这份清单故意保持简短，因为完成这些检查的成本，通常远低于错误结论带来的代价。