THE RESEARCH QUESTION
当验证一次答案很贵时，AI 还能怎样搜索？
语言模型在数学、代码和游戏里取得进展，一个重要原因是：候选答案虽然难找，却往往容易验证。程序可以跑测试，棋局有明确规则，推导可以检查。模型能够生成许多方案，再把推理时算力花在比较和修正上。
科学设计把这件事倒了过来。候选空间可能大到无法枚举——例如约 20¹¹ 种抗体序列，或几乎无边界的化学结构；而一次反馈可能需要训练模型、运行模拟、做对接，甚至进入真实实验。系统不仅要问“哪个候选看起来合理”，还必须问“哪一次验证最能推进我们对问题的理解”。
我们因此测试三个更具体的问题：大模型能否在局部搜索停滞时主动改变搜索边界？能否区分“预测会更好”和“虽然不确定、但值得弄清”？以及，高预算搜索中形成的研究策略，能否被训练进一个更小、更便宜的模型？
LDM 的答案不是再造一个会背更多科学知识的基础模型，而是改变模型与证据相连的方式：让 LLM 负责构造候选，让概率代理模型根据外部评估持续校准价值与不确定性，再由两者共同选择下一次实验。
THE 30-SECOND VERSION
核心发现
真正稀缺的不是更多候选，而是知道有限的实验机会应该花在哪里。
LLM-only 会生成许多合理候选，却不能稳定判断其外部科学价值；传统贝叶斯优化会判断，却难以主动构造开放式的新结构。LDM 的收益来自两者互补。
探索是在当前地图里测试不确定区域；发现则改变候选的表示或生成方式，把此前根本不可达的区域纳入搜索。
代码和 SMILES 有丰富的语言模型先验，适合大批量直接生成；抗体序列空间稀疏而崎岖，更适合让 LLM 先定义搜索区域，再由代理模型在区域内筛选。
简单扩大候选池可能只得到更多“语言上像答案”的方案。采集函数需要把实验预测和认知不确定性带回生成过程。
模型若同时学习候选与“为什么现在值得尝试”的理由，在同域和跨任务测试中都比只学习动作更强。
LLM 会想
它能提出结构合理的新程序、序列和分子；但“看起来靠谱”并不等于实验结果真的好。
概率模型会估
它用已经做过的实验，画出“哪里可能更好、哪里我们仍然看不清”的概率地图。
LDM 会选
它把合理性、预期收益和不确定性放在一起，决定下一次昂贵评估最值得投向哪里。
把它想成一张会自动更新的藏宝图。LLM 不断画出通往新区域的路线，概率模型标出“可能有宝藏”和“我们还看不清”的地方，系统再选择下一铲挖在哪里。
WHY DISCOVERY IS DIFFERENT
推理在答案空间里找路；发现还要决定地图画在哪里。
在普通对话中，模型生成一个回答就结束了；在推理系统中，模型可以尝试多个候选，并用便宜、重复性高的验证器筛选。科学发现多了一层困难：反馈来自外部世界，而且昂贵、延迟、甚至带噪声。系统必须在提出候选之前，就考虑每一次实验可能带来的信息价值。
这使科学设计成为一个顺序逆向决策问题。我们不是给定分子后预测性质，而是在有限预算下反过来问：为了找到满足目标的结构，下一次应该验证哪个设计？候选是否高分只是答案的一部分；它是否能减少关键不确定性、是否能打开新的搜索区域，也同样重要。
会生成，不会可靠地给自己估价
序列似然或语言上的可信感，不等于真实结合能、训练效果或化学活性；模型的自信也不是校准过的不确定性。
会估价，却受困于已经表示出来的候选
贝叶斯优化能在稀疏观测下平衡收益与不确定性，但在程序、蛋白和分子等组合空间里，提出新结构本身就很难。
| 发现空间 | 候选与外部评估 | 预算 | 核心问题 |
|---|---|---|---|
| 训练程序 | train.py 修改；每次训练 5 分钟，以 val bpb 计分 | 顺序运行 | 代理能否识别平台期，并促使 LLM 重画参数空间？ |
| 抗体 CDRH3 | 长度约 11 的氨基酸序列；Absolut! 结构模拟器 | 5 个抗原 × 200 次 | 在稀疏崎岖空间里，定义搜索区域是否优于直接生成最终序列？ |
| KRAS G12D 分子 | SMILES；对接分数 + 神经网络活性预测 | 80 次 | 系统能否越过局部化学邻域，持续扩张多目标 Pareto 前沿？ |
THE CLOSED LOOP
一次实验，不只是一个分数。
每个结果都会改写系统对设计空间的理解，并决定下一轮候选从哪里来。
提出候选
LLM 生成程序、抗体序列、分子，或先划出一个新的搜索区域。
画概率地图
高斯过程根据已有实验，预测每个候选的表现与认知不确定性。
分配实验预算
采集函数把“可能更好”和“值得弄清”合成一次实验的当前价值。
实验后再学习
少量候选接受外部评估；新证据更新地图，也改变下一轮搜索边界。
EXPLOIT · EXPLORE · DISCOVER
探索是消除迷雾；发现是把地图画大。
利用
在已知里挑最好继续精修已经被实验数据证明有潜力的区域。
探索
消除地图内的迷雾测试已经看见、但结果仍然不确定的候选。
发现
把地图本身画得更大改变候选的生成方式，进入此前没有被表示或触达的新区域。
THE CORE MECHANISM
不是替换 LLM，而是让生成分布向证据倾斜。
在第 t 轮，LLM 根据当前研究上下文 Cₜ 给出候选分布 p(x | Cₜ)。它代表“哪些设计在结构和语义上合理”。与此同时，概率代理模型根据已经评估过的数据 Dₜ，为候选计算采集价值 aₜ(x)。
采集价值不是静态预测分数。它衡量的是：在当前搜索阶段，为这个候选投入更多推理或一次外部评估，能给整个发现过程带来多大价值。
ACQUISITION-TILTED SEARCH
一个候选被选中的机会，既取决于模型认为它是否合理，也取决于实验数据认为它现在是否值得验证。
pLLM(x | Cₜ)结构先验避免搜索任意漂到非法、无意义或完全不符合领域结构的设计上。
aₜ(x)实验价值把预测表现与认知不确定性合成“现在做这次实验值不值”。
η证据倾斜强度η 越大，搜索越服从代理模型；η 接近 0 时，系统退回原始 LLM 生成。
它预计有多好？
代理模型的预测均值，支持在已知高表现区域继续利用。
我们有多不敢确定？
可被新证据降低的认知不确定性，支持有方向的探索。
现在验证它值不值？
EI、UCB 或多目标 EHVI 把候选对顺序搜索过程的价值量化出来。
直接生成完整候选
适合代码和 SMILES：模型已有较强结构先验，可以批量提出完整程序或分子，再用采集价值筛选。
先定义搜索区域
适合抗体等稀疏空间：LLM 给出中心、边界或参数化策略，外部采样器扩充候选池，避免只在少数直接输出中重排。
WHAT THE THEORY DIAGNOSES
没想到它、看错了它、或看到了却没选中它。
论文把失败拆成三个来源。这个分解的价值不是承诺系统总能发现最优解，而是告诉我们下一步应该修生成、修代理，还是修采样。
真正的好解尚未进入当前 LLM 候选分布能够覆盖的区域——这是 discovery gap。
好解已经在范围内，但有限观测还不足以准确拟合价值地形。
高采集值候选已经存在，却因为候选池有限或随机采样而没有被选中。
理论界依赖 UCB 校准、局部正则性、核方法和噪声等假设；它描述假设成立时的搜索行为，不是对任意科学问题必然产生发现的保证。
EVIDENCE ACROSS THREE WORLDS
同一个闭环，走进三种发现空间。
程序、蛋白序列和分子结构的搜索规则完全不同；LDM 在三个领域都把生成与实证价值判断接到了一起。
让研究代理越过平台期
0.93421
最终 val bpb · 越低越好
AutoResearch 中，每个候选程序都真实训练一个小语言模型 5 分钟。不包含主动扩区机制的基线 约在 0.9767 停滞，LDM 通过“搜索—停滞—反思—扩区”继续找到更优程序。
注：两条主轨迹的最终评估次数不同，因此这里不把结果表述为同预算速度比较。
当代码代理已经会提出修改时，显式概率价值模型还能带来什么？
LLM 暴露学习率、宽度、深度等变量；RBF 高斯过程与 Expected Improvement 选择下一次 5 分钟训练。
轨迹中的“下降—平台—扩区—再下降”与设计机制一致，但曲线本身不构成单一组件的因果证明。
系统保留的改动包括 n-gram hash memory、QK norm、缩窄模型宽度和 windowed attention；它们让固定 300 秒内处理更多 token，或让每个 token 学得更多。
在约 20¹¹ 种序列里找方向
5 个抗原
每个目标最多 200 次计算评估
策略型 LDM 在五个目标上都明显优于“让 LLM 直接吐出最终序列”的版本，并达到与专用抗体优化器 AntBO 相近的水平。
当生成模型对生物序列的先验较弱时，采集函数能否靠事后重排弥补候选覆盖不足？
Direct 模式让 LLM 直接给最终序列；Policy 模式让 LLM 定义局部搜索区域，再从更大的候选池中筛选。
不能只靠重排。一个从未被生成的好候选，没有任何评分器能够选中；Policy 模式扩大了进入筛选环节的序列家族。
抗体任务中的测试时扩展趋势弱于代码和分子，说明更多计算不能自动补齐缺失的领域先验。
同时兼顾两个冲突目标
27.325±5.475
平均 Pareto 超体积 · 80 次计算评估
LDM 同时优化分子对接分数与神经网络活性预测。它持续打开新的分子骨架家族，最终均值比标准 MOBO 高约 63%。
在无法穷举的化学空间里，系统能否越过初始种子附近的局部邻域，找到新的分子骨架？
两个独立 GP 预测对接与活性，EHVI 评价多目标实验价值；Direct 模式每轮生成 128 个 SMILES。
ReaSyn 的局部类似物更接近已有化学邻域，却限制骨架多样性；大批量直接生成更适合早期先导发现中的广泛探索。
更高计算目标分数不等于药效、可合成性或实验室成功；候选仍需更高保真模拟与湿实验验证。
WHAT IS THE BOTTLENECK?
更长的思考链，不会自动变成更好的实验决策。
论文没有只展示最终分数，还用消融实验追问收益来自哪里。最直接的对照是一条强化版纯 LLM 研究循环：它能形成假设、写代码、运行实验、记录失败、做因果消融，甚至识别研究阶段；但没有 BO 代理和量化采集值时，实验历史对它仍主要是一段叙事，而不是可搜索的价值地形。
更多候选，何时真的有用？
在 AutoResearch 和分子任务中，更大的内部候选池只有经过校准采集值过滤时，才稳定转化为更好的外部评估。只增加语言上合理的候选，并不能保证进步。
一个控制走多远，一个控制多信地图
LLM 温度控制候选多样性，η 控制对代理价值的倾斜。在分子实验中二者都明显影响结果；在抗体实验中敏感性更弱，说明最优关系依赖领域先验。
同一个模型，接法不同，能力也不同
代码与 SMILES 适合直接生成；抗体更适合策略化搜索区域。LDM 不是固定算法配方，而是一套将生成接口与概率决策耦合的框架。
MECHANISM TAKEAWAY
价值模型只能在已经出现的候选中做选择；生成模型只能提出它知道如何表示的候选。真正有效的闭环，必须同时改善覆盖、估值和选择。
FROM SEARCH TO A LEARNED STRATEGY
不只记住赢家，还要学会为什么值得试。
高预算搜索产生的不只是候选，还包括“研究进展到哪、为什么选它、下一步要突破什么”的轨迹。LDM 把这种发现策略蒸馏进更小的模型。
微调 + 研究理由
微调，无研究理由
未微调基础模型
候选、代理分数、约束、失败记录、是否停滞，以及“下一步应当利用、探索还是打开新维度”的研究状态。
它不是解释最终答案为什么好，而是解释：在当前证据状态下，这个候选为什么值得占用一次稀缺评估。
KRAS 任务中，训练数据来自另一分子任务；从 16.489 到 22.279 的提升支持模型学到了一部分研究管理策略，而不只是记忆源任务候选。
蒸馏的目标，是把“下一步为什么值得做”变成模型能力。AutoResearch 中，微调且带研究理由的 Qwen3.5-9B 达到 0.9788，优于论文中的 Qwen3-Coder-30B 参考值 0.9801；没有理由增强的同类微调达到 0.9829。
这些是论文报告的参考结果，并非相同模型规模、相同主干网络下的严格对照。
METHODS & REPORTING
怎样读这些数字
三个任务使用不同代理、采集函数与评价协议。跨行比较绝对数值没有意义；应当看同一任务内的受控对照，以及每张图究竟改变了哪个环节。
固定 5 分钟训练反馈
以 −val bpb 为奖励；间接参数化搜索；RBF 高斯过程与 Expected Improvement。H100 主轨迹与 B200 榜单运行是两组不同设置。
结构模拟器作为黑箱
Absolut! 返回结合能；五个抗原、每个最多 200 次评估；重点比较 Direct / Policy 候选接口与 Max / Softmax 选择规则。
两个目标、两个代理
为对接和活性分别拟合 GP，以 SMILES 子序列核表达结构相似性，并用 Expected Hypervolume Improvement 衡量多目标实验价值。
我们在页面上采用的报告规则
- 带 ± 的结果保留论文报告的标准差与样本设定，不把最佳单条轨迹写成平均性能。
- 不把 H100 上的 2.4 倍总降幅写成同预算效率提升；两条轨迹的最终运行次数不同。
- 不使用稿件中标签仍需作者确认的 DeepSeek CoT 细分对比。
- 不把计算目标优化写成已经产生药物、抗体或湿实验科学发现。
HONEST BOUNDARIES
它是一套发现闭环，不是万能科学家。
LDM v0.1 展示的是一个计算闭环框架。它说明生成、证据、不确定性和实验预算可以在开放式搜索中共同工作，但没有证明机器已经能独立完成所有类型的科学发现。
01精确高斯过程随观测数量增长会变贵，大规模实验预算下需要更可扩展的代理模型。
02批量生成候选会带来显著的 LLM 推理开销；不同领域仍需要选择合适的核函数与表示。
03性能受大模型原有领域知识覆盖限制，也存在代理目标被“钻空子”的风险。
04当前闭环尚未系统接入外部数据库和既有实验结果；这正是论文计划继续补上的“未知的已知”。
05抗体和分子证据来自计算评估器，不是湿实验；更好的代理目标分数不能自动推出药效、可合成性或临床价值。
06框架只覆盖可以定义候选、评价方式和目标的顺序搜索问题，不代表观察性科学、理论发现等全部科研活动。
LDM v0.1 的主张很具体：机器还没有独立完成科学，但我们现在有了一种更清楚的方法，让它在每一轮都根据真实证据选择下一步。