OpenAI用99道药化题拷问AI

OpenAI发布MedChemBench,以99道真实药物化学问题评估模型。结果显示,AI已擅长还原分子,却仍不善于选择候选化合物。
OpenAI用99道药化题拷问AI:会画分子,不等于会选药
OpenAI于当地时间11月20日发布MedChemBench,试图回答一个比“模型懂不懂化学”更实际的问题:给AI一组分子结构、实验数据和研发目标,它能否像药物化学家一样判断下一步该测试哪个化合物?
**MedChemBench是一个面向药物化学推理的多模态评测基准。**它包含99道问题,取自117篇论文和专利,涉及761个不同的分子结构,覆盖结构重建、实验解释、候选物排序和性质预测等任务。据IT之家转述的官方数据,GPT-6.2 Astra在xhigh推理档位获得84.5%的可用分数,暂时排在第一。
这个成绩看起来已经接近“优秀”,但OpenAI公布的分项结果揭示了更值得注意的一面:模型可以非常准确地看懂一个分子,却未必知道这个分子值不值得做。

不是化学考试,而是截取真实研发现场
**MedChemBench与传统化学问答基准最大的区别,是它把问题设置在真实药物研发的“决策节点”上。**模型通常会获得一个生物靶点、研究人员的研发目标、已经测试过的化合物、分子结构图,以及部分实验结果,但不会看到论文后续公布的答案。
换句话说,题目不会直接问“这个官能团叫什么”,而是让模型站在当时的研究人员位置上,判断结构变化会如何影响活性、渗透性、代谢稳定性和毒性,并决定下一步应该推进哪个候选物。
**药物化学是通过设计、合成和测试分子,将初始活性化合物优化为可用药物的学科。**它并不是寻找某个单项指标最高的分子,而是在药效、选择性、溶解度、细胞渗透性、代谢稳定性和安全性之间不断做取舍。
一个化合物可能只需要很低的浓度就能抑制目标蛋白,却无法进入细胞;另一个化合物可能更容易穿过细胞膜,却会迅速被肝酶分解。真实研发中的问题通常不是“哪个数字最大”,而是“在当前项目目标下,哪组缺点更容易被后续优化”。
**MedChemBench因此评估的是结构、数据和研发目标之间的连接能力。**这比背诵化学知识难得多,也比单纯根据SMILES字符串预测某项性质更接近药物化学家的实际工作。
四项能力,模型出现明显偏科
**MedChemBench将答案拆分为四个评分部分,而不是只判断最终结论是否正确。**这种设计可以区分模型究竟是看错了分子、误读了实验,还是在多目标权衡阶段做出了错误选择。
| 评测部分 | 核心问题 | 典型错误 | |---|---|---| | 分子结构 | 原子连接、环结构和立体化学是否正确 | 环大小错误、手性翻转、分子片段断开 | | 科学解释 | 结论是否由题目给出的实验依据支持 | 引用不存在的数据、把相关性当作机制 | | 排序与选择 | 化合物排序和最终选择是否符合研发目标 | 只看活性,忽略渗透性或代谢稳定性 | | 性质预测 | 数值或类别是否接近后续实验结果 | IC50、清除率等指标出现数量级偏差 |
**分子结构评测检查的是模型有没有正确识别正在讨论的化合物。**模型需要根据结构图、中心骨架和侧基重新组装分子,并保留正确的原子连接关系和立体化学信息。如果这一步出错,后面的活性分析即使语言流畅,也是在研究另一个分子。
**科学解释评测检查的是模型能否把结论限制在已有证据范围内。**药物化学中的结构—活性关系往往只有局部规律,某个取代基在一个系列中改善活性,并不意味着它在另一个骨架上也会产生相同作用。模型需要说明依据,而不是编出一套听起来合理的机制故事。
**排序与选择评测检查的是模型能否处理多参数优化。**药物研发没有统一的“最高分公式”,项目在不同阶段可能分别优先考虑效力、安全窗口、口服暴露或合成难度。模型不仅要预测各项指标,还要理解研究人员当前真正想解决的问题。
**性质预测评测则直接考察数值判断能力。**模型需要预测实验测得或计算得到的分子性质,评分会根据预测值与真实结果的接近程度给予部分分数。这意味着方向猜对但数量级错误,不能被算作完全正确。
84.5%不是准确率,也不代表发现新药
**GPT-6.2 Astra取得的84.5%是“可用分数占比”,不能直接理解为答对了84道题。**每道题可能包含多个结构、排序、解释和数值评分点,模型获得的总分是这些细粒度评分项的汇总。
官方公布的xhigh推理档位结果如下:
| 模型 | xhigh可用分数 | 与GPT-6.2 Astra差距 | |---|---:|---:| | GPT-6.2 Astra | 84.5% | — | | GPT-6 Astra | 83.3% | -1.2个百分点 | | GPT-6.1 Sol | 82.0% | -2.5个百分点 | | GPT-5.6 Sol | 58.2% | -26.3个百分点 |
**新旧模型之间的差距远大于前三名之间的差距。**GPT-6.2 Astra、GPT-6 Astra和GPT-6.1 Sol相差不超过2.5个百分点,但GPT-5.6 Sol落后第一名26.3个百分点,说明模型代际升级确实改善了药物化学推理能力。
**前三名的细小差距仍需要结合不确定性区间理解。**这类生成式评测通常会进行多次采样,模型的输出也存在随机波动,因此83.3%和84.5%未必意味着所有任务上都出现了稳定、可复现的代际优势。
**提高推理档位能够提升成绩,但增加计算量并不能消除模型偏科。**OpenAI公布的结果显示,更高推理强度通常对应更高总分,可模型在候选化合物选择和数值预测上的弱点依然存在。多想一会儿可以减少部分粗心错误,却不能自动补齐实验经验和可靠的定量模型。
最惊人的进步,是模型终于不太容易“画错药”
**GPT-6 Astra在xhigh档位的分子结构部分获得95.4%的可用分数。**这一结果说明,前沿多模态模型已经能较稳定地读取化学结构图,并将视觉信息转换为包含原子连接和立体化学的结构表示。
官方展示的一道题要求模型把一个中心结构与两个侧基组装起来,同时保留一个由18个原子构成的环。在11个模型共同使用的xhigh档位下,GPT-6 Astra连续10次都重建正确;GPT-5.6 Sol和GPT-5.6 Luna则各自连续10次失败。
**两个旧模型的失败方式不是细枝末节,而是直接改变了分子的身份。**GPT-5.6 Sol把18元环组装成15元环,GPT-5.6 Luna则把完整分子拆成两个互不相连的片段。前者改变了环张力、构象和空间尺寸,后者甚至已经不能算同一个化合物。
这类错误说明,早期多模态模型虽然能描述结构图,却未必建立了足够稳定的化学图表示。它可能“看见”了所有局部基团,但在全局组装时丢失连接关系,类似于认出了机械图纸上的每个零件,却把齿轮装到了外壳外面。
**结构重建能力的提升具有实际价值,因为它是后续推理的地基。**如果模型不能确认原子如何连接,就无法可靠讨论构象、蛋白结合、代谢位点或性质变化。95.4%的结构得分意味着AI作为文献阅读和结构检查助手已经更接近可用,但剩余错误仍要求化学信息学工具和人工复核介入。
真正的难题,是决定哪个分子值得继续烧钱
**GPT-6 Astra在候选化合物选择和数值性质预测上只获得约一半的可用分数。**这组结果比84.5%的总分更接近MedChemBench的核心结论:模型擅长复原已知信息,却还不擅长承担研发决策。
OpenAI展示的另一个案例来自PRMT5抑制剂研究。PRMT5是一种参与蛋白甲基化调控的酶,也是肿瘤药物研发关注的靶点。模型需要预测三种相关化合物在细胞内抑制PRMT5的强度、穿过细胞屏障的能力,以及在肝酶实验中的降解速度。
**后续实验揭示的是一组典型的药物化学取舍。**化合物23在更低浓度下即可在细胞内阻断PRMT5,说明其细胞活性更强;化合物24更容易穿过细胞屏障,同时在肝酶实验中降解得更慢,意味着它在暴露和代谢稳定性方面可能更有优势。
这时,“活性最强”并不自动等于“最值得推进”。如果化合物23的活性优势来自极强的靶点结合,但体内清除过快,它可能难以维持有效药物浓度;如果化合物24的效力略弱,却能获得更高、更持久的细胞内暴露,它反而可能成为更好的先导化合物。
**大模型在这里缺少的不是化学术语,而是可靠的多参数决策边界。**语言模型容易给出“综合考虑后选择化合物24”这样的表述,但要判断活性提升两倍是否足以抵消代谢稳定性下降十倍,需要理解具体实验体系、测量误差、项目阶段和可优化空间。
MedChemBench比通用科学题更像工作,但仍不是实验室
**MedChemBench代表了科学评测从知识问答向工作流决策的迁移。**此前OpenAI发布的FrontierScience更偏向检验物理、化学和生物学中的专家级问题求解能力,而MedChemBench把范围收窄到药物化学,并引入结构图、实验表格和候选化合物选择等真实任务元素。关于FrontierScience的评测设计,可参考知乎的相关整理。
| 维度 | 通用科学问答 | MedChemBench | |---|---|---| | 输入 | 文字题目、公式或少量图表 | 分子结构、实验数据、研发背景 | | 目标 | 求出正确答案 | 判断下一步推进方向 | | 推理重点 | 学科知识与逻辑推导 | 构效关系与多参数权衡 | | 评分 | 最终答案或步骤正确性 | 结构、解释、排序和预测分项得分 | | 与真实工作的距离 | 类似考试或研究子问题 | 类似药化项目中的阶段性决策 |
**这套基准仍然不能证明AI能够发现新药。**所有题目都来自已经发表的历史材料,模型没有提出真正未知的分子,也没有通过新实验验证预测。它面对的是一个有标准答案的回顾性世界,而真实药物研发面对的是数据稀疏、测量噪声和失败率极高的开放世界。
**训练数据污染也无法被彻底排除。**题目来自公开论文和专利,相关材料可能已经进入模型训练语料。研究人员曾在提示中加入论文DOI或专利标识符进行启发式检查,模型平均分变化不到1个百分点,但这一结果只能说明显式提供来源没有显著改变成绩,不能证明模型此前从未见过原文。
**单次回答、禁用工具的设置也与真实使用方式存在差异。**药物化学家不会只看一张图就立刻决定合成计划,而会检索同类化合物、计算理化性质、检查结构、比较不同实验批次,并与生物学和DMPK团队反复讨论。未来更有意义的评测,应允许模型调用结构检索、性质计算和文献工具,再观察它能否发现错误并修正方案。
OpenAI测到的不是“AI药物学家”,而是更好的研究副驾驶
**MedChemBench目前最能证明的是,前沿模型已经具备相当强的药化资料阅读能力。**它们可以识别复杂分子结构、整理构效关系、解释部分实验结果,并在明确的历史上下文中完成结构化分析。
**MedChemBench目前最不能证明的是,模型可以独立决定研发管线。**当问题从“这个分子是什么”转向“下一个应该合成什么”,成绩迅速下降到约一半,说明真实的研发判断仍然依赖实验经验、定量模型、跨团队信息和对不确定性的管理。
这也是这项基准最有价值的地方。OpenAI没有只展示一个漂亮总分,而是把模型能力拆开,让人看到“读懂分子”和“选对分子”之间仍有一道明显鸿沟。
**对药企和AI开发者而言,短期内更合理的产品方向不是自动发现新药,而是把模型嵌入可验证的研究流程。**例如,让模型先从论文和实验记录中提取结构—活性关系,再由化学信息学软件校验结构和计算性质,最后由研究人员审核候选物排序。AI负责扩大分析范围和减少重复劳动,人类负责定义目标、判断异常和承担决策责任。
**MedChemBench的下一阶段应该从回顾性答题转向前瞻性验证。**如果模型在看不到答案的新项目中提出候选分子,并在后续合成和实验中持续优于传统筛选策略,那才是真正接近“AI改善药物研发效率”的证据。
现在的84.5%更像一张能力体检报告,而不是一张新药发现许可证:AI已经越来越会读药物化学家的工作,但距离替代药物化学家的判断,还隔着实验室这一关。
参考来源
- IT之家:OpenAI推出MedChemBench基准,评估AI辅助药物研发能力——整理了基准规模、四项评分维度、模型成绩及官方案例。
- 知乎:GPT-5全面领先,OpenAI发布FrontierScience——介绍OpenAI通用科学推理基准,可用于理解MedChemBench与传统科研评测的区别。



