2026.11.21DAILY REPORT

64次从零预训练实验:标准基准测不出架构差异?

12 条·2026.11.21
01 / 研究2026.11.20 13:00

64次从零预训练实验:标准基准测不出架构差异?

一篇论文用64次从零开始的预训练实验,对比Transformer与三个线性模型家族在1.3B至8B参数、1至2T Nemotron-CC token上的表现,单次8B模型训练成本约10万美元。研究核心问题是:标准基准能否看出真正重要的架构差异。结果显示合成预训练中的效果能在真实场景中体现,作者据此讨论Canon Layers在规模化下的作用。

022026.11.20 13:00

814次RL实验发现:LLM评委的盲区传给了学生模型

研究用814次强化学习实验,训练7B至8B模型回答闭卷问题或选择弃答,考察LLM评委作为奖励信号时到底传递了什么。结论是:评委对单个问题的知识并没有迁移给被训练模型,迁移过去的是它的盲区——模型学会了在评委判断不准的地方同样判断不准。这解释了为何用LLM当裁判做RL,模型能力提升有限。

032026.11.20 13:00

让LLM评委输出置信度,校准后的奖励信号更可靠

强化学习只能教模型学会奖励信号能识别的东西。答案校验器精确但需要参考答案,学到的奖励模型和LLM评委通用但打分不是概率。这篇论文研究如何让评委在给分时同时表达自己有多确定,从而得到校准后的决策奖励,用于RLC训练。实际意义是:在没有标准答案的任务上做RL时,奖励信号更接近真实正确率,减少被高分误导。

042026.11.20 13:00

PRKV:免训练KV缓存淘汰新方法,用PageRank估算全局token重要性

arXiv 新论文提出 PRKV,一种免训练的 KV 缓存淘汰方法,针对长上下文 LLM 推理的显存瓶颈。它把个性化 PageRank 应用到注意力结构上,估算多跳全局 token 重要性,而不是只依赖局部注意力分数来决定淘汰哪些 token。方法不需要额外训练,可直接接到现有推理流程里。对开发者来说,这意味着长上下文场景下可以用更小的显存跑更长输入,改造成本低于需要重训的方案。

052026.11.20 13:00

所有VC类都能近二次样本压缩?学习理论悬案迎新进展

arXiv 新论文给出结果:所有 VC 类都存在近二次规模的样本压缩方案。样本压缩猜想源自 Littlestone 和 Warmuth 1980 年代的工作,核心是简化与泛化之间的联系——如果一个预测器与样本一致,能否用少量样本把它压缩表示出来。该结果把压缩规模压到近二次量级,覆盖全部 VC 类而非特定子类。这属于学习理论的基础进展,短期不直接改变工程实践,但会影响人们对泛化上界的理解。

062026.11.20 13:00

用计算复杂性理论给LLM推理效率建立分析框架

论文提出用计算复杂性理论来刻画大语言模型推理的效率。作者把LLM视为执行输入、推理、输出结构化流程的计算系统,借助复杂性理论中对计算问题效率的分层方法,给不同推理任务和模型行为建立可比较的复杂度分类。这为讨论模型能力边界和推理成本提供了理论语言,而非又一组基准分数。

07 / 资讯2026.11.20 18:00

OpenAI详解反对抗蒸馏策略:训练、防护、检测、执法四层联动

OpenAI发布文章介绍其对抗性蒸馏的分层防御方法,结合模型训练、安全防护、检测与执法四个层面,目标是阻止外部通过蒸馏手段提取模型能力。这类蒸馏通常指用强模型的输出去训练另一个模型,从而低成本复制能力。OpenAI称该体系用于保护其模型的能力不被非法迁移,但文章未披露具体检测指标或执法案例数量。

08 / 发布2026.11.20 21:00

Vercel Functions请求体上限从4.5MB提升至20MiB,公测中

Vercel Functions现在接受最大20MiB的入站请求体,此前上限为4.5MB,目前处于公测阶段。开发者需设置环境变量VERCELSUPPORTLARGEREQUESTBODY=1来开启,该设置对所在环境下的整个项目生效,因此可以先在预览分支上测试更大上限。实际影响是:处理大文件上传、批量JSON提交或富文本载荷的开发者可以减少主动分片和绕过处理。

09 / 资讯2026.11.20 13:00

Vercel通过ISO/IEC 42001:2023 AI管理体系认证

Vercel宣布完成ISO/IEC 42001:2023认证,该标准针对AI管理体系。Vercel表示,认证覆盖其AI产品的设计、构建、运营与治理流程,客户可据此在Vercel上部署AI agent。对企业的实际意义是:采购和合规团队在评估Vercel作为AI应用托管平台时,多了一份国际标准层面的依据。

102026.11.21 03:21

有人提出广义黎曼猜想证明,全程无AI参与

Alessandro Masullo提出了一份广义黎曼猜想的证明,Brian Conrad已仔细审查数月并给出大量反馈,相关内容正在被纳入修订,目前进展看起来良好。值得注意的是,这项工作完全由人类完成,没有使用AI。原本的计划是邀请Masullo到斯坦福进行进一步讨论。该消息由Ravi Vakil转述,经Simon Willison引用传播。

11 / 观点2026.11.20 10:49

ChatPRD创始人谈token欺诈:AI产品计费漏洞有多严重

Claire Vo是ChatPRD的创始人,该AI平台帮助产品经理把想法转成需求文档,产品自GPT-4时代上线,她长期公开构建过程。在一段YouTube视频及配套文章中,她讨论了token欺诈问题,即用户或攻击者利用计费与用量统计漏洞消耗AI产品额度。视频给出了具体案例,说明这类问题对按token计费的AI产品构成实际营收风险。

12 / 资讯2026.11.21 00:30

又一人宣称用Claude证明黎曼猜想,还称可扩展至广义情形

Levent Alpöge称与Claude合作发现了黎曼猜想的证明,并声称该方法可轻易扩展至广义黎曼猜想,假以时日还能处理扩展黎曼猜想。他表示与Claude一起对论证进行了形式化。该说法来自Simon Willison的引用帖,目前未见同行评审或独立验证,与此前另一份纯人类证明的进展形成对照。

chat_bubble对今日内容有什么想法?