Anthropic 员工最初让未发布的研究版 Claude 对黎曼猜想“take a real stab”。模型没有证明这一 1859 年提出的猜想,却在相关问题上找到了新下界:已知位于临界线上的零点比例从 41.6% 提高到 67.2%。文章一开始就限定了结论:Anthropic 不认为这些技术会直接通向黎曼猜想证明;这是一项相邻结果,而不是对原问题的解决。
核心 takeaway:这是一篇把产品路线、政治哲学与安全观绑在一起的宣言。Meta 的核心论证是:superintelligence 应优先用于 invention,由个人而非少数机构决定目标,并通过广泛分发形成 balance of power;24/7 personal agent、fully private mode、开放模型和独立董事会是这套主张的产品与治理落点,但多数仍是承诺而非已交付功能。
“individual empowerment … invention … balance of power” — 原文关键表述
1. 文章先把问题定义为“谁能使用、由谁决定目标”
开篇提出个人赋权、发明和权力平衡三条原则:individual empowerment 是繁荣来源,invention 是 superintelligence 的主要目的,balance of power 是安全基础。Meta 反对把极端集中权力当作唯一安全路径,借历史技术扩散说明,个人获得更强工具可能扩大而非削弱社会创造力。这个起点决定全文不是模型发布说明,而是一套规范性立场。
2. Invention 被放在 automation 之前
文章区分了早期 AI 的问答与例行工作自动化,以及未来系统发现新药、改进企业和推进科学的能力。Meta 认为人的每日提问有限,但围绕个人目标可发明的有价值事物近乎无限;科学 Agent 还会跨周或跨月测试与修订假设。这与本期 Anthropic 数学案例形成呼应,但仍然是对未来用途的判断,并没有给出个人 Agent 跨月运行的成功率。
3. Personal agent 被设想为跨生活域、跨设备、24/7 的委托人
最具体的产品描述是每个人拥有理解其目标和关切的高能力 Agent,持续处理关系、健康、职业、财务、家庭管理与兴趣,并可通过眼镜等设备交互。文章同时承诺强隐私和安全选项,类比 WhatsApp 加密;后文进一步提出 fully private mode,即 Meta 或其他服务商也不能查看或授权访问个人信息。要让这类产品成立,跨应用身份、权限、活动记忆、目标冲突和本地/云端执行边界都必须变成可见机制。
Meta 批评由公司集中规定价值的 alignment,主张 Agent 应分享个人的目标与价值,同时保留法律和安全边界。问题在于“个人”并不总是单一主体:共享设备、家庭、雇主、平台和第三方权利可能互相冲突。若系统不展示目标来源、冲突优先级、谁授权了哪次动作,以及何时调用云端,“对个人忠诚”仍然只是价值宣言,无法成为可测试的产品属性。
7. RSI 让算力分配本身成为权力平衡问题
文章设想 autonomously self-improving systems 可能通过效率突破获得远超其硬件占比的有效智能,因此多实验室同时达到 RSI、或为公众目标保留显著多数 compute,才可能避免单一系统形成支配力。Meta 提出要在维持竞争力的同时,让显著多数智能继续由人类目标驱动。这一段把 runtime 和经济问题推到安全中心:谁控制持续运行、更新目标与算力预算,比单次模型输出更接近实际权力。
8. 独立董事会是治理承诺,也是未来可核查点
Meta 宣布让独立董事会批准模型发布的安全标准并审查每次发布是否遵循标准,称不希望由创始人或 CEO 独自决定 superintelligence 部署。该安排只有在标准、审查记录、否决权与例外处理可见时才形成真实约束。整篇文章最适合作为“Meta 希望如何分配能力与权力”的一手文本,而不是已交付产品清单;其可验证性将落在默认权限、私密模式、开放发布、算力定价和董事会实际决策上。
客户端能观察 blob 大小、reasoning_tokens 和 wall-clock latency。作者让模型根据一个秘密 bit 选择简单计算 A 或复杂计算 B,同时保持可见答案相同;复杂度差异会反映到隐藏推理长度和响应时间。实验对字节 0xA3 的 8 个 bit 各运行 10 次,共 80 次,并展示 0/1 类在长度与时间上的可分信号。这里泄漏的不是 ciphertext 内容本身,而是 secret-dependent computation 的资源形状。
6. 想提取不存在的 system prompt,反而暴露实验幻觉
作者随后尝试逐 bit 恢复所谓模型 system prompt,却发现 API 模式下的 GPT 与 Claude 并不存在他假设的那类 prompt;模型仍会声称存在并编造看似合理的文本。使用 coding Agent 自动化实验还放大了这种误导。最终他只能确认 application-specific secrets 在某些设置下可被侧信道区分,无法确认从公开 API 提取模型级秘密。这段失败记录很重要:安全研究 Agent 需要独立 ground truth,否则会把模型自述当作攻击成功。