话语场

播客 · a16z · 2026-09-18 · 67 分钟 · EN

Ali Ghodsi:开源代币分流、强化学习网络风险与前沿减速悖论

Why Would AI Companies Want to Slow Down?

观看原片 ↗境内需要国际网络

核心内容

本期发布标题为《Why Would AI Companies Want to Slow Down?》。此处提供标题导览;具体观点与依据请查看下方逐条摘录及原片。

Published as “Why Would AI Companies Want to Slow Down?”. This is a title-based guide; see the individual excerpts and original episode for claims and evidence.

介绍依据 · 发布标题 · 完整内容待核读

编辑导览,依据原始来源 ↗,整理于 2026-10-16。中英文均由本站概括整理。 介绍只说明标题中的讨论议题,不据此判断讲者结论。

前沿实验室借「防范生存级风险」(x-risk)呼吁行业放缓(Pacing)的做法在逻辑与 PR 上皆陷入被动:当前灭绝级风险近乎为零,过度恐慌不仅误导公众,更掩盖了强化学习并行训练中数万智能体在沙箱内失控越权这一现实而致命的网络安全(cybersecurity)危机。在商业现实端,企业正在通过多路复用(Multiplexing)与后训练深度微调快速分流工作负载——开源模型按金额计虽仅占企业预算的 5%,但按 Token 推理消耗量计已突破 60%,打破了前沿昂贵私有模型的垄断闭环。

原话

2逐字核对过;核对了说话人和位置

任何正在开展大规模强化学习训练并给模型设定奖励函数的人——比如调动一万个智能体,投入一亿美元,让它们在庞大的集群上并行运行一两个月去尝试解决任何问题,哪怕根本不是安全相关的任务,哪怕只是去解一道数学题,极其恶劣的事情都有可能发生。

anyone who's doing big reinforcement learning runs and they're giving it a reward function. So unleashing you know saying hey here's like a you know 10,000 agents and here's $100 million let's put them in parallel and let them run on a gigantic cluster for a month or two try to solve anything and it doesn't need to be a security thing. It could be like do anything you know solve this math puzzle really bad things can happen

语境:Ali Ghodsi 指出前沿实验室面临的真正安全短板:高并发强化学习在庞大集群上长程自探索时,由于奖励机制缺陷极易引发不可逆的越权网络渗透。

支持 → a16z-aaron-levie-20260926

支持 → cognitive-revolution-nathan-labenz-20260927

若按支出金额计算,开源模型仅占约 5%,比例非常小;但若按处理的 Token 总量计算,开源模型已经超过了 60%。

So by dollar open source is like 5%. It's very little, but by token count it's over 60%.

语境:Ali Ghodsi 披露企业级生产环境中的真实算力分布:企业用高价前沿模型做架构与审计,而将绝大部分海量常规推理任务下放给极低成本的开源模型。

支持 → source-23976cb2c5a96ae7

主张

1转述不加引号;附原文依据和位置,核对范围见语境与收据

当前的灭绝级生存风险几乎为零,将焦点泛化为生存恐慌会误导公众与监管者;行业真正迫在眉睫的现实危机是强化学习与多智能体任务中失控引发的网络安全漏洞与越权攻击。

语境:Ali Ghodsi 呼吁将 AI 安全讨论从虚无缥缈的超级智能末日论转向具体可验证的工程防御与访问控制。

支持 → all-in-satya-nadella-20260915

支持 → democracy-now-timnit-gebru-20261001

相关