
图片来源与许可 · 参考图使用许可未确认
AI 辅助插画 · 参考照片:本人、机构或原活动页面发布;摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像,由 AI 绘制 B 细线彩铅头像;调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图:Tim Sweeney | Building Developer Tools for AI — Tim Sweeney
公开发言
3原话逐字核对过;转述不加引号Arya 擅长编排作业、理解 GPU 负载、响应 W&B 生态内的训练事件、倾听研究员需求、检索 arXiv 论文并协作推敲假设。我们可以让 Arya 全权接管你不想处理的繁重执行机械工作,而让你集中精力去探索全新的思想、新架构以及前沿实验参数。
Arya's great at orchestrating jobs, understanding GPU workloads, responding to events within the within the Wandi ecosystem, and listening to researchers, uh, uh, looking up archive papers, and collaborating on hypothesis. So, we can let Arya drive the mechanics that you don't want to deal with while you focus on the new ideas, new architectures, and new parameters that you wanted to try.
语境:Tim Sweeney 阐述 AI 科研伴侣的落地愿景:智能体充当实验室管家与执行双手,将人类科学家从集群配置与调参监工中解放出来。
这赋予了我们捕捉一类全新错误的能力,我们称之为「行为缺陷」(Behavioral Bugs)。它既不是程序崩溃抛出异常,也不是系统性能问题,而是模型行为维度的偏离。任务基准与评测集(Evals)正在成为 AI 时代的全新持续集成(CI)范式。
This introduces an ability to catch a new class of bugs in our world called behavioral bugs. Not exceptions, not performance, but behavioral bugs. Next up, tasks and evals are the new world of CI. You've heard a lot about this. If you are a software engineer, you've written unit tests your whole life.
语境:Tim Sweeney 提出智能体质量保障新范式:传统单元测试只能验证代码逻辑无崩溃,唯有建立面向行为规范的自动化 Eval 流水线才能阻断恶性幻觉。
软件工程中的传统单元测试理念必须全面向基于任务评测集(Tasks & Evals)的 AI 持续集成演进;研发团队必须将自动化评测指标作为模型版本准出的刚性门禁,并结合定期的系统执行轨迹人工抽检。
语境:Tim Sweeney 重塑 AI 原生软件工程实践:将 MLOps 评估标准深深嵌入日常敏捷开发流,建立人机协同质量防线。