
图片来源与许可 · 参考图使用许可未确认
AI 辅助插画 · 参考照片:本人、机构或原活动页面发布;摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像,由 AI 绘制 B 细线彩铅头像;调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图:About | Prior Labs — Frank Hutter
公开发言
3原话逐字核对过;转述不加引号TabPFN 是 AutoML 演进的自然终局:我们学习的是整个能在单次前向传播中执行的完整学习算法;根据你输入的具体数据集,它会在上下文内部拟合出完全不同的分类器。它不再是单纯的一个静态分类模型,而是一个能根据输入即时生成不同分类器的超网络。
TPFn is really this natural progression of AutoML where we learn this entire algorithm that is executed in a forward pass and depending on the data set that you feed in it learns a different classifier. So um it's not just one network that is one classifier but it's a a network that can learn different classifiers depending on the input
语境:Frank Hutter 阐述 TabPFN 的本质跃迁:从传统反复试错的模型训练演变为上下文学习算法,将整个机器学习拟合过程转化为 Transformer 的单次前向推理。
我们依然可以在预训练阶段针对神经网络架构和学习率等超参数执行自动化搜索;但在测试与应用阶段,所有冗长繁琐的调参过程全部消失了,数据科学家终于得到了梦寐以求的工具——一个毫秒级极速且真正开箱即用的建模方法。
So we can still do a search over hyperparameters of the architecture of our neural network. We can search over our learning rates etc for the pre-training but all of that at test time falls away and data scientists get what they always wanted namely a just really fast method that works out of the box.
语境:Frank Hutter 总结表格基础模型为数据科学带来的效率颠覆:繁重的调参成本被前置固化到基础模型预训练中,终端使用者无需任何特征工程即可获得最强性能。
深度学习在结构化表格数据领域长期受制于脏数据与维度灾难而落后于树模型,但基于合成数据先验与上下文拟合的表格基础模型已实现根本性突破,全面超越了经典 GBDT 与 XGBoost。
语境:Frank Hutter 宣告表格深度学习打破历史魔咒:先验拟合网络通过大量合成结构先验有效克服了小样本表格数据的过拟合难题。