henry 发自 凹非寺配资入口
量子位 | 公众号 QbitAI
前OpenAI首席科学家Ilya，大概就是「哥已不在江湖，但江湖却到处都是哥的传说」的典型代表。
亲手缔造深度学习时代的他，离开OpenAI已两年有余。自己创办的SSI不发模型，不做产品，几乎从牌桌上消失。
可AI圈每隔一段时间，还是会有人追问同一个问题：Ilya在干嘛？
现在，这件问题突然有了一个答案。
就在刚刚，X上网友「三只草莓」（
）爆料，SSI正在探索一种基于TTT（Test-Time Training，测试时训练）的小型推理引擎。
据其描述，这个模型会用专门整理的数据学习「如何学习」，再在解决问题的过程中更新部分权重。
即使模型规模不大，也足以和经过更大规模训练的模型掰手腕。
更进一步，他还在评论区表示，SSI当前版本已经准备就绪，团队正在把下一代版本的规模直接扩展10倍。
更更更关键的是，这可能不是一张「未来可期」的支票。
按照他的说法，当前版本最快这个8月就可能露面，早期将会向少数用户开放。
也就是说，如果爆料属实。SSI藏了两年的第一把剑，可能真要出鞘了。
消息出来后，不少网友已经闻到了风向变化。
有人直呼，这才开始像真正的智能；
也有人判断，只要这种路线能顺利扩大规模，其他公司将很难追上SSI。
但就在大伙已经准备迎接「Ilya王者归来」的时候，又有消息称：
这个月可能又不发了。
真真假假，假假真真～
这一次，Ilya的剑到底出不出鞘？
一把会在出手时改招的剑
老实说，Ilya离开OpenAI自立门户之后，围绕SSI的传闻已经多到满天飞。
有人质疑Ilya在深度学习历史中的真实贡献，GPT真正的父亲其实是Alec Radford；
也有人说他像梁文锋一样，转头研究量化去了。
但这一次爆料能迅速炸开，还真不只是因为「Ilya」三个字自带流量。
而是它确实碰上了几条已经公开的线索，经梳理至少有三条：
第一条，部署后持续学习，和Ilya去年11月在Dwarkesh Patel播客中表达的观点高度一致。
当时Ilya表示：「AGI」和「预训练」两个词把行业带偏了。
因为人并不是生来便掌握所有工作的通用智能，人真正依靠的是持续学习。
他设想中的超级智能，更像一个极其聪明、求知欲旺盛的15岁少年。
它懂得不算多，却能在部署之后学习编程、医学和各种工作，在一次次试错中继续成长。
在Ilya看来，SSI要造的不是一台出厂时（预训练结束后）便无所不知的机器，而是一个能够学会任何工作的心智。
这个目标带有明显的元学习色彩：模型需要掌握的不只是某项技能，还有学习新技能的方法。
Ilya虽然当时没有提到TTT，但它们指向了同一个问题：
模型能不能在部署之后，继续改变自己？
第二条线索来自英伟达。
今年7月27日，英伟达与SSI宣布长期战略合作，同时投资SSI，并向其提供下一代Vera Rubin系统。
SSI的算力将增加一个数量级，也就是约10倍，而且据路透社爆料，投资金额高达50亿美元。
关键钱和GPU还不是最重要的部分。
英伟达在公告里特意写道，SSI过去两年一直在悄悄推进一条新的研究路线。
英伟达罕见地接触到这项严密保密的研究后，决定推动它进入下一阶段。
换句话说，老黄验过牌了。至于牌是什么，他没说。
Ilya自己的表态同样耐人寻味：是时候扩大SSI了！
那……这个扩大规模，就很灵性。
Ilya，你这双眼睛究竟看到了什么？
第三条线索，是TTT本身在过去两年的进展。
最近，越来越多研究者开始尝试越过「不断扩展上下文」这条路线，寻找一种更接近持续学习的范式。
原因也很简单。因为人并不是通过把小抄越写越长来学习，更不会像《记忆碎片》里的男主一样，把遇到的每件事都纹在身上。
经历一件事之后，大脑会调整内部连接。下一次再遇到类似问题时，人已经不是上一次的自己，这也是TTT这条路线真正有意思的地方。
简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。
爆料中，「三只草莓」还特意提到了一篇相关的论文——
End-to-End Test-Time Training for Long Context。
简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。
传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。
论文提出的TTT-E2E则把整段上下文当成训练数据，让模型在读取过程中继续做下一个Token预测，并把读到的信息压进自己的权重。
由此，上下文不再只是一张随时翻阅的作弊小抄，而开始变成真正改变模型本身的学习材料。
而且值得补充说明的是，TTT和最近爆火的Agent Harness、Context Engineering 有本质的不同。
后两者依靠外部上下文搭建脚手架，让模型看到更多信息、调用更多工具，但模型本身并没有改变。
线上炒股配资TTT则更进一步，它不只是让模型看到更多、调用更多，而是让模型在解决问题的过程中，直接改变自己。
那么话又说回来了。
既然TTT不是新东西，且这么牛，为什么没有早点用起来？原因嘛，也不难猜：
因为模型一旦能在部署后修改自己，就可能学错、学偏，甚至忘掉原有能力。
2016年，微软聊天机器人Tay上线不到24小时，就在网友诱导下开始输出攻击性内容，最终被紧急下线。
Tay与TTT并非同一种技术，却很早就暴露了同一个难题：
安全。
所以，就自然有网友提问了这个问题，然后三只草莓表示Ilya已解决。
当然，这句话远远算不上证据，甚至更像一句轻飘飘的江湖传言。
但偏偏，它又绕回了SSI（Safe Superintelligence）名字里的那个S：
Safe。
如果Ilya真想造一个部署之后不断成长的超级智能，那么「让它学会学习」其实只解决了一半问题。
剩下那一半甚至更难：让它知道，什么不能学。
所有人为什么都在等他
说到这里，还有最后一个问题：
为什么一则连真实性都没法确认的匿名爆料，会让这么多人兴奋？
只因为站在山门后面的那个人，是Ilya Sutskever。
他是OpenAI联合创始人、前首席科学家，也是过去十几年深度学习最有影响力的研究者之一。
从AlexNet、Sequence-to-Sequence、AlphaGo到GPT系列，都能看到他的名字。
英伟达在这次合作公告里还特意提到，Ilya后来还主导了最终通向OpenAI o1等推理模型的研究。
换句话说，他最吓人的地方从来不是发模型多。
而是职业生涯里，几次在技术路线真正成为共识之前，就已经站到了那条路上。
也正因为如此，2024年5月离开OpenAI之后，Ilya下一步要做什么，一直是AI圈最大的谜题之一。
而离开一个月之后成立的SSI更是将神秘刻在了骨子里。
除了目标安全超级智能以外，此后两年，SSI不发模型、不做产品、不公开论文，外界甚至不知道他们具体在研究什么。
Ilya哪怕偶尔露面，也只是反复谈泛化、持续学习，以及预训练时代可能正在走向终点。
直到今年7月，英伟达在看过SSI高度保密的研究后决定加码，并帮助其将算力提升一个数量级，SSI才重回公众视野。
由此，我们再看今天这则TTT爆料，味道就不一样了。
Ilya一直在说，真正的超级智能应该能够在部署之后继续学习；
现在又有人爆料，SSI正在做一种会在推理过程中继续更新自己的模型。
当然，现在依然没有实锤。但如果这两条线最终真能对上——
那Ilya闭关两年磨的，可能真的不是又一个更大的GPT。
而是一把会在出手时，自己变招的剑。
准备好吧！
参考链接
元股证券:ygzq.hk[1]https://x.com/i/trending/2087551605553901958
[2]https://www.youtube.com/watch?v=aR20FWCCjAs
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
🌟 点亮星标 🌟
科技前沿进展每日见配资入口
优选配资服务网提示：本文来自互联网，不代表本网站观点。
