成本仅50美元，性能媲美Deepseek-R1，李飞飞带着S1来炸场了

来源: Zhivago 于 2025-02-06 09:38:07 [] [旧帖] [给我悄悄话] 阅读数 : (2630 bytes)

成本仅50美元，性能媲美Deepseek-R1，李飞飞带着S1来炸场了 

S1的研究团队表示，s1模型是以谷歌推理模型Gemini2.0 Flash Thinking Experimental为基础模型，通过蒸馏法提炼出来的。

他们采用了一种名为test-time scaling的方法。研究团队构建了一个小型数据集s1K，通过难度、多样性和质量三个标准来筛选，其中包括1000个经过精心挑选的问题以及相应答案，并附上了“推理”过程，仅使用了16台英伟达H100 GPU，耗时26分钟就完成了训练。


 

https://wallstreetcn.com/articles/3740484

所有跟帖： 

• 简单总结 是蒸ChatGPT 需要5百万美元 蒸阿里的 只需50 美元 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:43:38

• 不是蒸馏阿里的，而是蒸馏谷歌的。Gemini 2.0是谷歌的，不是阿里的。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 09:50:09

• 说的是这个 s1模型的训练并非从零开始，而是基于阿里云通义千问（Qwen）模型进行监督微调。二级蒸馏 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:53:55

• 报道里我没看到提到阿里的Qwen，只提到谷歌的Gemini 2.0。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 09:58:12

• 那你现在看到了 再评论一下？ -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:58:57

• 在你主帖链接的那篇报道里还是没看到。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 10:01:55

• 是蒸馏阿里Qwen, 这是李飞飞的论文。 -Knight_2024- ♂ 给 Knight_2024 发送悄悄话 (81 bytes) () 02/06/2025 postreply 11:33:34

• 哈哈，被打脸的不出声了 -manyworlds- ♂ 给 manyworlds 发送悄悄话 (0 bytes) () 02/08/2025 postreply 23:11:03

• 基础模型是千问。准备的1000条推理训练数据是从Gemini Flash爬下来的。 -林诚毅德-Lincoln- ♂ 给 林诚毅德-Lincoln 发送悄悄话 (0 bytes) () 02/08/2025 postreply 09:51:44

• 看来DeepSeek也不需要象Alex Wang说的用了几万块H100也能训练成功 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:25:50

• AI 版本 的水变油。 -jason1020- ♂ 给 jason1020 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:45:14

• 是有这个感觉 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:46:00

• 这个蒸馏能够work的前题是已经有了谷歌的Gemini 2.0的大模型。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 09:52:34

• DS 的前提是？ -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 09:54:56

• 据说是OpenAI的GPT。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 09:59:22

• openAI可是非法使用了无数版权作品培训，不仅官司缠身，还有吹哨人莫名其妙死亡。这是问题最大的一个。 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:09:43

• 谷歌Gemini的信息是向有执照的信息供应者购买的，没有版权争议。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 02/06/2025 postreply 10:12:44

• 不了解，应该比openai 干净 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:14:21

• 没ChatGPT 哪来的DS？DS应感恩前辈… -BeKindPerson- ♂ 给 BeKindPerson 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:00:00

• 评论讲 各路牛鬼蛇神闪亮登场 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:03:26

• 天下文章一大抄的AI版 -Sweetiemm- ♀ 给 Sweetiemm 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:02:28

• X -bia- ♂ 给 bia 发送悄悄话 (10 bytes) () 02/06/2025 postreply 10:03:07

• 哈哈 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:07:07

• AI ethics 应当是最大的挑战了 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:08:22

• 蒸馏不涉及版权问题，用版权文章作培训则涉嫌侵权 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:12:33

• 你的意思是说侵权是别人的事，使用侵权的结果来蒸一次就洗白白了？ -jit- ♀ 给 jit 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:18:24

• 洗白个球，但要把事实讲清楚 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:19:32

• 以后这个行业就得细分，象石油行业一样，挖油-初炼-精炼， 没有必要造肥皂的得从挖油干起。数据也一样 -幸福象花儿一样- ♀ 给 幸福象花儿一样 发送悄悄话 幸福象花儿一样 的博客首页 (495 bytes) () 02/06/2025 postreply 10:14:04

• 有道理 -挖矿- ♂ 给 挖矿 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:33:35

• 问题是AI训练结果没有版权，没法收费。而且Openai用版权材料训练也没付费，真要付版费不会少 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:41:59

• 这不是刚兴起嘛，以后肯定会规范的。 -幸福象花儿一样- ♀ 给 幸福象花儿一样 发送悄悄话 幸福象花儿一样 的博客首页 (0 bytes) () 02/06/2025 postreply 10:43:41

• 我支持建立规则保护各方利益 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 02/06/2025 postreply 10:46:48

• 避免大忽悠们把政府和大家的钱都卷走然后人间蒸发或实行独裁统治 -julie116- ♀ 给 julie116 发送悄悄话 julie116 的博客首页 (0 bytes) () 02/06/2025 postreply 10:33:52

• 小声说50刀。现在掏粪工一小时都不够这个价格LO L -mom2023- ♀ 给 mom2023 发送悄悄话 (0 bytes) () 02/06/2025 postreply 11:01:53

• 拿着百万年薪的AI PHD 情何以堪 -Zhivago- ♂ 给 Zhivago 发送悄悄话 (0 bytes) () 02/06/2025 postreply 12:01:05

• 五十刀是cloud computing 的租用费，说明蒸馏不需要多少算力。女大又要跌。那几个炒股的又要出来混淆视听了。 -SabrinaD- ♀ 给 SabrinaD 发送悄悄话 (0 bytes) () 02/06/2025 postreply 11:58:00

请您先登陆，再发跟帖！