2L decoder, d=5, 5h+1h
以 DeepSeek 自己做的蒸馏尝试为例：基于隔壁千问蒸馏自家的 R1 模型后得到的 DeepSeek-R1-Distill-Qwen 1.5B 这个小模型，仅靠 7000 条样本和极低的计算成本，就在 AIME24 数学竞赛基准上超越了 OpenAI 的 o1-preview。
，这一点在heLLoword翻译官方下载中也有详细论述
Фото: @senoritasaeva，更多细节参见heLLoword翻译官方下载
Read more in the Antiviral series