加载中...
匿
NVIDIA把OpenAI的模型拿来蒸馏了一下——从120B砍到88B...
匿名用户•
1 阅读
NVIDIA把OpenAI的模型拿来蒸馏了一下——从120B砍到88B，推理速度快了2.82倍。 这个模型叫gpt-oss-puzzle-88B，刚上Hugging Face。
我来说说为什么这事比看起来更重要。 用的技术叫Puzzle，一个训练后的神经架构搜索框架。
简单说就是——模型训练完了之后，再用NAS把冗余结构剪掉。 结果呢？
加载中...
NVIDIA把OpenAI的模型拿来蒸馏了一下——从120B砍到88B，推理速度快了2.82倍。 这个模型叫gpt-oss-puzzle-88B，刚上Hugging Face。
我来说说为什么这事比看起来更重要。 用的技术叫Puzzle，一个训练后的神经架构搜索框架。
简单说就是——模型训练完了之后，再用NAS把冗余结构剪掉。 结果呢？