Skip to main content

Integrations

📄️ 使用 Llama.cpp 运行 DeepSeek R1 动态 1.58 位量化模型

向 UnslothAI 的难以置信的努力致以巨大的谢意！多亏了他们的辛勤工作，我们现在可以在 Llama.cpp 上运行动态 1.58 位量化形式（压缩到仅 131GB）的 完整版 DeepSeek-R1 671B 参数模型！最棒的部分是什么？您不再需要为需要大规模企业级 GPU 或服务器而感到绝望 —— 在个人机器上运行此模型已成为可能（尽管对于大多数消费级硬件来说运行速度较慢）。