Unsloth 发布 Qwen3.8-27B 模型的新 Dynamic V3.1 量化版本

Unsloth 发布了全新的 Dynamic V3.1 量化算法，在不增加模型占用空间的情况下，将 Qwen3.8-27B 模型在主要基准测试中的准确率提高了 5-10%。此次更新专门针对 2 位到 6 位量化范围，为在本地运行密集模型以处理视觉、推理和代理式编码任务的用户提供高性能选择。

通过 Dynamic V3.1 实现的准确率提升

Dynamic V3.1 更新为 Qwen3.8-27B 模型提供了显著的准确率飞跃，该模型是一个具备视觉和推理能力的密集模型。Unsloth 报告称，这些改进在包括 LiveCodeBench v6、GPQA Diamond 和 MMLU-Pro 在内的多数基准测试中表现一致。

文章讨论了 Qwen3.8-27B 模型的视觉和推理能力，这些能力可以通过 Unsloth Desktop 界面访问。

虽然大部分 2 位到 6 位的量化版本都进行了更新，但 Unsloth 选择保留 3 位 UD3 量化版本，因为它们的表现与新的 V3.1 算法相当。此次更新使用 256K 上下文长度验证了代理式基准测试，并使用 128K 验证了通用基准测试。

“Qwen3.8-27B GGUFs 现在使用 Unsloth Dynamic V3.1，在包括 Terminal Bench、DeepSWE 等更多基准测试中，在相当的尺寸下将平均准确率提高了 5-10%。”

— Qwen3.8 - How to Run Locally | Unsloth Documentation

针对代理式工作负载的优化

除了原始准确率外，新的量化版本还针对 Codex 等代理式工具进行了优化。它们包含了开发者角色支持和改进的嵌套对象解析，这有助于工具在执行复杂任务时更频繁地获得成功。

此次更新包括改进的嵌套对象解析，以帮助代理式工具在复杂任务中获得成功。

这些模型还支持多 Token 预测 (MTP) 以促进更快的推理。对于需要高速推理的用户，Qwen3.8-27B 模型支持不同的推理强度——xhigh、medium、low 或 none——以平衡准确性和速度。

文章提到新的量化版本针对代理式工具和高性能推理进行了优化。

硬件要求与权衡

在本地运行这些模型涉及特定的硬件权衡，具体取决于所选的量化级别。例如，4 位量化旨在 16-19GB VRAM 的配置上运行，例如 RTX 5080 或拥有 24GB 统一内存的 Mac。

图表由 HN Digest 根据 unsloth.ai 报告的数据绘制；数值与源文件一致。

为了获得最大性能，Unsloth 发布了 NVFP4 量化版本，其运行速度比 BF16 检查点快约 1.5 倍。然而，这些特定的量化版本需要 NVIDIA Blackwell GPU（如 RTX 50X 系列）才能实现宣传的速度提升。

基准测试差异

Unsloth 解决了外部基准测试中的差异，特别是关于 LiveCodeBench 的 GSQ-RCO 结果。他们指出，虽然一些报告暗示他们的量化版本表现较差，但那些测试可能使用了 96K 上下文预算。

Unsloth 的测试使用了 128K 上下文预算，在这一预算下，他们的 UD3 量化版本优于竞争对手。他们还指出，由于 GPU 的非确定性，应多次运行基准测试以确保结果可靠。