在AI技术日新月异的今天，模型大小与性能之间的平衡一直是业界关注的焦点。前OpenAI首席技术官Mira Murati创立的AI独角兽Thinking Machines，在发布旗舰模型Inkling仅两周后，便迅速推出了其精简版本——Inkling-Small。这款仅2760亿参数的智能工具，在多项基准测试中不仅没有缩水，反而在某些任务上超越了9750亿参数的旗舰模型。这一突破不仅重新定义了“小模型”的能力边界，更让企业级AI应用迎来了全新的性价比时代。
四分之一大小，九成性能：Inkling-Small的惊人表现
Inkling-Small总参数276B，活跃参数仅12B，相比旗舰Inkling的975B总参数和41B活跃参数，尺寸缩小了近四分之三。然而，在第三方评测机构Artificial Analysis的智能指数中，Inkling-Small得分40，仅比Inkling的41分低1分。更令人惊讶的是，在SWE-bench Verified编码测试中，Inkling-Small以80.2%的得分超越了Inkling的77.6%；在Terminal Bench 2.1终端基准上，它同样以64.7%领先63.8%。这些数据表明，Thinking Machines通过精妙的架构设计，成功将大模型的核心能力压缩进了更小的智能工具中。
对于正在AI赛道中寻找突破的企业而言，这意味着不需要牺牲太多性能，就能大幅降低部署成本。Inkling-Small在SciCode、人类最后的考试、GPQA Diamond等多项推理测试中也表现出色，甚至在某些维度上优于旗舰模型。当然，并非所有方面都表现优异——在事实性知识检索和部分智能体任务上，旗舰Inkling仍然保持优势，例如在τ³-Banking测试中，Inkling-Small得分15.5%，而Inkling达到23.7%。这种取舍恰恰体现了AI Agent技术在不同场景下的应用边界。
MoE架构解密：如何用276B参数实现12B活跃推理
Inkling-Small采用稀疏混合专家（MoE）架构，这是其实现“以小博大”的关键。根据Thinking Machines发布的模型卡，该模型包含42层解码器，每个token会被路由到256个专家中的6个，同时还有两个共享专家始终处于激活状态。这种设计解释了为什么总参数276B，但每次推理仅需12B活跃参数——系统保留了庞大的学习能力，但每次只激活一小部分。
这种架构与大模型训练中的效率优化理念一脉相承。与传统的稠密模型不同，MoE模型可以根据任务类型动态选择最合适的专家网络，既保证了知识广度，又控制了计算成本。Inkling-Small还原生支持多模态输入——文本、图像、音频都被投影到同一表示空间，由解码器统一处理，而非依赖外部系统拼接。这种设计让它在编码助手、智能体应用、聊天机器人、RAG系统等场景中表现出色，成为一款真正的全能型智能工具。
值得注意的是，Thinking Machines还提供了可变推理思考能力，允许开发者根据任务难度动态调整测试时计算量，这意味着工程团队可以根据不同工作负载直接平衡质量、延迟和成本。对于AI独角兽来说，这种灵活性是吸引企业客户的重要卖点。
企业部署新选择：比旗舰更小，但依然不是桌面级
尽管名字里带有“Small”，但Inkling-Small并非消费级模型。标准BF16检查点至少需要600GB的聚合GPU内存，Thinking Machines推荐使用4块NVIDIA B300 GPU或8块NVIDIA H200 GPU。即便采用量化后的NVFP4检查点，也需要约180GB显存，可以运行在单块B300或双块H200上。这意味着普通笔记本电脑、MacBook、台式游戏PC和大多数开发者工作站都无法满足需求。
然而，对于拥有一定GPU资源的企业来说，这仍然是一个巨大的进步。相比旗舰模型，Inkling-Small的部署门槛大幅降低。一个能够接近旗舰性能、却需要显著更少内存的模型，可以降低托管成本、简化容量规划，并让更多组织有能力自行部署。对于注重数据控制、模型行为和微调能力的公司，这种更小的体积可能比追逐最高分更重要。
实际上，Inkling-Small已经通过Hugging Face开放了完整权重，并支持通过Tinker模型训练API进行微调。在发布初期，Thinking Machines还推出了限时五折优惠：标准64K上下文版本的API价格为每百万预填充token 0.58美元，每百万输出token 1.44美元，每百万训练token 1.73美元，缓存预填充token仅0.116美元。256K上下文版本价格稍高。这种定价策略明显瞄准了企业数字化转型中的AI应用场景。
开源生态与AI赛道竞争：Inkling-Small的差异化定位
在开源AI模型领域，Meta的Llama系列、Mistral的Mixtral、以及国内的DeepSeek等模型已经形成了激烈竞争。Inkling-Small的独特之处在于，它由前OpenAI CTO创立，具备顶级的研发基因，同时采用Apache 2.0开源许可，允许商用和修改。在Artificial Analysis的评测中，目前没有其他同等大小或更小的开源权重模型能获得更高的智能指数分数。
这一成就让Thinking Machines在AI赛道中占据了独特位置。作为一家AI独角兽，其产品策略清晰：先用旗舰模型树立技术标杆，再用精简版抢占市场份额。Inkling-Small的“小”是相对于旗舰而言，但在整个开源模型生态中，它依然属于高性能模型范畴。对于需要处理代码助手、工具使用系统、检索增强生成、文档分析和多模态工作流的组织，Inkling-Small提供了极具吸引力的性价比。
当然，在事实性知识方面，Inkling-Small的否定性AA全能评分表明其事实覆盖仍有不足，尽管幻觉率略低。对于高风险事实型任务，企业仍需结合检索、验证和人工审核。这也提醒我们，没有万能模型，只有最适合场景的智能工具。
未来展望：AI独角兽如何重塑企业部署范式
Inkling-Small的推出标志着AI模型部署进入了一个新阶段：不再是盲目追求参数规模，而是追求效率与性能的平衡。Thinking Machines通过MoE架构、多模态原生支持、可变推理思考能力等创新，证明了“小模型也能办大事”。这种思路对于正在评估AI投资回报率的企业至关重要。
从行业趋势来看，类似抠图、AI图片生成等工具已经证明了轻量化AI的巨大市场。Inkling-Small的出现，将这种理念延伸到了大语言模型领域。未来，我们可能会看到更多专注于特定场景的精简模型，让企业无需为“用不到的通用能力”买单。
对于想在AI领域快速试水的团队，不妨试试AI工具导航，探索更多适合自己业务的智能工具。无论是文生图、代码生成还是数据分析，总有一款工具能提升你的工作效率。而Thinking Machines这次的产品迭代，无疑为整个AI赛道注入了新的活力——当AI独角兽开始认真做“减法”，真正的AI普惠时代或许已经不远了。