9月22日消息,巴黎 AI 安全初创公司 White Circle 发布官方博客,宣布开源其内部训练框架 Halo。这是一套覆盖预训练、SFT、偏好优化和异步多轮强化学习的大模型与多模态训练框架,White Circle 称公司内部所有模型的训练都已跑在 Halo 上。官方给出的核心卖点是性能:在 8 张 NVIDIA B300 上,Halo 的训练吞吐最高约达原生 TRL 的 2.8 倍,且峰值显存更低。
一家安全公司拿出的训练框架
White Circle 的主业并不是训练框架。这家公司做的是 AI 控制与监控平台,帮企业测试、防护和监控生产环境中的 AI 系统。创始人 Denis Shilov 是一名工程师,2024 年因用一条提示词绕过当时所有主流大模型的安全过滤器而走红。2026年5月,White Circle 完成 1100 万美元种子轮融资,出资方是来自 OpenAI、Anthropic、DeepMind、Mistral、Hugging Face、Datadog、Sentry 等公司的一众高管个人,包括 Romain Huet、Dirk Kingma、Thomas Wolf 和 François Chollet。公司称平台已处理超 10 亿次 API 请求,客户包括 Lovable 和两家大型数字银行,此前还发布过 CircleGuardBench、KillBench 两项安全研究。 Halo 最初是这套业务背后的内部基础设施。White Circle 在博客中表示,框架已在内部承载了数月训练任务,这次是把自用工具对外开放。GitHub 仓库的记录显示,Halo 1.0.0 实际在8月20日就已首次公开发布,今天的博客是正式的对外发布。框架以 Apache 2.0 加补充条款的形式开源,仓库地址为 github.com/whitecircle/halo。
不重实现模型,不换 checkpoint 格式
Halo 的技术取向是留在 HuggingFace 生态内做分布式训练。现有框架的普遍做法是框架自己定义一套模型实现,用户每接入一个新模型家族就要重写模型代码、做权重转换。Halo 反过来,把专家并行、上下文并行、张量并行等四种并行策略直接包裹在 HuggingFace 原生模型上,训练产物仍是标准 SafeTensors 格式,checkpoint 可以继续用 from_pretrained 直接加载。官方称接入一个新模型家族大约只需百行级代码,而 Megatron 路线通常需要数千行。
这套设计瞄准的是一个明确的空档:模型大到原生 TRL、Axolotl、LLaMA-Factory 这套轻量工具装不下、尤其缺 MoE 并行能力,又没大到值得上 Megatron 的中间区间。Megatron 面向的是 500 卡以上的集群,迁移成本包括离开 HuggingFace 生态、重实现模型和转换 checkpoint 格式。相比之下,verl 和 OpenRLHF 等框架则主打 RL 训练这一段。Halo 试图用一套代码同时覆盖 SFT、DPO 等偏好优化、GRPO 家族的异步多轮 RL、蒸馏和奖励建模,RL 的 rollout 生成交给独立部署的 SGLang 或 vLLM。
官方自己列明了边界:Halo 不支持流水线并行,没有弹性调度,训练中断恢复需要与启动时相同数量的 GPU,也没有托管界面和实验跟踪功能。从零开始的预训练目前只能走标准 FSDP2 路线,暂不支持上述并行策略。
2.8 倍是厂商口径,许可证附带商业条件
性能数字需要拆开看。White Circle 给出的口径是:在 8×B300 上用 gpt-oss-20b 测试,Halo 吞吐为原生 TRL 的 2.3 至 2.8 倍;在两侧都对齐 ZeRO-3 分片策略时,吞吐为 2.7 倍且峰值显存低约 25%。官方强调 TRL 基线启用了与 Halo 相同的 FlashAttention-4、Liger 算子等优化,并称测试脚本已随仓库开源、可端到端复现。但这些数字目前仍只有厂商一方背书。官方还披露了一个落地案例:用 Halo 对 30B MoE 模型 GLM-4.7-Flash-Coder 做多节点 SFT 后,模型在 SWE-rebench-V2 上的解决率从 33.15% 升至 41.65%。
另一个官方博客首页不突出的细节是许可证。Halo 的许可不是纯粹的 Apache 2.0:自用和训练自有模型不受限制,但向第三方提供 Halo 训练能力作为服务的,任一 12 个月内相关收入超过 2000 万美元即需与 White Circle 签商业协议;年收入超过 2000 万美元的机构用 Halo 训练的模型,还须标注 "Trained with Halo"。
后训练工具链里"TRL 太轻、Megatron 太重"的中间地带,多了一个代码、文档和基准脚本全部公开的候选方案,而出手的是一家主业做 AI 安全的公司,不是训练基础设施厂商。受影响最直接的是用开源模型做微调或 RL、算力规模卡在单机到几台 8 卡机之间的团队,选型清单里多了一个需要实测的选项。