国产平台多模型推理吞吐优化
面向国产平台ACInfer通过适配、执行图优化和多卡通信协同，提升不同规模模型的端到端吞吐，覆盖4B至80B-A3B模型。
原始痛点：
原始配置下，TTFT从64并发的41.2秒升至128并发的112.8秒；在输入、输出均为1024 token的场景中，总吞吐仅为724.63 tok/s，高并发响应与多卡资源利用均有较大优化空间。
ACInfer 方案：
ACAL国产GPU适配：对接平台Plugin-FL运行时与算子后端，为不同模型提供统一的设备、显存和执行流接口，支撑4B至80B-A3B模型部署。
ACInfer Core执行图优化：针对模型执行路径进行Graph捕获与编排，Qwen3.6-27B与Qwen3.5-35B-A3B实现Full Graph 11/11，吞吐分别提升58.3%和132.5%。
ACCL多卡通信协同：面向Qwen3-Next-80B-A3B的TP4场景，在MCCL限制完整Graph捕获的条件下采用Piecewise执行，将吞吐从174.03 tok/s提升至188.49 tok/s，提升8.3%。
核心成效
提升2.46倍
Qwen3-4B TP1吞吐
提升2.32倍
Qwen3.5-35B-A3B TP1吞吐
客户价值
在同一国产GPU平台上支撑从轻量模型到大型MoE模型的推理部署，提升多模型Token产出效率，并为Graph覆盖、并行配置与通信瓶颈提供清晰的优化路径。