国产平台长上下文推理优化
面向某国产平台上的 DeepSeek-V4-Flash， ACInfer通过扩展真实可用上下文容量，并降低 1M 冷输入的首 Token 等待时间。
原始痛点：
优化前真实可用上下文约 200K，难以承载百万 Token 级请求。 1M 冷输入 TTFT 达 1,416.53 秒，长文档和复杂 Agent 请求等待时间较长。
ACInfer 方案：
长上下文调度：围绕模型权重与 KV Cache 编排两级流水并行，结合 Prefill 分块和元数据缓存，降低长上下文扩展带来的显存与调度开销。
PD执行优化：将 512K 场景的 Chunk 从 2048 调整至 3072，端到端时间从 347.62 秒降至 275.54 秒。采用 Decode Full Graph，将 PP2 Decode 从 3.785 tok/s提升至 13.936 tok/s。
ACCL 通信与流水协同：优化跨 Stage 通信和 RPC 链路，配合分块执行调度重叠计算与通信，减少流水等待，从而降低1M冷输入下的TTFT。
核心成效
提升1M
最大上下文
降低47.4%
1M 冷输入
客户价值
在国产算力平台上实现百万 Token 级上下文承载，并同步改善长输入处理和生成效率，支撑长文档分析、代码仓库理解及复杂 Agent 任务。