大模型翻译的工程化实战：拆解网易有道翻译的低延迟、高并发与成本优化
引言
大模型翻译已经从“能翻”进入“翻得快、翻得稳、翻得便宜”的工程化阶段。网易有道翻译 作为高频语言服务，背后不是单一模型，而是一套覆盖接入、预处理、路由、推理、缓存、后处理与质量评估的完整系统。用户在有道翻译官网 可以体验在线翻译，也可以通过有道翻译下载 获得桌面端和移动端能力。对工程师而言，真正难的是在延迟、并发和成本之间找到动态平衡。
一、核心链路与约束
典型链路：
- 接入层：HTTP/WebSocket/SSE，鉴权、限流、灰度。
- 预处理：语言识别、分句、标点归一化、术语干预、HTML/XML 格式保护。
- 路由层：根据文本复杂度、语种对、用户等级、SLA 选择模型。
- 推理层：小模型、中模型、大模型、蒸馏模型，配合动态批处理。
- 后处理：术语替换、格式回填、术语一致性检查、敏感内容过滤。
- 反馈层：日志、指标、A/B 实验、人工评估、在线学习。
约束：
- 延迟：短句 P99 目标 200ms 到 500ms，长文本流式首 token 尽量低于 300ms。
- 并发：峰值为日常数倍，需要排队、降级、弹性扩缩容。
- 成本：GPU 利用率、tokens/s、缓存命中率决定单位翻译成本。
二、低延迟工程化
1. 多级缓存
精确缓存：对原文、语种、模型版本、术语库版本做哈希。语义缓存：用向量相似度召回历史翻译，但必须设置阈值和人工抽检，避免“意思相近但术语错误”。段落级缓存适合文档翻译，句级缓存适合聊天和搜索。
2. 动态批处理与连续批处理
推理服务不应一条一条跑。网关把 2ms 到 10ms 窗口内的请求聚合成 micro-batch，按 token 预算和最大 batch size 控制。连续批处理让新请求插入正在生成的 batch，提升 GPU 利用率并降低排队。
3. 模型路由与投机解码
简单句走小模型或蒸馏模型，复杂句走大模型。路由特征包括句长、依存树深度、稀有词比例、术语密度、历史失败率。投机解码用小模型草稿、大模型校验，可在质量损失可控时显著降延迟。
4. 流式输出
对长文本，SSE 或 WebSocket 按句/按段返回。首 token 延迟比总延迟更影响体感。客户端如有道翻译下载 的桌面端，可先展示已翻译段落，再后台补全术语和格式。
5. 边缘与连接优化
静态资源走 CDN，动态请求就近接入。有道翻译官网 的页面加载、词典资源、发音资源可以缓存到边缘，减少 RTT。
三、高并发架构
1. 无状态网关与弹性扩缩
接入层无状态，便于水平扩展。Kubernetes HPA 根据 QPS、P99、GPU 队列长度扩缩。推理层用 GPU 池化，支持 MIG、MPS 或多进程共享，提高卡利用率。
2. 优先级队列与背压
会员、企业 API、免费用户分队列。队列满时触发背压：拒绝低优先级、延长批处理窗口、降级到小模型或缓存结果。熔断和超时避免级联故障。
3. KV Cache 亲和
同一会话或同一文档的请求尽量落到同一推理实例，复用 KV cache。路由用一致性哈希，但需要处理热点和实例故障。
4. 可观测性
指标：QPS、P50/P95/P99、首 token 延迟、GPU 利用率、显存、batch 利用率、缓存命中率、降级率、错误率。日志要能按 request_id 串联网关、路由、推理、后处理。
四、成本优化
1. 量化与蒸馏
FP16、BF16、INT8、FP8 量化可降低显存和带宽。蒸馏小模型承担大部分流量，大模型只处理困难样本。对翻译任务，领域蒸馏和术语感知蒸馏往往比通用蒸馏更有效。
2. 缓存与翻译记忆
翻译记忆库 TM 和术语库能直接复用人工译文。语义缓存要配合术语校验和版本失效，避免旧术语污染。缓存命中率每提升 10%，单位成本可能显著下降。
3. 批处理与调度
提高 batch 内 token 数，减少 padding。潮汐调度：白天保高峰，夜间跑离线评估和预翻译。冷热模型分层：热模型常驻，冷模型按需加载。
4. 混合部署
竞价实例、预留实例、按量实例组合。无状态推理可容忍中断，适合竞价；核心链路用预留保障。多租户隔离和配额管理防止单用户打满。
五、质量与一致性
低延迟不能牺牲质量。需要：
- 离线评估：BLEU、COMET、TER、人工评分。
- 在线 A/B：按用户、语种、场景分层。
- 术语一致：术语库版本化，翻译后校验。
- 格式保护：占位符、标签、变量不翻译。
- 安全合规：敏感词、数据脱敏、审计日志。
网易有道翻译 在高并发场景下，通常会把质量评估作为异步链路，不阻塞主请求，但异常样本会进入回流。
六、伪代码：路由与缓存
def translate(text, src, tgt, user_tier):
key = build_cache_key(text, src, tgt, term_version)
if cache.exists(key):
return cache.get(key)
complexity = estimate_complexity(text)
if complexity < 0.3:
model = 'small'
elif complexity < 0.7:
model = 'medium'
else:
model = 'large'
if user_tier == 'free' and queue.long():
model = 'small'
result = infer(model, text, src, tgt)
cache.set(key, result)
return result
这个伪代码体现三个原则：缓存优先、复杂度路由、按优先级降级。
七、总结
大模型翻译的工程化，本质是把模型能力封装成稳定、可扩展、可计量的服务。网易有道翻译 的实践可以拆成低延迟、高并发、成本优化三条主线：低延迟靠缓存、动态批处理、流式输出和模型路由；高并发靠无状态网关、GPU 池化、优先级队列和可观测性；成本优化靠量化蒸馏、翻译记忆、潮汐调度和混合部署。用户可以通过有道翻译官网 体验，也可以完成有道翻译下载 使用多端服务。有道翻译 的持续演进，最终取决于工程系统能否在质量、速度和成本之间动态寻优。
