信息技术大学
部署工程
AI 与大模型·算法岗面试 · 第 5 章 推理与部署
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
部署工程
AI 与大模型·算法岗面试 · 第 5 章 推理与部署
推理服务化与流式输出
模型变服务：接口化、批调度、健康检查，token 流式吐出，首字时延定体感。
服务化
加载、调度、监控打包成常驻服务
流式
SSE 或 WebSocket 逐 token 下发
首字时延
TTFT 是体验核心，预热与缓存都为它
吞吐与延迟指标
两个指标此消彼长：吞吐看系统赚不赚，时延看用户爽不爽。
吞吐
每秒 token 总产能，批越大越高
时延
TTFT 首字与 TPOT 逐字间隔两个体感指标
权衡
批处理提吞吐抬时延，按 SLA 调度
边缘部署（llama.cpp/Olla
大模型下放到笔记本：量化权重加轻量引擎，隐私与离线是卖点。
llama.cpp
纯 C++ 推理引擎，量化内核极致优化
Ollama
一行命令拉模型跑起来，开发体验好
场景
本地隐私、离线环境、开发调试
推理网关与路由
多模型门口的交警：按成本、能力、负载把请求路由到合适的引擎。
路由维度
模型能力、成本、时延 SLA、配额
降级链
主模型故障切备用，超时切轻量
可观测
用量、成本、质量指标统一采集
本节要点
- ✓服务化：流式吐字，TTFT 定体感
- ✓吞吐与时延按 SLA 权衡
- ✓边缘：量化加轻量引擎
- ✓网关：路由、降级、可观测
延伸主题：压测一次 TTFT/TPOT体验 Ollama 本地部署
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1为什么流式输出对体验如此重要？
参考答案生成数百 token 需要数十秒，非流式用户只能盯白屏；流式把总时长拆成逐 token 的小反馈，首字可以压到几百毫秒——内容一样，感知时延数量级下降。
2网关层除了路由还能做什么？
参考答案限流配额、密钥与计费、内容审查、前缀缓存、观测埋点。它是 LLM 应用的网关加中间件层，把横切关注点从业务代码里剥离。
3什么业务适合边缘部署而不是云端 API？
参考答案隐私敏感（病历、法务）、离线弱网（工控车载）、高频低成本调用（简单抽取分类）。代价是能力上限低、更新运维自理。按数据敏感度与成本算账再选。