面试面经 · 通用
【大模型】【平台架构师】【面经】（模型服务+推理优化+系统设计）
【大模型】【平台架构师】【面经】
基本信息
| 项目 | 内容 |
|---|---|
| 公司 | 多家公司通用 |
| 岗位 | 大模型平台架构师 |
| 轮次 | 综合 |
| 面型体感 | 深度技术面，架构+工程化 |
| 面试官风格 | 考察架构设计能力 |
面试题目
模型服务架构
- 设计一个高并发的 LLM 推理服务
- 模型服务的架构怎么设计？
- 如何处理模型推理的高并发请求？
- 模型版本管理怎么做？
- A/B 测试在模型上线中怎么实现？
推理优化
- KV Cache 的原理？怎么优化？
- Flash Attention 的原理？
- 模型量化怎么做？PTQ 和 QAT 的区别？
- vLLM 的核心技术？PagedAttention？
- 多卡推理怎么做？
分布式训练
- 分布式训练的框架有哪些？
- DeepSpeed ZeRO 的原理？
- 数据并行、模型并行、流水线并行的区别？
- 大规模训练的容错怎么做？
GPU 调度
- GPU 资源怎么调度和分配？
- 如何最大化 GPU 利用率？
- 异构 GPU 怎么处理？
监控和评估
- 如何监控模型服务的性能？
- 模型效果怎么评估？
- 线上问题怎么排查？
准备建议
- 模型服务架构要能画出完整图
- 推理优化技术要深入
- 分布式训练框架要熟悉
- 准备大规模系统设计的实际案例
