【某互联网大厂】【LLM 应用】实习面经，Transformer 原理 + RAG 基础 + Prompt 实操 + 手撕简单算法

【某互联网大厂】LLM 应用开发 实习面经

基本信息

面试题目（按提问顺序）

第一部分：大模型基础知识（约 15 min）

1. Transformer 基础

• "请简单介绍一下 Transformer 的架构，它的核心模块有哪些？"
• "Self-Attention 的计算公式是什么？为什么要除以 sqrt(d_k)？"
• "Encoder 和 Decoder 的结构有什么区别？BERT 和 GPT 分别用的是哪种？"
• "Transformer 为什么比 RNN 更适合做 NLP 任务？"

1. 大模型相关概念

• "什么是预训练？什么是微调？它们的区别是什么？"
• "你了解 LoRA 吗？简单说一下它的原理。"
• "什么是 Token？分词（Tokenization）有哪些常见方法？"
• "Temperature、Top-p、Top-k 这些参数分别控制什么？面试中经常问，实际使用中你怎么调？"

第二部分：RAG 基础与实践（约 15 min）

1. RAG 基本概念

• "什么是 RAG？它解决了大模型的什么问题？"
• "请描述一下 RAG 的基本流程：文档 → 切分 → Embedding → 检索 → 生成"
• "文档切分有哪些方法？chunk_size 设大了设小了分别有什么问题？"
• "Embedding 是什么？它的作用是什么？你用过哪些 Embedding 模型？"

1. 向量数据库基础

• "向量数据库和普通数据库有什么区别？为什么需要向量数据库？"
• "你用过什么向量数据库？Chroma？Milvus？简单说一下使用体验。"
• "什么是余弦相似度？和欧氏距离有什么区别？"

第三部分：Prompt Engineering 实操（约 10 min）

1. Prompt 设计

• "什么是 Zero-shot Prompting？什么是 Few-shot Prompting？各举一个使用场景。"
• "什么是 Chain-of-Thought（CoT）Prompting？它为什么有效？"
• "现场题：请你写一个 Prompt，让大模型从一段用户评论中提取产品名、情感倾向和关键问题。"
• 考察点：结构化输出（JSON 格式）、约束条件、示例设计

1. 大模型应用实操

• "你用过大模型 API 吗？OpenAI？还是国内的？"
• "LangChain 用过吗？它帮你解决了什么问题？"
• "你在项目中遇到过幻觉问题吗？怎么处理的？"

第四部分：手撕算法（约 20 min）

1. 算法题 #1：字符串处理

• 实现一个函数，将一段文本按句子分割（以句号、问号、感叹号为分隔符），返回句子列表。
• 考察基本的字符串处理能力和边界条件处理。

1. 算法题 #2：余弦相似度计算

• 给定两个词频向量，计算它们的余弦相似度。
• 公式：cos(θ) = (A·B) / (|A| × |B|)
• 考察对基础数学概念的理解 + 代码实现能力。

面试感受 / 反馈

• 实习面整体难度适中，面试官不会故意刁难，更看重你的基础是否扎实
• 大模型概念题回答"是什么"不够，最好能说出"为什么"和"实际怎么用"
• RAG 部分不需要讲得很深，但基本流程要能完整说清楚
• Prompt Engineering 实操题比较新颖，建议提前练手
• 算法题偏简单，更像是在考察编程基本功而非算法竞赛能力
• 面试官对"有没有动手做过项目"比较关注，有项目经验是加分项

准备建议

• Transformer 基础原理要能讲清楚（Attention 公式、编码器/解码器、位置编码）
• RAG 基本流程必须烂熟于心，能画出流程图
• Prompt Engineering 要动手练：写几个 Few-shot 和 CoT 的 Prompt 样例
• 算法题保持 LeetCode Easy-Medium 水平，关注字符串处理、数组操作
• 最好有一个 RAG 或 LLM 应用的小项目，哪怕是用 LangChain 搭的简单 Demo
• 面试中如果某个问题不确定，坦诚说"我了解不多，但我的理解是……"，比瞎编好

反问示例

• "实习生的工作主要是做 RAG 优化还是 Agent 开发？"
• "团队对实习生的期望是什么？有没有机会参与线上项目？"