整理了25道AI公司面试练习题，偏RE/MLE，附免费资料自我提升
最近翻了几篇 AI 公司求职总结，也补上了身边最近加入某 AI 大厂小伙伴的建议，整理成这份清单。偏 RE / MLE，RS 和 inference 岗可以按需取用。
比较一致的感觉是：看论文时觉得懂了，打开空白编辑器又是另一回事。下面是按公开考点和备考建议整理的练习题，不是某家公司的原题合集。[1][2][3]
先练能动手写的
基础题也别漏了
项目和 BQ 也留点时间
再补一个身边最近加入某 AI 大厂小伙伴的总结
他圈的重点其实很基础：MLP、Transformer/attention、交叉熵、temperature sampling、KV cache、MoE，以及 kNN、二分、Markov chain、broadcasting。重点是能独立实现、解释和调试。
他推荐的准备路线也很直接：
先跟着 Zero to Hero 学，已有基础的部分可以快进。重点看 Let's build GPT，目标是关掉视频后，自己能把 Transformer 写出来。[8]
然后看 Let's reproduce GPT-2 (124M)，从“能跑”进一步搞清楚“为什么这么慢、怎么提速”。四小时左右，适合边看边改代码。[8]
有余力再跑 RL。从零写一个小 RL loop，或者找现成代码库，跑通训练和评估，理解 rollout、reward、策略更新之间的关系。这一步他本人当时没做，属于有时间可以加的进阶项。
RL 项目可以参考 TinyZero 的思路，不过仓库目前已停止维护，作者建议新实验使用 veRL。小模型能跑起来也不等于能学出推理能力，TinyZero 记录过 0.5B base 模型在其设置下未学会推理。[9]
练习时建议至少有一遍关闭 AI 补全，计时写代码并讲思路。正式面试能不能用 AI，以当轮说明为准，不同面试规则会不同。[7]
希望能帮大家省一点找资料的时间，有好用的免费练习也欢迎补充。
引用和免费资料：
[1] Alisa：Notes on the Industry Job Search https://alisawuffles.github.io/blog/job-search/ 57 轮面试后的长文复盘，ML coding、技术讨论和准备资料都写得很具体。
[2] Evan：My path from astrophysics postdoc to Anthropic https://evanhanders.blog/2026/04/02/my-path-from-astrophysics-postdoc-to-anthropic/ 从天体物理博后转到 Anthropic 的亲身经历，尤其值得看“如果重来，会把时间花在哪里”。
[3] Silvia：ML Job Interviews — The Ultimate Guide https://silviasapora.github.io/blog/ml-interviews.html 拿到多家 offer 后的备考总结，手写实现和 debugging 清单很实用。
[4] Andrey：ML/Research Engineer interviews 2025 https://reyzharkov.com/blog/posts/interviews-2025-ml-research-engineer-uk 有经验的工程师重新找工作，踩坑部分比泛泛的建议更有参考价值。
[5] 地里：赛博土木 LLM Inference Role 面试总结 https://www.1point3acres.com/bbs/thread-1188659-1-1.html 免费可读，偏推理部署、性能和系统设计。
[6] Stanford CS336 Assignment 1 https://github.com/stanford-cs336/assignment1-basics 适合把零散知识真正写成代码的动手作业。
[7] OpenAI 官方面试指南 https://openai.com/interview-guide/ 流程和工具使用规则以官方及 recruiter 的具体说明为准。
[8] Karpathy：Zero to Hero https://karpathy.ai/zero-to-hero.html Let's reproduce GPT-2 (124M) https://www.youtube.com/watch?v=l8pRSuU81PU 前者练从零实现，后者进一步看训练和效率。
[9] TinyZero https://github.com/Jiayi-Pan/TinyZero veRL https://github.com/verl-project/verl RL 动手参考；TinyZero 已停止维护，新实验可看其推荐的 veRL。
比较一致的感觉是：看论文时觉得懂了，打开空白编辑器又是另一回事。下面是按公开考点和备考建议整理的练习题，不是某家公司的原题合集。[1][2][3]
先练能动手写的
- 从零写两层 MLP，包括 forward/backward，用数值梯度检查。
- 写一个 GPT-2 风格的小 Transformer，讲清 attention、残差和 LayerNorm 的位置。
- 单独写 multi-head causal attention，标出每一步 shape，处理好 mask。
- 写数值稳定的 softmax 和交叉熵，解释为什么不能直接无脑算 exp。
- 写带 temperature 的采样，再加 top-k、top-p、EOS。
- 实现 KV cache，检查缓存解码与完整前向的结果是否一致。
- 写一个简化版 MoE：router 怎么选 expert，输出怎么合并？负载不均怎么办？
- 给训练代码排错：label shift、梯度清零、padding mask、train/eval，分别错了会怎样？
基础题也别漏了
- 实现 kNN，再把距离计算改成向量化版本，比较时间和内存开销。
- 写二分查找，分别返回第一个 ≥ target 和最后一个 ≤ target 的位置。
- 给一个小 Markov chain，计算多步转移概率、平稳分布或首次到达的期望步数。
- 做几道 broadcasting 题：先手算输出 shape，再用代码验证，特别留意“能运行但算错了”的情况。
- 给一组任务依赖，输出执行顺序；存在环、允许并行时怎么处理？
- 权重初始化为什么要考虑输入维度？试着推一下输出方差。
- 绝对位置编码和 RoPE 有什么区别？长上下文时要考虑什么？
- PPO 和 GRPO 的主要区别是什么？advantage 分别怎么估计？
- 数据并行、张量并行、流水线并行各拆什么？通信开销在哪里？
- 给定模型、精度、batch 和上下文长度，估算权重与 KV cache 的显存。
- prefill 和 decode 的瓶颈有什么不同？为什么吞吐上去了，用户体感未必更快？
- 设计一个简单的 LLM serving 服务：continuous batching、prefix cache、排队和长短请求怎么处理？
- GPU 利用率不高、吞吐又差，怎么逐步定位数据、计算、带宽、通信或调度问题？
项目和 BQ 也留点时间
- 指标涨了，怎么排除随机种子、数据泄漏或额外算力的影响？
- 选一个项目，讲清 baseline、关键选择、失败尝试和个人贡献；算力砍半会怎么做？
- 找一篇目标团队的论文，提出一个后续实验：验证什么，结果相反又怎么解释？
- 准备一次合作分歧或失败的具体例子：你做了什么，结果如何，后来改了什么？
再补一个身边最近加入某 AI 大厂小伙伴的总结
他圈的重点其实很基础：MLP、Transformer/attention、交叉熵、temperature sampling、KV cache、MoE，以及 kNN、二分、Markov chain、broadcasting。重点是能独立实现、解释和调试。
他推荐的准备路线也很直接：
先跟着 Zero to Hero 学，已有基础的部分可以快进。重点看 Let's build GPT，目标是关掉视频后，自己能把 Transformer 写出来。[8]
然后看 Let's reproduce GPT-2 (124M)，从“能跑”进一步搞清楚“为什么这么慢、怎么提速”。四小时左右，适合边看边改代码。[8]
有余力再跑 RL。从零写一个小 RL loop，或者找现成代码库，跑通训练和评估，理解 rollout、reward、策略更新之间的关系。这一步他本人当时没做，属于有时间可以加的进阶项。
RL 项目可以参考 TinyZero 的思路，不过仓库目前已停止维护，作者建议新实验使用 veRL。小模型能跑起来也不等于能学出推理能力，TinyZero 记录过 0.5B base 模型在其设置下未学会推理。[9]
练习时建议至少有一遍关闭 AI 补全，计时写代码并讲思路。正式面试能不能用 AI，以当轮说明为准，不同面试规则会不同。[7]
希望能帮大家省一点找资料的时间，有好用的免费练习也欢迎补充。
引用和免费资料：
[1] Alisa：Notes on the Industry Job Search https://alisawuffles.github.io/blog/job-search/ 57 轮面试后的长文复盘，ML coding、技术讨论和准备资料都写得很具体。
[2] Evan：My path from astrophysics postdoc to Anthropic https://evanhanders.blog/2026/04/02/my-path-from-astrophysics-postdoc-to-anthropic/ 从天体物理博后转到 Anthropic 的亲身经历，尤其值得看“如果重来，会把时间花在哪里”。
[3] Silvia：ML Job Interviews — The Ultimate Guide https://silviasapora.github.io/blog/ml-interviews.html 拿到多家 offer 后的备考总结，手写实现和 debugging 清单很实用。
[4] Andrey：ML/Research Engineer interviews 2025 https://reyzharkov.com/blog/posts/interviews-2025-ml-research-engineer-uk 有经验的工程师重新找工作，踩坑部分比泛泛的建议更有参考价值。
[5] 地里：赛博土木 LLM Inference Role 面试总结 https://www.1point3acres.com/bbs/thread-1188659-1-1.html 免费可读，偏推理部署、性能和系统设计。
[6] Stanford CS336 Assignment 1 https://github.com/stanford-cs336/assignment1-basics 适合把零散知识真正写成代码的动手作业。
[7] OpenAI 官方面试指南 https://openai.com/interview-guide/ 流程和工具使用规则以官方及 recruiter 的具体说明为准。
[8] Karpathy：Zero to Hero https://karpathy.ai/zero-to-hero.html Let's reproduce GPT-2 (124M) https://www.youtube.com/watch?v=l8pRSuU81PU 前者练从零实现，后者进一步看训练和效率。
[9] TinyZero https://github.com/Jiayi-Pan/TinyZero veRL https://github.com/verl-project/verl RL 动手参考；TinyZero 已停止维护，新实验可看其推荐的 veRL。
补充内容
又整理了一篇，算是这里这份面试经验总结的姐妹篇：技术面试会做但讲不顺？总结了10种英文表达模板，附回答骨架。这篇练怎么做题，那篇练怎么用英语把思路讲清楚，大家可以配合着练。已获得 57 大米
+2
共6条回复
✨ 您正在体验新版论坛UI
