突然想学习了 - llm inference学习佛系打卡

就突然想学习了，学渣表示AI也用得手忙脚乱的，陷入了知识的通胀幻觉。接受了自己没法快速利用AI把知识塞进脑子里，还是老老实实按照大神的帖子来打卡慢慢学吧。
想学LLM inference。
按照大神的三层知识点：

• serving （orchestration、request routing、scheduling、capacity management）
• inference engine （batching、KV cache、prefill/decode、各种 memory / performance optimization）
• compiler / kernel

非CS专业，虽然不知道从哪里开始，那就从compiler/kernel开始吧！
Reference： https://www.1point3acres.com/bbs/thread-1188659-1-1.html

学llm inference建议先从vllm的论文开始学起，否则很多重要的概念你会不知所以然。看paper的同时，最好看一看nano vllm的代码来理解llm serving是怎么一回事。如果能把知识点给全吃透，那么你学的基本也就差不多了，但是学习曲线会很陡，需要做好心理准备。

paper在这里：https://arxiv.org/abs/2309.06180
vllm nano：https://github.com/GeeeekExplorer/nano-vllm

楼主学了有什么打算不？别告诉我你就是喜欢学习

Phenomenon. 发表于 2026-10-05 01:00:53
学llm inference建议先从vllm的论文开始学起，否则很多重要的概念你会不知所以然。看paper的同时，最好看一看nano vllm的代码来理解llm

好滴！就爱看这种好论文！万分感谢！版主大好人～

walkboy 发表于 2026-10-05 05:55:17
楼主学了有什么打算不？别告诉我你就是喜欢学习

有是有，不过这都是后话，看能学成啥样吧，还是以学懂为主，不想本末倒置。

还是选择了从compiler开始，因为这块最不熟悉，感觉难度最大。不管了，趁着还有兴趣的时候，想看点啥就看点啥吧。
今天看了MLIR论文第一遍，向ChatGPT老师请教了各个名词的意思，dialect\dag\IR\lowering\tablegen啥的，大概懂了10%？……好文章估计得后面重复看才理解得更好一点。anyway，好的开始是成功的一半！
MLIR论文链接：https://arxiv.org/pdf/2002.11054