突然想学习了 - llm inference学习佛系打卡
go4jobs
就突然想学习了，学渣表示AI也用得手忙脚乱的，陷入了知识的通胀幻觉。接受了自己没法快速利用AI把知识塞进脑子里，还是老老实实按照大神的帖子来打卡慢慢学吧。
想学LLM inference。
按照大神的三层知识点：
Reference： https://www.1point3acres.com/bbs/thread-1188659-1-1.html
想学LLM inference。
按照大神的三层知识点：
- serving （orchestration、request routing、scheduling、capacity management）
- inference engine （batching、KV cache、prefill/decode、各种 memory / performance optimization）
- compiler / kernel
Reference： https://www.1point3acres.com/bbs/thread-1188659-1-1.html
共5条回复
✨ 您正在体验新版论坛UI
