LLM带来的backend和infra机遇

估计这个话题已经讨论过了，就是LLM/generative AI带来我们backend/LLM的机遇？
我能想到的：
1. Modeling相关: 这个挺难，需要hands on的接触百亿级别param大模型的机会，估计一般人很难上手，未来也就是几个大公司。但是LLM是不是催生出其他的一些小点的model需求？
2. model相关的training inference infra. 这个同上。直接LLM training infra感觉需求也不太大？
3. Nvidia这种GPU公司，卖铲子的，稳赢必赚。不过他家职位感觉非常底层。
4. 绝大部分的AI integration，这个需求最大，比如prompt engineering，比如RAG。我看RAG做得如火如荼，又催生出各种vector similarity search，vector database的领域，感觉又带活了整个NLP领域。
5. genAI还可以有image，video，比如最近的runway很惊艳。所以什么CV，video infra也算是机会？

欢迎大家讨论补充。尤其有没有大牛已经身体力行跳去了LLM相关的infra和backend的可以现身说法指点一下？

最多的机会应该是在应用层，LLM基础设施本身是一个高门槛且容易赢者通吃的行当，估计会被头部少数几家公司垄断。

可以参考当年的iPhone moment，虽然后来也有了android，但移动操作系统、终端的头部玩家就那么几家。大量兴起的公司是那些做应用的，比如脸书、Uber、微信、抖音，都是这个时代的产物。
. 1point3acres
PS 求加米，最近找工作，很多帖子都因为积分不够看不了。谢谢大家！

- 模型inference的新的任务 (e.g. 模型串联) 和硬件种类催生新的部署resouce management framework 比如调用GPT4 API的成本是anyscale部署llama2-70B成本的55倍
- 训练出来的模型常常不能直接部署 需要自动做推演优化的工具链 比如NV的tensorRT-llm
- 算力需求催生能源效率更高的ML硬件 如systolic array 和其他种类的GEMM on-chip data reuse设计
- 目前能完美链接上层开发API (e.g. pytorch) 和下游硬件的driver和library还不够多 做的最好的是NV的CUDA + RAPIDS生态 能观察到AMD, Intel, Qualcomm在这方面的投入在增加
- 模型训练完毕后会随着时间变化deprecate (e.g. ChatGPT的knowledge cutoff) 需要能实时监测模型健康和做continuous learning的MLOps基础设施
- 边缘设备 (e.g. 自动驾驶) 模型部署和做privacy-preserving continuous learning的基础设施

读完觉得有用求加米捏

llm带来的最大机遇是在应用层。llm的核心是类似于人脑的推理能力，如何把这种推理能力用在各行各业去替代原本需要人脑完成的工作，未来10年可能在这个方向出现很多变革。就像200年前蒸汽机的出现替代了很多原本需要人的体力完成的工作，后来因此出现了各种新的交通工具，各种制造工厂等。

看到好多人收藏 可就是没人回答 🤣

General backend 已死？

讲得好啊

感觉llm时代 能做modeling的机会更少了 不像当年可以调lstm或者bert。。反而前端机会多了 直接连上gpt可以做很好的demo

infra和backend该有的需求照样有，只不过围绕llm而已，转组 跳槽 创业 都不缺机会

很有意思的话题，先马住

generative model/feature 的eval和data gen是一个很大的痛点，training和serving 就正常吧

LLM的inference效率很低，有很大的提升空间。