最近读到的LLM相关的文章，个人感觉质量最高的是这两篇：
最近读到的LLM相关的文章，个人感觉质量最高的是这两篇：
1. 马丁：大模型赛道的技术和应用分析
从技术测的预训练、Alignment（SFT / RLHF）、评测、MOE，到团队组织，到创业环境，再到应用层可能的机会（2C/2B），非常系统地给出了LLM现状的一个综述。尽管其中有不少都是opinions，但这些opinions是经过深度思考和前沿交流之后沉淀下来的，非常干，值得关注。
对个人启发比较大的几个点：
- 目前制约大模型能力接近GPT4的主要因素不是knowhow（正在迅速贬值），而是如何在算力有限的情况下更快地试错。这样看来，随着中美算力的差距越来越大，模型能力的差距可能正在拉大而不是缩小。这可以通过即将发布的Google Gemini能否大幅超越GPT4来验证。
- 在预训练中，大家过于关注算力，对数据规模、数据质量、数据管理、数据配比、数据清洗、scaling up（做小规模的精准验证）的关注不够。MOE尤其考验数据和Infra能力；
- 尚未证明RLHF一定比SFT更好，更难倒是真的；
- 9月是大模型创业公司下场的最后期限，之后就太晚了。投资人之后会更关注Infra和应用方向。好团队的标准：技术实力（工程能力而不是学术能力）+ 行业资源knowhow（ + 政府资源额外加分）；
- Infra层面上，未来需要一个足够强的未做过alignment的foundation model，在此基础上提供加训、自定义对齐、评测、部署等更加精细的服务，而不是像现在这样只是简单地调用各个大模型的API；
- 向量数据库解决的是匹配外部知识的问题，它既不是唯一解，也不是最优解，甚至不如一些传统的搜索和NLP算法。如果是引入外部知识，那么更好的方法是pretrain或continued pretrain；
- 在国内，相对于2B，更看好2C，但character.ai之类的chatbot窗口期已过。
2. 对话杨植麟：Moonshot AI即将完成超10亿元融资，公司最终目标并非超越OpenAI
