最近微软和谷歌都出了AI相关教程,谷歌的是Generative AI learning path(https://www.clo
最近微软和谷歌都出了AI相关教程,谷歌的是GenerativeAIlearningpath(https://www.cloudskillsboost.google/paths/118),微软的是给初学者看的机器学习(GitHub:https://github.com/microsoft/ML-For-Beginners),还有给初学者看的人工智能教程(https://github.com/microsoft/AI-For-Beginners)以上我收藏在提示工程资料导航站上:https://github.com/breakmatrix/prompt-engineering/wiki如果你和我一样日理万机,只能收藏上面的教程作为心理安慰,其实也可以看下下面这个不到一小时的视频去了解下大模型基本原理:OPENAI创始成员在MSBUILD2023上的演讲StateofGPT(https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2)今天又看了一遍,人工总结了几点我觉得比较有意思的部分:1)人类反馈强化学习RLHF比较难,不建议新手碰,LORA是个不错的技术,下半年推出的GPT微调接口是不是和LORA有关系?2)GPT本质上是在上下文(工作记忆)影响下,预测下一个token,它不知道对错,没有价值观,不会反思回溯。即心理学家卡尼曼的书《思考:快与慢》中的系统I:直觉本能式给结果,不像系统II:理性思考。所以GPT其实推理能力不太好,需要提示工程方法来引导它做慢思考,比如用思维链COT,或最新的思维树TOT等。我的感觉是GPT推理虽然不好,但是有的,看上去是在预测下一个token,其实是使用了深层能力。类似人类的直觉隐含了深层的知识,有时候比慢思考更正确。我记得的例子有:将军得到敌人从某方向进攻的情报,但将军的直觉是敌人佯攻,真实意图是从其它地方进攻。一个武林高手,进入一个幽静的陌生环境,能用直觉感觉到有埋伏,然后先拔刀做准备。3)思维链等方法反映了目前大模型的限制,并不自然,以后能不能用API包装下使用?或者GPT-5实现系统II的慢思考?4)Let’sworkthisoutinastepbystepway.比let’sthinkstepbystep.效果好5)为什么prompt中给GPT设定专家角色或IQ120高能力比不设定效果好?简单看为检索信息,GPT中有普通答案也有专家答案,你指定它为专家,它就找专家的答案给你6)Retrieval-AugmentedLLMs,检索增强大模型,即通过检索在Prompt的上下文Context中提供尽可能多的任务相关信息,那它的输出就会越好。