在这篇文章中,作者将分享一种新兴的LLM应用堆栈的参考架构。这展示了作者在AI初创公司和先进技术公司中看到的最常见的系统、工具和

在这篇文章中,作者将分享一种新兴的LLM应用堆栈的参考架构。这展示了作者在AI初创公司和先进技术公司中看到的最常见的系统、工具和设计模式。| 这个堆栈仍然非常新,随着底层技术的进步可能会发生实质性的变化,但希望它能成为现在使用LLM的开发者的有用参考。

相关推荐

封面图片

Redis 作者 Antirez 写了篇文章,分享用 LLM 编程的体验,相当务实。他提到 LLM 能极大缩短学习新技术的时间,

Redis 作者 Antirez 写了篇文章,分享用 LLM 编程的体验,相当务实。他提到 LLM 能极大缩短学习新技术的时间,非常适合写一些“用后即丢”的代码,但在本身已是专家的领域中帮助略小。 另外, Antirez 也发现了一些局限:对于写个布隆过滤器这样复杂的代码,目前质量不行。上下文长度也不够。他认为如何向 LLM 提出正确的问题,会成为非常重要的技能。 |

封面图片

中美两国在投资和获得先进技术方面的紧张关系日益加剧之际,硅谷最著名风险投资公司之一的红杉资本进行自我分拆。

中美两国在投资和获得先进技术方面的紧张关系日益加剧之际,硅谷最著名风险投资公司之一的红杉资本进行自我分拆。 该公司计划拆分为三个独立的合作伙伴,中国和印度的业务将采用新品牌,欧美业务将保留原有名称。多名红杉高管表示,该公司全球业务管理已变得“越来越复杂”。

封面图片

美国限制对华出口芯片和芯片制造设备的举措势必会令中国一些快速崛起的半导体公司遇挫,进而遏制中国在先进技术方面追赶美国的尝试。

美国限制对华出口芯片和芯片制造设备的举措势必会令中国一些快速崛起的半导体公司遇挫,进而遏制中国在先进技术方面追赶美国的尝试。 不过,研究人员表示,位于荷兰、日本等地的外国公司也是芯片制造设备的主要供应商,如果没有这些政府的协调努力,美国新规的影响可能有限。

封面图片

#本周热读 美国限制对华出口芯片和芯片制造设备的举措势必会令中国一些快速崛起的半导体公司遇挫,进而遏制中国在先进技术方面追赶美国

#本周热读 美国限制对华出口芯片和芯片制造设备的举措势必会令中国一些快速崛起的半导体公司遇挫,进而遏制中国在先进技术方面追赶美国的尝试。 研究人员称,位于荷兰、日本等地的外国公司也是芯片制造设备主要供应商,如果没有这些政府的协调努力,美国新规的影响可能有限。

封面图片

最近拜读了去年火热的斯坦福AI小镇文章的作者Joon Sung Park的两篇文章,分别是22年的Social Simulacr

最近拜读了去年火热的斯坦福AI小镇文章的作者Joon Sung Park的两篇文章,分别是22年的Social Simulacra和23年的Generative Agents(斯坦福AI小镇本文)。两篇都发在交互顶会UIST上(后者得了best paper) 比起Generative agents,22年发表的Social Simulacra聚焦于一个更小的领域- 交互设计原型(prototyping)。具体的思路是:交互原型设计师常常需要了解一个设计的效果,目前的常用做法是招募少量的真人做用户调查。 然而,现实情况下,少量用户的反馈往往并不能体现出这个设计的实际效果,或者使用的潜在隐患。这是因为“用户的行为会彼此影响”。 作者在这里举了“反社会行为”作为例子,比如说,一个人在使用社交媒体时,可能只会根据自己的信息发表观点,但是当很多人都参与讨论时,就会带来煽动性言论(inflammatory comments)或者钓鱼引战(trolling)等现象。这样的问题在小规模的用户测试中是无法被检测到的。 为了在“设计阶段”就能了解到大规模用户可能涌现的群体行为,有一种特定的方法叫做social computing system。这个方法可以看作代理人基模型(agent-based model)在设计学中的应用。尽管代理人基模型在其他学科里已经有很广泛的应用了,但是在设计和用户体验方面的探索还很少,这是本研究的一个创新点。 这篇文章的另一个亮点在于,使用了大语言模型(llm):首先,设计师把自己的设计意图输入给语言模型,然后语言模型生成一系列的用户行为(比如发帖/回复)。基于大量社交媒体数据训练的GPT3,已经足够生成各种积极或者消极的回复,其中也包含作者关注的反社会行为。 最后,作者通过用户实验+一个类似于图灵实验的方式来说明这个方法的有效性:让用户区分真实的用户行为,和使用Social Simulacra生成的用户行为。结果显示,用户在超过40%的数据上都无法判断这是真人还是生成数据,这说明了Social Simulacra在模拟真实用户的表现上效果很好。 阅读22年的Social Simulacra一文,可以看到很多Generative agents的影子:二者都使用了大语言模型(GPT3和GPT3.5),二者都尝试用llm去模拟人(一种是社交媒体行为,一种是生活行为),二者都考虑到了人类互相影响所带来的1+1>2的集体效应,并尝试用技术的方法去模拟这种人类群体效应。 两句话总结体会:1. 阅读Social Simulacra对于理解Generative Agents的想法有很大的帮助,两者结合更可以体现作者思考的连贯性。2. 此外,作者对前沿技术的敏感也让人惊讶。想到这篇文章要在22年3月投稿,而gpt3在20年6月才首次发布beta版本。要在很短的时间内把一项尚不成熟的技术用于解决跨学科问题,作者的技术嗅觉真是很准确也很超强啊。

封面图片

去年被 Google 收购的一家创业公司 Socratic (移动学习教育 APP),创始人 Shreyans 有一篇文章,总结

去年被 Google 收购的一家创业公司 Socratic (移动学习教育 APP),创始人 Shreyans 有一篇文章,总结了她从这次收购中看到了、学到了什么。 去年读的时候感觉挺平常的,今天重读一遍发现有一些点还是很深刻的,比如大公司对于创业公司的看法是什么、什么情况才会注意到创业公司、大公司相比于创业公司的优劣势等。 1)Google does things the Google way, 谷歌以谷歌的方式做事 谷歌使用的几乎每一款软件和基础设施都是在谷歌构建的,这是比大多数公司更早面对最棘手的工程问题下的自然结果。 这意味着我们无法保留我们自己的代码库,必须从头开始,在谷歌的技术栈上重建我们的应用程序,与新团队一起重建产品。 2)简单的事情反复完成会让人感到不可思议 我注意到的一个模式是,伟大的 AI 研究人员愿意手动检查大量数据。不仅如此,他们还构建了基础设施,使他们能够快速手动检查数据。虽然并不光彩,但手动检查数据可以提供有关问题的宝贵直觉。 3)大多数问题不值得谷歌花费时间 大多数用户规模在 1000 万至 5000 万之间的问题并不值得谷歌花费时间,而且不符合他们的战略。但对于符合他们性质、战略以及某人的晋升目标的问题,他们将投入大量精力。 4)谷歌员工渴望交付出色的工作,但往往无法做到 虽然毫无疑问,有一些人是冲着美食而来,每天只工作 3 小时,享受着提前退休的生活,但我所遇到的所有人都是认真、努力工作,并希望能够做出优秀的工作。 打败渴望出色的员工的是审查的重重关卡、频繁的组织重组、过去失败留下的制度疤痕,以及在国际舞台上做一些简单事情的复杂性。初创公司可以忽略许多问题,但谷歌员工很难做到这一点。 另一个阻碍他们的是他们自己。所有聪明的人都能反驳任何事情,但却不能支持某件事情。所有的领导者缺乏说出令人不适的真相的勇气,以及所有被雇佣却没有明确项目可供工作的人,但仍必须通过虚构的工作来保留其晋升资格。 5)头重脚轻、结构庞大的组织很难调整方向 我亲身经历的另一个阻碍进展的因素是组织结构的顶层过重。一个团队拥有多位成功的联合创始人和 10~20 年的谷歌老兵听起来可能是取得伟大成就的秘诀,但这也是制造僵局的秘诀。 如果有多个领域可以探索,明确的目标以及强大的自主权来追求这些路径,这种结构可能有效。但如果你想要致力于一个统一的产品,它需要一个明确的领导者,一个明确的方向,以及更多的实干者而非思考者。与直觉相反,在早期项目中增加更多人并不能使项目进展得更快。 6)在谷歌,只要你玩对了游戏,惊喜的事情就是可能的 谷歌曾经有一套他们称之为“三尊重”的内部价值观:尊重用户,尊重彼此,尊重机遇。 前两者比较容易理解,但第三者却让大多数人感到困惑。我的理解是:你在谷歌,这是一个极其盈利、充满天才的企业。你薪水丰厚,食物丰盛,生活在永恒的春天天堂硅谷。 所以,拥有这种疯狂的运气,你能做的最好的事情是什么呢?

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人