: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更

: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更好的支持 RedisVL 具有许多强大的功能，旨在简化矢量数据库操作。 索引管理：RedisVL 允许轻松创建、更新和删除索引。每个索引的模式可以在 yaml 中定义，也可以直接在 python 代码中定义，并在索引的整个生命周期中使用。 嵌入创建：RedisVL 与 OpenAI、HuggingFace 和 GCP VertexAI 集成，以简化矢量化非结构化数据的过程。图像支持即将推出。提交新矢量化器的 PR。 向量搜索：RedisVL 提供强大的搜索功能，使您能够同步和异步查询向量。还支持利用标签、地理、数字和其他过滤器（如全文搜索）的混合查询。 强大的抽象：语义缓存：LLMCache是直接内置于 RedisVL 中的语义缓存接口。它允许缓存 GPT-3 等 LLM 生成的输出。由于语义搜索用于检查缓存，因此可以设置阈值来确定缓存结果是否足够相关以返回。如果没有，则调用模型并缓存结果以供将来使用。这可以提高 QPS 并降低在生产中使用 LLM 模型的成本。

白牙入职腾讯三周年时，写了一篇文章，简单分享下这一年，白牙都学到了什么。

白牙入职腾讯三周年时，写了一篇文章，简单分享下这一年，白牙都学到了什么。 01-认知提升 1.成长是件很私人的事，成长是你自己的事，你需要100%负责。 2.工作要主动，从“凭什么要我做？”，到“愿意主动去多做事儿”，再到“把奋斗当做习惯”。越主动的人收获越多。在工作中主动找一些需求外的事做，比如做一个提效工具。在日常繁忙的工作中，你需要偶尔抬头，想想哪些问题困扰着你，也许这就是一个工具的出发点。 3.让你的上级知道你的价值，让他的上级知道就更好了。你要有这种意识，不能陷入不断解决眼前问题中不能自拔，要主动挖掘出潜在的价值点。 “你到底是在解决问题，还是在寻找机会？” 彼得·德鲁克《成果管理》 “成果的取得靠主动挖掘机会，而不能仅靠解决眼前的问题 ” 少楠 4.公司不为你的忙碌买单，公司只为你提供的价值买单。你的领导并不关心你做了多少件事，他关心的是，问题有没有真正解决。所以没必要卷加班。 5.跟对人，真的很重要，在组织架构调整时，愈发明显。 6.不要只当工具人，要时刻想着业务，开发也要主动思考并参与为业务赋能上，提供建议，不要只当做需求的工具人，时刻牢记「降本增效，提质创收」。 7.每个团队、每个业务都有它存在的价值，你觉得你做的业务没价值，可能别的团队做的还不如你现在做的。 8.不要指望提醒用户按照你要求的做，用户就会照做，一定要在产品层面加限制，功能限制的作用远远大于提醒。 9.一份工作不能只盯着工资，更要关注长远利益，比如个人经验的积累、个人成长、Work Life Balance 等。总之，你应该有个干现在工作的理由，如果现在已经找不到了，可能就要考虑换个工作了。 10.一定要保证自己手头有活儿可做，这才可能保证你不下牌桌。99%的成功只是在场而已。在此基础上，也要会挑活儿，挑有价值的活儿，挑能讲新故事的活儿。 挑活不是你想做啥就做啥，不想做啥就不做。你要把手头的活做好，让领导发现你有能力去做更有挑战的事，让他相信你的能力，后面会主动给你分配那些有挑战、有价值的活. 你也可以主动申请参与到那个有价值的活里，保持在场就行，做这种活儿，对你绩效、晋升都是加分项，因为领导也会拿这些事去讲故事。 11.大环境真的不好，找工作真的不容易，要猥琐发育，千万别浪。 12.别再问做管理还是做技术了？不管做啥技术都不能丢，这是你吃饭的工具。即使做到了管理，甚至做了多年的管理，也可能有下来的那天，下来不会写代码怎么办？职场真的没有稳定一说。 13.充分利用职场资源，主动抓机会向合作的同事学习，比如排查问题时，可能会遇到DBA、运维等，可以趁机往深里多问几个问题 14.在业务工程团队，如果你还能做数据，你的壁垒就稍微高些，工程谁都能写，但数据就不一定了。如果你还会算法或大模型LLM相关的应用开发，就更好了。 02-晋升&绩效 15.晋升或绩效考核的衡量标准如果不明确，与上级的人情关系很重要，所以一定要关注与上级的人情关系，最好别抱有“老子技术好，此处不留爷自有留爷处”的心态，前几年可能还行，现在可别。 16.绩效、晋升都是人打的，人打的就不乏主观，于你而言，就会出现你认为的“不公平”，但要明白，即使结果不如意，并不一定代表你这个人不行。不要过度依赖职场的绩效和晋升这个单一的评价体系，一定要构建对自己多维度的评价体系，这个需要自己去探索和挖掘，这样才不会因为绩效不好、晋升不过而郁郁寡欢，值得你用心做的事有很多，职场只是其一。 17.晋升与绩效的名额有限，大部分员工体验不到这些激励。 18.晋升三大原则： 主动原则：主动做事的人比等着安排工作的人更容易晋升。 成长原则：一边做事一边挖掘成长点、提升自己能力的人，比光顾着做事的人更容易晋升。 价值原则：有能力为公司产出价值的人，比空有一身能力的人更容易晋升。 李运华 《大厂晋升指南》 19.晋升答辩是做证明题，证明你已经达到了下一个职级的要求，晋升答辩不是做技术分享，思考的过程可能比你最后选的方案更重要。平时要多积累，有的人提前一年就开始准备。 03-薪资 20.公司不会为员工的成长涨工资，只会为成长后做得更好、产出更多的人涨工资。 21.工作是一个人把最多的清醒时间都投入的事情，只想着赚了多少工资并不明智，聪明人一定要收获更多。 22.大环境不好的情况下外部激励减少，比如调薪的名额骤减，你要找到内部驱动，关注成长、成事，或者一些xx感 23.涨薪慢、不涨薪可能才是真正的常态，只是前几年互联网红利，让人误以为每年涨薪才是常态。但有机会也要自己争取。 04-向上管理 24.向上管理是一种有自主意识的方法，通过与你的老板在目标上达成共识，并最终用这个目标满足你、你的老板、你的组织的最大利益。 25.向上管理与你的老板无关，老板都没得选的，向上管理不是你老板的责任，是你自己的责任。 26.向上管理是一种能力、意愿、行为习惯。你知道它对，发自内心的认可，同时要培养自己有能力去跟老板沟通，和他同频。另外也要会和他谈判，不要怕，主动去聊，老板换的这么快，你怕啥呢？ 27.向上管理的目的是帮助组织成功，让老板成功，给老板创造价值，给自己创造价值，让自己成功。 28.有问题及时找领导反馈与沟通，让领导知道事情的进展以及是否有问题需要他帮忙，别一个人憋着。 29.别老盯着领导的缺点，尝试关注下领导的优点，并借用领导的优势为自己助力。 05-职场中如何保护好自己？ 30.要敢于说不 如果团队分工是按模块划分，临时分给你其他模块的需求，尤其是复杂恶心需求时，要敢于说不。 31.让自己手头永远有需求，最好至少2个，这样有拒绝的理由。 32.拒绝时可以直接，可以委婉，比如手头的需求比较紧急，暂时抽不开身，再加上对这块不太熟悉，担心出问题影响不好，如果非得需要我来支持，我需要xxx，这里可以申请一些资源。 33.方案一定要讨论清楚 尤其是开发不熟悉的业务时，如果想当然得开发，大概率会出问题。 34.做好充分的自测并要求测试同学做好测试 免测这种费力不讨好的事，做好了没有表扬，做砸了还可能背锅，要学会保护自己，除非你非常想做那块业务。 06-结尾 最后以脱不花的「五点工作交流法：交代工作和接收任务时要关注的 5 个关键点」收尾 1. 起点：上下文，为什么要做这件事？ 2. 终点：目标是什么，达到什么标准？ 3. 重点：关键点在哪里？ 4. 卡点：可能面临的风险和坑在哪里？ 5. 节点：多久同步，里程碑节点的交付物是什么？

最强开源大模型深夜炸场：Llama 3 王者归来 表现直逼 GPT-4

最强开源大模型深夜炸场：Llama 3 王者归来 表现直逼 GPT-4 Llama 3 70B: 第一档 AI 模型，媲美 Gemini 1.5 Pro、全面超越 Claude 大杯以上还只是 Meta 的开胃小菜，真正的大餐还在后头。在未来几个月，Meta 将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中，超 400B 的重量级选手更是有望与 Claude 3 超大杯“掰手腕”。又一 GPT-4 级模型来了，Llama 3 开卷与前代 Llama 2 模型相比，Llama 3 可谓是迈上了一个新的台阶。得益于预训练和后训练的改进，本次发布的预训练和指令微调模型是当今 8B 和 70B 参数规模中的最强大的模型。同时后训练流程的优化显著降低了模型的出错率，增强了模型的一致性，并丰富了响应的多样性。扎克伯格曾在一次公开发言中透露，考虑到用户不会在 WhatsApp 中向 Meta AI 询问编码相关的问题，因此 Llama 2 在这一领域的优化并不突出。而这一次，Llama 3 在推理、代码生成和遵循指令等方面的能力取得了突破性的提升，使其更加灵活和易于使用。基准测试结果显示，Llama 3 8B 在 MMLU、GPQA、HumanEval 等测试的得分远超 Google Gemma 7B 以及 Mistral 7B Instruct。用扎克伯格的话来说，最小的 Llama 3 基本上与最大的 Llama 2 一样强大。Llama 3 70B 则跻身于顶尖 AI 模型的行列，整体表现全面碾压 Claude 3 大杯，与 Gemini 1.5 Pro 相比则是互有胜负。为了准确研究基准测试下的模型性能，Meta 还特意开发了一套新的高质量人类评估数据集。该评估集包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。出于避免 Llama 3 在此评估集上出现过度拟合，Meta 甚至禁止他们的研究团队访问该数据集。在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的逐一较量中，Meta Llama 70B 都以“压倒性胜利”结束了比赛。据 Meta 官方介绍，Llama 3 在模型架构上选择了相对标准的纯解码器 Transformer 架构。与 Llama 2 相比，Llama 3 进行了几项关键的改进：使用具有 128K token 词汇表的 tokenizer，可以更有效地编码语言，从而显著提升模型性能在 8B 和 70B 模型中都采用分组查询注意力 （GQA），以提高 Llama 3 模型的推理效率在 8192 个 token 的序列上训练模型，使用掩码来确保自注意力不会跨越文档边界。训练数据的数量和质量是推动下一阶段大模型能力涌现的关键因素。从一开始，Meta Llama 3 就致力于成为最强大的模型。Meta 在预训练数据上投入了大量的资金。 据悉，Llama 3 使用从公开来源收集的超过 15T 的 token，是 Llama 2 使用数据集的七倍，其中包含的代码数据则是 Llama 2 的四倍。考虑到多语言的实际应用，超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成，不过，Meta 官方也坦言，与英语相比，这些语言的性能表现预计是稍逊一筹。为了确保 Llama 3 接受最高质量的数据训练，Meta 研究团队甚至提前使用启发式过滤器、NSFW 筛选器、语义重复数据删除方法和文本分类器来预测数据质量。值得注意的是，研究团队还发现前几代 Llama 模型在识别高质量数据方面出奇地好，于是让 Llama 2 为 Llama 3 提供支持的文本质量分类器生成训练数据，真正实现了“AI 训练 AI”。除了训练的质量，Llama 3 在训练效率方面也取得了质的飞跃。Meta 透露，为了训练最大的 Llama 3 模型，他们结合了数据并行化、模型并行化和管道并行化三种类型的并行化。在 16K GPU 上同时进行训练时，每个 GPU 可实现超过 400 TFLOPS 的计算利用率。研究团队在两个定制的 24K GPU 集群上执行了训练运行。为了最大限度地延长 GPU 的正常运行时间，研究团队开发了一种先进的新训练堆栈，可以自动执行错误检测、处理和维护。此外，Meta 还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进使得总体有效训练时间超过 95%，也让 Llama 3 的训练效率比前代足足提高了约 3 倍。开源 VS 闭源作为 Meta 的“亲儿子”，Llama 3 也顺理成章地被优先整合到 AI 聊天机器人 Meta AI 之中。追溯至去年的 Meta Connect 2023 大会，扎克伯格在会上正式宣布推出 Meta AI，随后便迅速将其推广至美国、澳大利亚、加拿大、新加坡、南非等地区。在此前的采访中，扎克伯格对搭载 Llama 3 的 Meta AI 更是充满信心，称其将会是人们可以免费使用的最智能的 AI 助手。我认为这将从一个类似聊天机器人的形式转变为你只需提出一个问题，它就能给出答案的形式，你可以给它更复杂的任务，它会去完成这些任务。当然，Meta AI 若是“ 尚未在您所在的国家/地区推出”，你可以采用开源模型最朴素的使用渠道全球最大的 AI 开源社区网站 Hugging Face。Perplexity、Poe 等平台也迅速宣布将 Llama 3 集成到平台服务上。你还可以通过调用开源模型平台 Replicate API 接口来体验 Llama 3，其使用的价格也已经曝光，不妨按需使用。有趣的是，在 Meta 官宣 Llama 3 前，有眼尖的网友发现微软的 Azure 市场偷跑 Llama 3 8B Instruct 版本，但随着消息的进一步扩散，当蜂拥而至的网友再次尝试访问该链接时，得到的只有“404”的页面。Llama 3 的到来，正在社交平台 X 上掀起一股新的讨论风暴。Meta AI 首席科学家、图灵奖得主 Yann LeCun 不仅为 Llama 3 的发布摇旗呐喊，并再次预告未来几个月将推出更多版本。就连马斯克也现身于该评论区，用一句简洁而含蓄的“Not bad 不错”，表达了对 Llama 3 的认可和期待。英伟达高级科学家 JIm Fan 则将注意力投向了即将推出的 Llama 3 400B+，在他看来，Llama 3 的推出已经脱离了技术层面的进步，更像是开源模型与顶尖闭源模型并驾齐驱的象征。从其分享的基准测试可以看出，Llama 3 400B+ 的实力几乎媲美 Claude 超大杯、以及 新版 GPT-4 Turbo，虽然仍有一定的差距，但足以证明其在顶尖大模型中占有一席之地。今天恰逢斯坦福大学教授，AI 顶尖专家吴恩达的生日，Llama 3 的到来无疑是最特别的庆生方式。不得不说，如今的开源模型当真是百花齐放，百家争鸣。今年年初，手握 35 万块 GPU 的扎克伯格在接受 The Verge 的采访时描绘了 Meta 的愿景致力于打造 AGI（通用人工智能）。与不 open 的 OpenAI 形成鲜明对比，Meta 则沿着 open 的开源路线朝 AGI 的圣杯发起了冲锋。正如扎克伯格所说，坚定开源的 Meta 在这条充满挑战的征途中也并非毫无收获：我通常非常倾向于认为开源对社区和我们都有好处，因为我们会从创新中受益。在过去的一年中，整个 AI 圈都在围绕开源或闭源的路线争论不休， 甚至亲自下场的马斯克也通过开源 Grok 1.0 的方式给全世界打了个样。如今 这场辩论，已经超越了技术层面的优劣比较，触及了 AI 未来发展的核心方向。前不久，一些观点称开源模型将会越来越落后，如今 Llama 3 的到来，也给了这种悲观的论调一记响亮的耳光。然而，尽管 Llama 3 为开源模型扳回一局，但这场关于开源与闭源的辩论还远未结束。毕竟暗中蓄势待发的 GPT-4.5/5 也许会在今年夏天，以无可匹敌的性能为这场旷日持久的争论画上一个句号。 ... PC版： 手机版：