LeCun 的 LLMs 退烧贴，把语言模型的局限写的很清楚

LeCun的LLMs退烧贴，把语言模型的局限写的很清楚https://twitter.com/ylecun/status/1625118108082995203?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1625118108082995203%7Ctwgr%5Efd5a6f1edcf607a3bbc5c8bdcdd6cc3d8b13309e%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.notion.so%2Forangeblog%2FChatGPT-5fe9daeeb2a04bebbdf02b3d9c282102

国内外AI大语言模型API价格对比网站

国内外AI大语言模型API价格对比网站GPT-4-32k最贵，输入60$/MTokens；输出120$/Mtokens;百度文心的ERNIESpeed、ERNIELite、ERNIETiny和通义千问的qwen-1.8b-chat、qwen1.5-0.5b-chat以及科大讯飞的SparkLite最便宜。输入输出均免费。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

Google DeepMind 发布视觉语言动作模型 RT-2

GoogleDeepMind发布视觉语言动作模型RT-2GoogleDeepMind今日发布了一种新的AI模型RoboticsTransformer2（RT-2），可以帮助训练机器人理解扔垃圾等任务。在论文中，谷歌介绍RT-2是一种新型视觉语言动作（VLA）模型，从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令，同时保留网络规模能力。例如，可以帮助训练机器人理解扔垃圾等任务。RT-2表明，视觉语言模型（VLM）可以转换为强大的视觉语言动作（VLA）模型，该模型可以通过将VLM预训练与机器人数据相结合来直接控制机器人。RT-2不仅是对现有VLM模型的简单而有效的修改，而且还显示了构建通用物理机器人的前景，该机器人可以推理、解决问题和解释信息，以在现实世界中执行各种任务。论文：https://robotics-transformer2.github.io/assets/rt2.pdf来源：https://www.deepmind.com/blog/rt-2-new-model-translates-vision-and-language-into-action投稿：@ZaiHuaBot频道：@TestFlightCN

Pile-T5：更好的通用预训练语言模型

：更好的通用预训练语言模型Pile-T5通过在Pile数据集上预训练T5模型，并使用LLAMA分词器，改进了原始T5的编码能力。Pile-T5总体上明显优于原始T5v1.1模型，尤其在代码任务上的提升更大。这主要得益于Pile中包含代码数据以及LLAMA分词器包含编程常用字符。在多个下游任务的微调中，Pile-T5不同规模的模型表现优异，如在SuperGLUE、CodeXGLUE、MMLU和BigBenchHard上的结果。尽管与专门微调的Flan-T5相比略逊色，但Pile-T5仍优于T5v1.1，表明其预训练质量更高，更适合多任务微调。公开了Pile-T5模型在不同训练步长的中间检查点，这有利于模型演化和解释性研究。Pile-T5Large模型在某些任务上的表现不佳，可能存在bug，用户需谨慎使用。