LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似GPT-4的大语言+视觉模型“使用机器生成的指令跟踪数据对大型语言模型(LLM)进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。所以，我们开始尝试使用纯语言GPT-4生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了LLaVA：大型语言和视觉助手。这是一种端到端训练的大型多模态模型，连接视觉编码器和LLM以实现通用视觉和语言理解。早期实验表明，LLaVA展示了令人印象深刻的多模型聊天能力，有时在看不见的图像/指令上表现出多模态GPT-4的行为，并且与合成多模态指令跟随数据集上的GPT-4相比，相对分数达到了85.1%。当在ScienceQA上进行微调时，LLaVA和GPT-4的协同作用达到了92.53%，这个准确率颇高。因此，我们在GitHub正式开放GPT-4生成的视觉指令调整数据、模型和代码库。”

OpenAI正式推出GPT-4 提供文本图像综合访问能力

OpenAI正式推出GPT-4提供文本图像综合访问能力在一系列领域--包括带有文字和照片、图表或屏幕截图的文件--GPT-4表现出与纯文本输入类似的能力。此外，它还可以使用为纯文本语言模型开发的测试时间技术，包括少数几个镜头和思维链提示。坏消息是，图像输入目前还没有向公众开放，因为它们处于"研究预览"模式。目前还没有关于何时能普遍使用的消息。新版本还将允许用户改变GPT-4答案的语气，博文指出：与经典的ChatGPT个性的固定言辞、语气和风格不同，开发者（以及很快ChatGPT用户）现在可以通过在"系统"消息中描述这些方向来规定他们的人工智能的风格和任务。系统消息允许API用户在一定范围内大幅定制他们的用户体验。该博客还展示了一些性能图表来说明GPT-4的改进。在一个案例中，OpenAI让聊天机器人参加了一些模拟考试。我们通过使用最新的公开测试（就奥林匹克数学和AP自由回答问题而言）或购买2022-2023年版本的练习考试来进行，我们没有为这些考试做专门的培训。上图显示，与GPT-3.5相比，GPT-4在大多数情况下提供的考试成绩要好得多与以前的版本一样，GPT-4在获取更多的最新科目信息方面是有限的，因为它只能回溯到2021年9月。OpenAI还表示，新版本"相对于以前的模型，大大减少了信口开河的现象"，但它"并不完全可靠"。如果他们注册了一个等待名单，GPT-4的API目前可供开发者使用，普通人如果注册了ChatGPTPlus，就可以在有限的基础上访问GPT-4，该费用为每月20美元。博文提到，OpenAI可能会推出另一个订阅级别，允许更多的人访问。...PC版：https://www.cnbeta.com.tw/articles/soft/1349447.htm手机版：https://m.cnbeta.com.tw/view/1349447.htm

GPT-4相关能力的总结：

GPT-4相关能力的总结：-支持多模态输入：GPT-4的API可以接受图像，并生成相应的字幕，并对图像进行分析。-在BAR考试中取得优异成绩：GPT-4取得了BAR90分（满分一百），同时在生物奥林匹克竞赛的视觉题方面获得了99分，其推理能力远超ChatGPT。-超大上下文：GPT-4支持25,000个单词的上下文，可以使得完整的文档适合于一个提示符内。-更具创造性和协作性：与用户协作生成、编辑和迭代写作任务，具有更高的创造性和协作性。-多个合作伙伴正在测试GPT-4：Duolingo、BeMyEyes、Stripe、摩根士丹利、可汗学院等，甚至包括冰岛政府。相关链接：https://openai.com/product/gpt-4

GPT Migrate，一个基于 GPT-4 的大胆尝试，让 AI 重写整个项目代码

GPTMigrate，一个基于GPT-4的大胆尝试，让AI重写整个项目代码使用可以将原有的Python项目，用JavaScript重写为新项目，AI会自动帮你生成新的目录结构、文件命名、项目依赖包。https://github.com/0xpayne/gpt-migrate来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

今日重磅： Open AI 正式推出 GPT-4！

今日重磅：OpenAI正式推出GPT-4！在演示视频中，GPT-4可以实现：-问它如何清洁装满食人鱼的鱼缸里面？（回答惊喜连连~）-自动编写一个python脚本来分析我的月度财务情况（支持主流编程语言）-分析、理解图片，并「预测」可能性（这里的预测太酷了：杠杆那头的棒球会被击飞）综合来说：GPT-4是多模态。直接读取图片和文档等应用场景。（多模态意味着机器拥有了更多维度的输入数据处理能力，类似生物有了多感官能力。）GPT-4的高级推理能力超过了ChatGPT。上下文理解巨幅提升。GPT-4能够处理超过25,000字的文本，允许使用案例，如长形式的内容创建，扩展的对话，以及文件搜索和分析。中文准确度大幅提升。更多请访问OpenAI官网：https://openai.com/product/gpt-4Invalidmedia:

沉迷 GPT-4 Code Interpreter。下图顺序展现了我使用 GPT-4 绘制图表的一个案例。

沉迷GPT-4CodeInterpreter。下图顺序展现了我使用GPT-4绘制图表的一个案例。目标：上传包含美国SaaS上市公司财务数据的RawDataExcel文件（未清洗），绘制年营收图表，并按照我的诉求美化、调整图表类型。1.自带类似Agent的自省能力。2.能听懂我的自然语义描述，并调用Python的语句来完成我的需求，体验太好。3.其他工具通过Prompt接入，元数据描述Prompt的路线可执行。4.一点点看GPT-4拆解可以学到东西。做编程教练有潜力。5.利好产品（核心能力：洞察需求）和creatoreconomy利益相关者。#ChatGPT