这个研究有点强的，我们可能获得了另外一种增强Stable Diffusion控制的方法，它允许你使用富文本书写提示词。

这个研究有点强的，我们可能获得了另外一种增强StableDiffusion控制的方法，它允许你使用富文本书写提示词。比如指定某个提示词的颜色，例如提示词中有长发这个单词，然后你把长发的文字颜色改成了粉色，那么生成图像的头发颜色就会变成粉色。不只是那种粗略的粉色哦，是带有精确色值的。下面我们分别来看一下它支持的富文本格式和生效方式：首先你可以通过字体颜色控制生成对象的颜色，比如下面这张图Hair头发的字体颜色被改成粉色的时候生成图像的头发颜色就会变为粉色。然后你可以改变对应提示词单词的字体来赋予图像对应的风格，这个就有点意识流了，全看模型对这个字体的感知，比如下面这这张图的guitar吉他的字体如果是比较放松的就会生成彩色的吉他，如果是古朴的手写体吉他就比较有年代感。最后你可以给对应提示词的单词增加注释对其进行补充说明，比如下方这个例子中的cat被加上了“一只戴着墨镜、脖子上围着头巾的猫。”这样的注释在不影响整体画面的情况下猫这个主体准确的生成了注释的内容。你也可以给多个单词都加上这样的注释。下面看一下这个论文大概的原理：简单来说他们用了一种方法获得了每一个提示词单词对生成图像影响区域的映射，然后用将富文本的属性拿出来单独针对每个影响的提示词单词的区域再进行降噪操作从而修改扩散模型第一次生成的图像。好了介绍到这里就结束了，希望早日有大神可以将这种方法集成到SD里面，或者开发出更多地富文本格式。这里是论文的介绍：https://rich-text-to-image.github.io/这里你可以试玩这个控制方法：https://huggingface.co/spaces/songweig/rich-text-to-image

卧槽，Midreal AI这个小说生成工具太强了。

卧槽，MidrealAI这个小说生成工具太强了。与其他LLM直接生成的所谓根本没有逻辑和情节的“小说”不同。这个产品可以生成真正的小说，逻辑性和创造力都在线，而且还加入了互动能力，每到关键节点会让你选择剧情走向，还会生成一张配图。下面是我测试的小说的一部分，之前AI生成的小说我根本看不下去，这个居然在我些东西的时候我给听完了。我的提示词是让他生成一个黄金时代科幻风格的克苏鲁神话故事。它非常懂这些上来就把故事地点安排在了因斯茅斯镇。并且克苏鲁神话的经典元素神秘学，和神经病角色一个不少。情节和气氛渲染也很到位。他们这么厉害主要是强在两个能力：内存跨越技术：可以实现几乎无限的记忆保留，确保游戏体验长期无缝连接。长篇写作能力:长篇写作能力能够让叙事从头到尾保持连贯和引人入胜。接下来说一下如何使用，通过链接进到服务器里面，选择Start频道。输入/start回车，然后输入提示词就是你想要一个什么样的小说。目前支持中文和英文，我看频道里有人的发了NFSW的提示词，不知道能不能生成。产品链接：https://discord.gg/ReKvgchE3PInvalidmedia:

Stability AI推出Stable Diffusion 3 提示文本理解更好、图像质量更强

StabilityAI推出StableDiffusion3提示文本理解更好、图像质量更强StableDiffusion3的参数在8亿——80亿之间，也就是说StableDiffusion3可能是专为移动设备开发的，AI算力消耗将更低，推理速度却更快。目前，StableDiffusion3支持申请使用，未来会扩大测试范围。申请地址：https://stability.ai/stablediffusion3stability.ai没有过多的介绍StableDiffusion3的技术内容，但指出其核心架构使用了Transformer和FlowFMatching（简称“FM”）。Transformer大家都很熟悉了，ChatGPT、T5 、BERT等很多著名模型都是基于该架构开发的。而FM是MetaAI和魏茨曼科学研究所在2022年10月发布的，一种全新高效建模、训练技术概念。FlowMatching论文地址：https://arxiv.org/abs/2210.02747FlowMatching简单介绍目前，很多文生图模型使用的是CNF（连续正规化流动）训练方法，主要使用常微分方程对流动进行建模，实现从一种已知分布到目标分布的平滑映射。但由于训练过程需要进行大量的微分方程模拟，会导致算力成本高、模型设计复杂、可解释性差等缺点。FM则是放弃微分方程的直接模拟,而是通过回归固定条件概率轨迹来实现无模拟训练。研究人员设计了条件概率分布与向量场的概念,利用边缘分布的结合可以建立总体目标概率轨迹与向量场,从而消除了模拟过程对梯度计算的影响。1）条件概率路径构建：FM需要给出一个目标概率路径,该路径从简单分布演变到逼近数据分布。然后利用条件概率路径构建了目标路径,这样每个样本有一个对应的条件路径。2）变换层：构成FM的基本单元，每个变换层都是可逆的。这意味着从输入到输出的每一步映射都可以精确地反转，从而允许从目标分布反推到原始分布。3）耦合层：将输入分成两部分，对其中一部分应用变换，而变换函数可以是任意的神经网络，其参数由另一部分决定，保证了变换的可逆性。目前，FM技术已在图像生成与超分辨率、图像理解、图像修复与填充、条件图像生成、图像风格迁移与合成、视频处理等领域得到广泛应用。StableDiffusion3案例展示本次的发布页面也是由StableDiffusion3生成的，提示词：史诗般的动漫艺术风格，一位巫师站在夜间的山顶上，向黑暗的天空施放咒语，上面写着由彩色能量生成的“StableDiffusion3”文字教室桌子上有一个红苹果，电影风格，背景的黑板上用粉笔写着“要么做大，要么回家”一名宇航员骑着一只穿着蓬蓬裙的猪，撑着一把粉色的伞，猪旁边的地上有一只戴着高帽的知更鸟，角落里写着"StableDiffusion"的字样。一只变色龙，黑色背景，摄影风格。一辆跑车的夜间照片，侧面写有“SD3”字样，汽车在赛道上高速行驶，巨大的路标上写着“更快”的文字。波浪冲击苏格兰灯塔的鱼眼镜头照片，黑色波浪。...PC版：https://www.cnbeta.com.tw/articles/soft/1420259.htm手机版：https://m.cnbeta.com.tw/view/1420259.htm

小说生成工具Midreal AI，能够生成真正有逻辑和情节的，同时还具有互动能力。用户在关键节点可以选择剧情走向，并且还会生

小说生成工具MidrealAI，能够生成真正有逻辑和情节的小说，同时还具有互动能力。用户在关键节点可以选择剧情走向，并且还会生成一张配图。是为休闲游戏玩家、小说爱好者、电视剧和电影爱好者以及同人小说爱好者打造的终极游乐场。它能够创建任何你能想到的故事情节，继续塑造叙事的发展，并站在任何角色的立场上。MidRealAI由麻省理工学院、纽约大学、剑桥大学和普林斯顿大学的工程师开发。以下是MidReal的两项创新技术：1、内存跨越技术：这项创新允许近乎无限的内存保留，确保无缝的长期游戏体验，不同于市场上的其他产品。2、长篇写作能力：无论你是开始短暂的冒险还是潜入史诗般的传奇，MidReal平台的长篇写作能力都能让你的叙述从头到尾保持连贯性和引人入胜。MidReal提供每天10粒药丸（生成故事所需的积分）的免费计划。支持英文和中文，包括日语在内的更多语言正在开发中。#工具

GPT-4满分通过MIT本科数学考试 这套提示词火了

GPT-4满分通过MIT本科数学考试这套提示词火了要知道，测出这个结果的不是别人，正是来自MIT和波士顿大学、康奈尔大学的研究团队。而且强如上一代王者GPT-3.5，在同样的测试中，只成功搞定了三分之一。论文一出，无数目光迅速被吸引过来。GPT-4这样看似开挂的行为，自然引发了不少网友的感慨。比GPT-3.5强好多，好耶！咱就是说，有没有可能以后不需要比GPT-4更强的模型，来解决学术问题了？还有网友展现了自己网上冲浪的“前沿性”，玩了个这两天YannLeCun吐槽“GPT-4智商不如狗”的梗：GPT-4开挂MIT考试具体来说，GPT-4这次是参与了这样一场测试：研究团队策划了一个数据集，其中包含4550个问题和解决方案。这4550个问题和解决方案，来自MIT数学系和EECS的学生获得本科学位，需要学习的课程问题集、期中考试和期末考试。包括：6-1：电气科学与工程；6-2：电气工程与计算机科学；6-3：计算机科学与工程；6-4：人工智能与决策；18-1：普通数学；18-2：应用数学；18-3：纯数学；18-C：数学与计算机科学。题目统统出自MIT的数据集，从中随机生成228个问题，不涉及图像和已有解决方案的问题。题目的难度等级由易到难依次为：练习、习题、期中考试、期末考试、实验和专题。按答案类型排序，题目的难度由易到难依次为：编程、开放、选择题、数值、表达式和图像。这一次，参与考试的不只有GPT-4和GPT-3.5，还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。选择让这4个大模型作为考试参赛选手，原因是它们是“最先进的大语言模型”。通过表格里的数据可以看到，得分最高的是经过调优后的GPT-4，得分率100%；表现最一般的是LLaMA-30B，只拿下了30%的分数。值得关注的是，原始版本的GPT-4开箱即用，完全不经过调优，在本次MIT考试中也拿到了90%的分数。调优流程，包括Few-Shot+CoT+Self-critique+Experts。从最终考试成绩的表格数据可以看到，从左到右每增加一个环节，调优后的GPT-4得分都会更上一层楼。此外，研究团队还在提示框里进行了工程优化，具体的“咒语”如下：等等，评分人是GPT-4自己？看到这样的结果，不少网友心生感慨，LLM在数学考试上的进步，未免有些神速了哈。2年前，AI还在苦苦挣扎小学数学问题。类似“小明种了5棵柠檬树，每年从每棵树上得到6个柠檬，10年间他总共得到多少柠檬”这种。去年年初，MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示，把数学问题转换成等价的编程问题，就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数，达到MIT本科水平。学了6门MIT本科基础数学课里随机抽取的例题，6门课程每门随机出25道题，再加上一个ACT水平（美国高考）的数据集里的60道题。总计210道题，AI全部答对。不过有人提出，AI达到的“MIT本科水平”，实际是Codex在做语言题而非数学题——因为当时的评测中，Codex负责读写，并不包括求解。所以，这一回GPT-4表现奇佳，怎一个妙字了得~好了，知道你很着急夸它，但你先别着急夸它，因为很快有人发现了一些“诡异”。主要有2大槽点。第一个值得质疑一番的，就是OpenAI的训练数据集没有完全公布。这也就意味着，无法证明数据集中的4550个问题和解决方案，在GPT-4的训练集中不存在。换句话说，如果GPT-4在预训练阶段已经接触到了这次的考题们，那最终拿下完美得分，就没什么好惊喜的了。也难怪乎有网友毫不客气地yygq，认定GPT-4拿到这样的结果，一定是数据集已经包含在训练数据里了。第二个槽点，就是GPT-4最后100%的得分率，似乎哪里不对劲？？？定睛一看，在论文的第2.6节有一句很关键的点：团队在数据集上微调开源大模型，“给定问题Q、基本事实解S和LLM答案A，我们使用GPT-4自动对模型响应进行评分”。实际操作上，就是每个大模型生成这次考试的答案，然后派出GPT-4打分，分值在0-5之间。所以给GPT-4打出满分的，实际上是GPT-4自己。啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。此外，关于要给GPT-4提供“好的提示”，才能让它达到满分成绩，也让许多人抱有微词。到底什么算“好的提示”呢？似乎无法定义。甚至有人喊着，应该把这些题丢给MIT数学和EECS的学生去做，并不断给他们“好的提示”，这样人类学生也能拿下100%的吧……OneMoreThing一个小小的彩蛋：整个测试中，基本上可以在笔记本电脑上部署运行的StableVicuna-13B，也有48%的得分率。这个成绩，不仅比模型更大的LLaMA-65B高出近10个百分点，就连MITfine-tuing过后的LLaMA-30B，还要高。让人不得不陷入一些关于模型规模与能力相关性的思考参考链接：[1]https：//arxiv.org/abs/2306.08997[2]https：//twitter.com/johnjnay/status/1669687958960586753[3]https：//twitter.com/arankomatsuzaki/status/1669528841629601792[4]https：//twitter.com/emollick/status/1669742473097228292...PC版：https://www.cnbeta.com.tw/articles/soft/1365793.htm手机版：https://m.cnbeta.com.tw/view/1365793.htm

ChatGPT王炸升级：更强版GPT-4上线 API定价打骨折 发布现场掌声没停过

ChatGPT王炸升级：更强版GPT-4上线API定价打骨折发布现场掌声没停过接下来，“创业导师GPT”就可以根据奥特曼本人过去的演讲内容，回答创业相关问题。刚刚出炉的新GPT，可以在公司内部共享或对所有人公开。从此，“GPT开发者”像“iOS开发者”一样成为了新的职业，让AI替你赚钱的梦想成真了。与此同时，现有的GPT-4也迎来一大波更新。新版本GPT-4Turbo，支持128k上下文，知识截止更新到2023年4月，视觉能力、DALL·E3，文字转语音TTS等等全都对API开放……API价格还打了3-5折。这边发布会进行着，ChatGPT网页版同步更新，最新知识截止现场就实装了。对这次发布的种种，OpenAI创始成员AndrejKarpathy总结到“在计算中看到了一个新的抽象层”。将会有更多的开发者和更多的GPT。GPT可以读、写、听、说、看、画、思考，使用现有计算作为工具，成为重点领域的专家，参考自定义数据，在数字世界中采取行动，以自定义方式说话或行动，以及共同协作。系好安全带。每个人都能定制GPT这一次的最重磅更新，当属GPTs。它让过去一段时间里大家想象的GPT帮你做一切，成为现实。无需编程，每个人通过对话聊天的方式，即可构建一个专属技能的GPT。而且每个人能同时拥有多个专长GPT，可以是你自己创建的，也能从GPTs商店里拿别人的来用。OpenAI透露GPTs商店将在本月晚一点的时候推出。这意味着你能靠制作专属GPT来赚钱了。具体能干啥？它能成为你的宠物顾问，基于多模态能力解答毛孩子遇到的各种问题。也能充当设计助手，按要求生成海报。还能帮你给朋友发消息，奥特曼现场就收到了一条由ChatGPT代发的信息。而且构建过程并不难，奥特曼在现场亲自演示了一遍。整个过程就是和构建助手GPTBuilder唠嗑，告诉它你想要做什么即可。奥特曼说，想要构建一个创业公司助手，能够给创始人提供各种商业建议，并且不断拷问他们为啥不能发展得更快（现场爆笑）。然后GPTBuilder就输出了一个GPT，它会更进一步询问用户给新生GPT做更多定制信息。比如希望突出哪些方面、规避哪些问题等。同时用户能控制构建的GPT能不能上网、是否具备图像生成、代码生成能力，以及上传知识文档加强专业能力。现场只进行了3轮和GPTBuilder的对话，就构建好了一个StartupMenter。用户可以设置这个GPT是仅自己可用，还是能和他人共享。由此企业可以构建一个仅限内部使用的GPT。本周三企业用户就能使用GPTs了。同时OpenAI强调，他们已经构建了新系统来筛查监管这些自定义GPT，以防出现有害GPT。多模态API来了既然是开发者日，API的更新也是重头戏，总共分为两大项：现有GPT-4API升级为GPT-4Turbo全新的AssistantAPI，包括检索、代码解释器等功能。GPT-4Turbo版本主打一个非常6+1，6项能力增强+大降价。上下文窗口提高到128k，相当于一次能输入300页的书籍更多控制：保证输出格式的JSON模式新增seed（随机种子值）参数，实现可重复的输出未来几周内还将追加logprobs参数，查看模型最有可能的输出概率分布知识截止到2023年4月多模态视觉、DALL·E3和语音合成API一起开放开放GPT-4微调双倍GPT-4调用速率限制当然GPT3.5Turbo也更新到1106的新版本，在内部评估中，格式遵循任务（例如生成JSON、XML和YAML）提高了38%。接下来还有一个重头戏，AssistantsAPI，也是让开发者在自己的应用程序中构建类似Agent体验的第一步。AssistantAPI拥有持久且无限长的线程，允许开发人员将线程状态管理移交给OpenAI并解决上下文窗口约束。支持检索功能，利用模型之外的知识来增强，例如专有领域数据、产品信息或用户提供的文档。支持代码解释器功能，与ChatGPTPlus中的一样，可以在沙盒执行环境中编写和运行Python代码，可以生成图形和图表，并处理具有多种数据和格式的文件。函数调用功能也迎来更新，现在可以一次性调用多个函数，并把响应合并到消息输出中。发布会现场演示了构建Assistant的过程，只需要自然语言描述指令，以及勾选启用的工具。接下来就能在应用程序中调用，在得到10个巴黎旅游景点的同时更新地图标记。在检索和函数调用演示中，让AI给每个线下参加活动的观众账号发了500美元的使用额度，狠狠羡慕了。对于没有线下参会的更多开发者，OpenAI也准备了API降价大礼包。GPT-4Turbo的输入降价到原来的1/3，为1美分每千token。输出降价到原来的1/2，为3美分每千token。同时不再设置上下文长度区分，统一128k，与原来的gpt-4-32k版本相比更为划算。AssistantsAPI这边，代码解释器按会话次数收费，每次三美分。检索则根据容量和天数收费。并且在11月17日之前，还有10天的免费试用。OneMoreThing针对近期OpenAI与微软不合，在销售上产生摩擦的传闻，OpenAI这次拉来了微软CEO纳德拉站台表态。纳德拉表示，两家公司有着科技圈里最好的关系:我们负责做最好的基础设施，你们负责做最好的模型。与此同时，刚刚连发了两大大模型产品的马斯克，在联机打暗黑四。...PC版：https://www.cnbeta.com.tw/articles/soft/1394979.htm手机版：https://m.cnbeta.com.tw/view/1394979.htm