Google Gemini模型已上线Poe

Google Gemini模型已上线Poe Google Gemini模型现已上线Poe，支持上传图片，官方介绍：这是谷歌Gemini家族的多模态模型的Beta版本，该模型在模型性能和速度之间实现了平衡。该模型展现了优秀的通用能力，尤其擅长跨模态推理，并支持最大32k个tokens的上下文窗口。 via 匿名 标签: #Google #Gemini #Poe 频道: @GodlyNews1 投稿: @GodlyNewsBot

Google宣布推出Gemini API，为开发者和企业提供了全新的人工智能产品。这一API将使开发者能够构建基于Gemini

Google宣布推出Gemini API，为开发者和企业提供了全新的人工智能产品。这一API将使开发者能够构建基于Gemini Pro的应用程序和解决方案，进一步推动人工智能的发展和应用。 Gemini是Google迄今为止最大、能力最强大的人工智能模型，也是Google在使人工智能更加便捷实用的道路上迈出的重要一步。Gemini分为三个版本：Ultra、Pro和Nano。目前，Gemini已经在Google的产品中得到应用，其中Gemini Nano已经在Android系统上推出，并首次应用于Pixel 8 Pro手机，而Gemini Pro则针对Bard进行了专门的优化。 现在，开发者和企业可以通过Gemini API获得Gemini Pro的使用权限，以便根据自身需求构建应用程序和解决方案。Google将根据用户的反馈进一步优化和改进Gemini Pro，以确保其能够满足各类需求。 - Gemini Pro在研究基准测试中表现优异，超过了其他同等规模模型的性能。 - 当前版本的Gemini Pro针对文本提供了32K的上下文窗口，未来版本将支持更大的上下文窗口。 - 开发者可以免费使用Gemini Pro，但有一定的使用限制，并且将来会提供具有竞争力的定价方案。 - Gemini Pro具备多种功能，包括函数调用、嵌入、语义检索、自定义知识基础和聊天功能。 - Gemini Pro支持全球180多个国家和地区的38种语言。 Gemini Pro目前支持将文本作为输入并生成文本作为输出。此外，Google还提供了专门针对Gemini Pro Vision多模态的端点，支持文本和图像作为输入，生成文本作为输出。 为了帮助开发者构建应用程序，Gemini Pro提供了多种SDK，支持在任何地方运行的应用程序开发，包括Python、Android（Kotlin）、Node.js、Swift和JavaScript。 除了Gemini API，Google还推出了Google AI Studio开发者工具，该工具是一个免费的基于Web的开发者工具，能够帮助开发者快速构建提示并获取API密钥用于应用程序开发。开发者可以使用Google帐号登录Google AI Studio，并利用免费配额进行开发，该配额允许每分钟发起60个请求，比其他免费提供的配额高出20倍。 via 匿名 标签: #Google #AI #Gemini 频道: @GodlyNews1 投稿: @GodlyNewsBot

Gemini Pro + 自定义 prompt = 更沉浸的沉浸式翻译。

Gemini Pro + 自定义 prompt = 更沉浸的沉浸式翻译。 浏览器自带的全文翻译效果，读起来像吃了苍蝇一样。除了机翻感和没有原文对照之外，主要原因还在于很多词汇的翻译不准确，或者说在当前的上下文里不准确，导致读起来有些莫名其妙。 沉浸式翻译插件把网页翻译的阅读体验推到了一个新的高度。根据当前网页结构，巧妙地在原文段落后面显示翻译结果。这样在读的时候，就有原文可以对照了。很沉浸。 昨天在用的时候，发现已经支持 Gemini 作为翻译引擎了。看了一下，还支持自定义翻译 prompt, 我想这正好可以用来解决有些词汇翻译不准确的问题。 于是，顺手申请了一个 Gemini 的 Key, 然后咔咔写了一段 prompt. 图一可以看到，默认用 Google Translate 翻译的话，LLM 经常会被翻译为法学硕士。图二是使用 Gemini + 自定义 prompt 之后的效果。 Prompt 也很简单，主要就是根据自己经常读的文章类型，做一个词汇翻译对照表，让 Gemini 按照这个对照表翻译。 参考 prompt (可能需要替换成你自己的词汇表)： 沉浸式翻译浏览器插件： Gemini API Key 申请步骤（免费）： 参考图三、图四，分别在插件设置页面里填写 Gemini Key 和 prompt 即可。

，一款免费的#Markdown 笔记 #软件 ，提供了记事卡、任务清单管理、多笔记嵌套、可视化图表、PDF 导出、API 集成等

，一款免费的#Markdown 笔记 #软件 ，提供了记事卡、任务清单管理、多笔记嵌套、可视化图表、PDF 导出、API 集成等功能 该软件支持 Windows、Linux、macOS 等主流桌面平台，桌面端全部功能均可免费使用，并面向开发者提供一定量的 API 调用次数 #笔记工具

谷歌宣布其Credential Manager Jetpack库现已进入Beta测试阶段，并提供了最终版本的API接口。

谷歌宣布其Credential Manager Jetpack库现已进入Beta测试阶段，并提供了最终版本的API接口。 Credential Manager是一个库，将传统的登录方式（如密码和联合登录）与新的无密码登录方式（passkeys）的接口统一起来。用户可以在一个地方看到所有的登录方式，无需在三个不同的位置切换。 Credential Manager还通过去重和自动提供最安全的登录方式，使选择合适的登录方法更加容易（例如，在密码和passkey之间，将展示passkey作为更安全的方法）。 Credential Manager支持Android 4.4+上的密码和联合登录，并支持Android 9+上的passkeys。在Android 13及以下版本中，Credential Manager由Google 密码管理器支持，后者是Play服务的一部分。 在Android 14上，Credential Manager是系统应用的一部分，并且能够支持多个（包括第三方）密码管理器。实现Credential Manager的第三方密码管理器可以在Android 14中保存和检索passkeys。 在Google I/O大会上，谷歌透露多个第三方密码管理器开发者，包括1Password、Dashlane、Keeper和Okta，都将支持Credential Manager。

Google的Med-Gemini医疗人工智能模型被证明表现不输人类医生

Google的Med-Gemini医疗人工智能模型被证明表现不输人类医生 医生每天要治疗众多病人，他们的需求从简单到非常复杂。为了提供有效的医疗服务，他们必须熟悉每位患者的健康记录，了解最新的治疗程序和治疗方法。此外，建立在同理心、信任和沟通基础上的医患关系也至关重要。要想让人工智能接近真实世界中的医生，它必须能够做到所有这些。Google的Gemini模型是新一代多模态人工智能模型，这意味着它们可以处理来自不同模态的信息，包括文本、图像、视频和音频。这些模型擅长语言和对话，理解它们所训练的各种信息，以及所谓的"长语境推理"，即从大量数据（如数小时的视频或数十小时的音频）中进行推理。Gemini医学模型具有Gemini基础模型的所有优点，但对其进行了微调。研究人员测试了这些以药物为重点的调整，并将结果写入了论文中。这篇论文长达 58 页，内容丰富，我们选取了其中最令人印象深刻的部分。自我培训和网络搜索功能要做出诊断并制定治疗方案，医生需要将自己的医学知识与大量其他相关信息结合起来：病人的症状、病史、手术史和社会史、化验结果和其他检查结果，以及病人对先前治疗的反应。治疗方法是"流动的盛宴"，现有的治疗方法会不断更新，新的治疗方法也会不断推出。所有这些都会影响医生的临床推理。因此，Google在 Med-Gemini 中加入了网络搜索功能，以实现更高级的临床推理。与许多以医学为重点的大型语言模型（LLM）一样，Med-Gemini 也是在 MedQA 上进行训练的，MedQA 是美国医学执照考试（USMLE）的多选题，旨在测试不同场景下的医学知识和推理能力。Med-Gemini 如何使用自我培训和网络搜索工具不过，Google也为他们的模型开发了两个新的数据集。第一个是 MedQA-R（推理），它通过合成生成的推理解释（称为"思维链"，CoTs）对 MedQA 进行了扩展。第二种是 MedQA-RS（推理和搜索），它为模型提供使用网络搜索结果作为额外上下文的指令，以提高答案的准确性。如果一个医学问题的答案不确定，就会提示模型进行网络搜索，以获取更多信息来解决不确定问题。Med-Gemini 在 14 个医学基准上进行了测试，并在 10 个基准上建立了新的最先进（SoTA）性能，在可以进行比较的每个基准上都超过了 GPT-4 模型系列。在 MedQA（USMLE）基准测试中，Med-Gemini 利用其不确定性指导搜索策略达到了 91.1% 的准确率，比Google之前的医学 LLMMed-PaLM 2 高出 4.5%。在包括《新英格兰医学杂志》（NEJM）图像挑战（具有挑战性的临床病例图像，从 10 个病例中做出诊断）在内的 7 项多模态基准测试中，Med-Gemini 的表现优于 GPT-4，平均相对优势为 44.5%。研究人员说："虽然结果......很有希望，但还需要进一步开展大量研究。例如，我们还没有考虑将搜索结果限制在更具权威性的医学来源上，也没有考虑使用多模态搜索检索或对搜索结果的准确性和相关性以及引文的质量进行分析。此外，是否还能教会较小规模的法律硕士使用网络搜索还有待观察。我们将这些探索留待今后的工作中进行。"从冗长的电子病历中检索特定信息电子病历（EHR）可能很长，但医生需要了解其中包含的内容。更复杂的是，它们通常包含相似的文本（"糖尿病"与"糖尿病肾病"）、拼写错误、缩略词（"Rx"与"prescription"）和同义词（"脑血管意外"与"中风"），这些都会给人工智能带来挑战。为了测试Med-Gemini理解和推理长语境医疗信息的能力，研究人员使用一个大型公开数据库重症监护医疗信息市场（MIMIC-III）执行了一项所谓的"大海捞针任务"，该数据库包含重症监护患者的去标识化健康数据。该模型的目标是在电子病历（"大海"）中的大量临床记录中检索到与罕见而微妙的医疗状况、症状或程序（"针"）相关的内容。共收集了 200 个案例，每个案例都由 44 名病史较长的重症监护室患者的去标识化电子病历记录组成。他们必须具备以下条件：100 多份医学笔记，每个例子的长度从 20 万字到 70 万字不等在每个例子中，条件只被提及一次每个样本都有一个感兴趣的条件这项大海捞针的任务分为两个步骤。首先，Med-Gemini 必须从大量记录中检索所有与指定医疗问题相关的内容。其次，该模型必须评估所有提及内容的相关性，对其进行分类，并得出结论：患者是否有该问题的病史，同时为其决定提供清晰的推理。Med-Gemini 的长语境能力示例与 SoTA 方法相比，Med-Gemini 在"大海捞针"任务中表现出色。它的精确度为 0.77，而 SoTA 方法为 0.85，召回率也超过了 SoTA 方法：0.76 对 0.73。研究人员说："也许 Med-Gemini 最引人注目的方面是长语境处理能力，因为它们为医疗人工智能系统开辟了新的性能前沿和新颖的、以前不可行的应用可能性。这项'大海捞针'式的检索任务反映了临床医生在现实世界中面临的挑战，Med-Gemini-M 1.5 的性能表明，它有潜力通过从海量患者数据中高效提取和分析信息，显著降低认知负荷，增强临床医生的能力。"有关这些关键研究点的浅显易懂的讨论，以及Google和微软之间争论的最新情况，请观看《AI Explained》从 13:38 开始的视频。新的 OpenAI 模型即将诞生，人工智能的赌注又提高了（还有 Med Gemini、GPT 2 聊天机器人和 Scale AI）与 Med-Gemini 对话在一次实际应用测试中，Med-Gemini 收到了一位患者用户关于皮肤肿块瘙痒的询问。在要求提供图像后，模型提出了适当的后续问题，并正确诊断出了这种罕见的病变，同时建议用户下一步该怎么做。Med-Gemini 诊断对话在皮肤科的应用实例Med-Gemini 还被要求在医生等待放射科医生的正式报告期间，为其解读胸部 X 光片，并编写一份通俗易懂的英文版报告提供给病人。Med-Gemini 的放射诊断对话辅助系统研究人员说："Med-Gemini-M 1.5 的多模态对话功能很有前景，因为它们无需进行任何特定的医疗对话微调即可实现。这些功能可以实现人、临床医生和人工智能系统之间无缝、自然的互动。"不过，研究人员认为还需要进一步的工作。他们说："这种能力在帮助临床医生和患者等现实世界应用方面具有巨大潜力，但当然也会带来非常大的风险。在强调这一领域未来研究潜力的同时，我们并没有在这项工作中对临床对话的能力进行严格的基准测试，正如其他人之前在对话诊断人工智能的专门研究中所探索的那样。"未来愿景研究人员承认，要做的工作还有很多，但 Med-Gemini 模型的初步能力无疑是很有希望的。重要的是，他们计划在整个模型开发过程中纳入负责任的人工智能原则，包括隐私和公平。隐私方面的考虑尤其需要植根于现有的医疗保健政策和法规，以管理和保护患者信息。公平性是另一个可能需要关注的领域，因为医疗保健领域的人工智能系统有可能无意中反映或放大历史偏见和不公平，从而可能导致边缘化群体的不同模型性能和有害结果。但归根结底，Med-Gemini 被视为一种造福人类的工具。大型多模态语言模型为健康和医学带来了一个全新的时代。Gemini"和"医学Gemini"所展示的能力表明，在加速生物医学发现、协助医疗保健服务和体验的深度和广度方面，都有了重大飞跃。然而，在提高模型能力的同时，必须对这些系统的可靠性和安全性给予细致的关注。通过优先考虑这两个方面，我们可以负责任地展望未来，让人工智能系统的能力成为科学进步和医疗保健有意义且安全的加速器。该研究可通过预印本网站arXiv 获取。 ... PC版： 手机版：