#搜索引擎

#搜索引擎 基于 Google 的搜索引擎，特点是屏蔽了内容农场，如 CSDN、华为云、百度云智能、腾讯云开发者等，无广告，无跟踪，另外针对开发社区和 V2EX、Reddit 进行了快捷搜索，感兴趣的可以试试。 频道 @WidgetChannel

消息称OpenAI计划下周一宣布人工智能搜索引擎

消息称OpenAI计划下周一宣布人工智能搜索引擎 访问：Saily - 使用eSIM实现手机全球数据漫游 安全可靠 源自NordVPN 上述5月9日的时间表爆料后几天，就另有报道称，OpenAI考虑推迟本周的产品发布活动。业内人士指出，OpenAI原定的5月9日发布时间表挺有意思的，因为5月14日Google将举行一年一度的“Google I/O”大会，OpenAI不希望Google的技术大会抢了该产品的风头。最新爆料的5月13日就在Google重磅大会的前一天。华尔街见闻网站此前文章介绍过，有幸运儿已经拿到了ChatGPT搜索的内测资格，总体评价不错，但仍有瑕疵。OpenAI的AI搜索长这样：当询问ChatGPT Search关于苹果发布会的内容时，它能给出较快且精准的答案。可当询问比特币价格这类实时性的信息时，它的表现就没那么给力了，给出的价格是62204美元，而当时比特币实时价格是63500美元左右。ChatGPT搜索引擎不仅能准确地找到对应帖文，还能答出内容主题、发文用户、评论量等信息。网友对OpenAI的AI搜索评价是，对于它不知道的信息，会去联网，但对于非常实时的信息，依然不能很好地处理。截至发稿，“”这个网址显示Not Found，此前网友反馈是，它是存在的，虽然现在访问会报错，但也预示着OpenAI早晚会正式推出搜索功能。作为AI的领头者，OpenAI依然面临巨大的压力。分析称，要想在AI聊天机器人领域保持领先，AI搜索是绕不过去的，现在包括Google及AI搜索初创公司Perplexity等竞争对手也在快马加鞭赶工。Perplexity已经凭借精准的AI搜索和引用功能获得了10亿美元的估值。Google也在全面AI化它的搜索引擎业务，并计划在下周的开发者大会上公布Gemini AI模型的最新计划。 ... PC版： 手机版：

小红书禁止所有搜索引擎抓取其内容 只能通过站内手动

小红书禁止所有搜索引擎抓取其内容 只能通过站内手动搜索 目前并不清楚小红书为什么禁止搜索引擎抓取内容，从 SEO 角度来说，允许搜索引擎抓取有助于给小红书带来更多流量，毕竟现在百度都索引了 7 亿多个网页。而且小红书是去年 4 月修改的，所以估计也不是因为防止被抓取内容训练 AI 吧？但小红书目前的内容库拿去训练 AI 确实很有价值，毕竟巨量文字和图片内容。不过 robots.txt 文件只是君子协定，属于防君子不妨小人的那种，除了会导致用户无法从搜索引擎直接查询小红书内容外，其实帮助也不大，毕竟其他非搜索引擎的爬虫也会继续抓取内容，小红书肯定也做了反爬措施了。现在国内的网站禁止搜索引擎抓取已经是个很常见的事情，或者专门预留一些层级目录供搜索引擎抓取想要获得一些流量，更有甚者甚至别说搜索引擎了，就连正常的用户访问也会被拦截，必须注册账号登录后才能继续访问，这显然不是一个好事情。附小红书 2023 年 4 月 2 日的 robots.txt 信息：下面是小红书最新的 robots.txt 信息： ... PC版： 手机版：

反垄断案庭审结束 Google有多大可能被强制拆分？

反垄断案庭审结束 Google有多大可能被强制拆分？ 根据诉讼文件，Google的垄断行为包括：通过与手机制造商和浏览器公司签订排他性合约，确保其搜索引擎成为默认设置，进而巩固其市场主导地位。Google辩称这些合约是“合法竞争”。这次诉讼值得关注的地方在于，如果Google在此案中败诉，美国政府和州政府并不会像以往那样“轻罚”几十亿美元了事。如果Google败诉，美国政府将有可能出台禁令，限制Google继续其反竞争行为。在这次诉讼中，美国政府甚至提出拆分Google，作为限制其垄断的解决方案。2023年10月Google首席执行官Sundar Pichai前往美国司法部接受反垄断调查曾阻止过美国最大食品分销商Sysco收购案的美国联邦法官Amit P. Mehta，将在2024年底前对此案作出裁决。Google在搜索和广告市场中绝对第一的位置显然很难在短期内被撼动。从目前来看，Google要想证明自己的“清白”，最好的方法似乎是在市场上找到一位有希望“打败”自己的竞争者。Google有多强？美国政府对Google的指控并非空穴来风，在搜索和广告业务方面，Google早已掌握了市场的定价权。2017年，Google曾进行过为期数周的实验，研究将广告价格提高5％-15％，会对广告收入造成怎样的影响，结果是收入仍在持续增加。“Google能够决定他们将获得的利润是多少。这就是为什么他们正在进行实验来询问，‘如果我们将其提高 15%，我们的收入会损失多少？’”负责审理Google垄断案的法官Mehta认为，“这是只有垄断者才能做的事情” 。美国联邦法官Amit P. Mehta直到2023年，ChatGPT发布后，很多互联网业内人士认为终于有人能挑战Google了。然而Google在生成式AI技术，以及AI与搜索、广告业务的结合方面，仍然在市场中占据领先地位。2024年Q1Google财报发布后，Google市值一路突破2万亿美元。从财报数据来看，Google一季度总营收805.4亿美元，同比增长超15%，净利润同比增长57%，超出了华尔街分析机构预期，并连续4季度实现加速增长。虽然，搜索和广告仍然是Google收入的主要组成部分，但Google的搜索引擎SGE通过集成生成式AI，增强了搜索结果的相关性和个性化，推动了广告业务的转化率。新推出的Performance Max广告工具，利用AI技术自动生成广告内容，帮助广告主提升了30%的转化率。自从转型AI以来，Google一直在用“高市占率、低增长率”的广告现金牛业务养育“低市占率、高增长率”的云业务和AI业务。只不过对于当时的Google来说，AI何时能够“兑现”是一个未知数。Google在搜索和广告市场上几乎形成垄断，在AI技术初现竞争者之时，Google又通过重组团队和增加资本支出，强化其AI技术和基础设施，维持了市场的领先地位。微软Bing难成气候？随着ChatGPT受到广泛认可，微软Bing搜索开始借助GPT-4打造生成式搜索体验，意在抢占搜索和广告市场的高地，挑战搜索Google的垄断地位。然而Bing接入GPT-4后，一年时间里微软在搜索领域的表现并不理想。微软的广告和搜索收入在2024年第一季度实现了3.4%的增长，达到30亿美元。据流量统计工具Similarweb的报告，Bing在添加AI功能后，页面访问量增长了15.8%，而Google的访问量则略有下降。虽然用户对Bing的兴趣有所增加。但其市场份额的表现却不尽如人意。流量监测机构StatCounter的数据显示，2024年4月，Bing在台式电脑和桌面搜索市场的份额仅为7.14%，较2023年10月的9.92%高峰时期有所下降。相比之下，Google在这一领域的市场份额从去年同期的83.71%增长到了86.71%。此外，考虑到手机和平板电脑等移动设备，Bing的市场表现更不理想，整体市场份额降至2.79%。与此同时，Google则以92.63%的市场份额继续保持其领先地位。尽管Bing的日活跃用户数量超过1亿，被认为是Google的有力竞争者，但其市场份额的下降仍使业界普遍认为，许多用户将ChatGPT版Bing视作一个有趣的新玩具，用来与AI互动，但当他们面临实际搜索需求时，依旧倾向于使用Google的传统搜索模式。而最近，Google也开始将生成式AI技术融入其搜索引擎，这使得Bing在与Google的竞争中面临更大的挑战。此外，Bing还需面对用户忠诚度、品牌与质量认知的挑战，并与Duck Duck Go、Yandex等新兴搜索引擎竞争。OpenAI持续发力搜索美国司法部对Google庭审结束不久，OpenAI被爆出将于近期推出AI搜索引擎。路透社消息称，根据最新的SSL证书日志，OpenAI在5月3日创建了一个名为search.chatgpt.com的子域名，暗示其即将推出一款全新的搜索引擎，直接挑战Google。虽然这个子域名目前尚未开放访问，但OpenAI在其官网主页更新显示的搜索框以及标题“向ChatGPT问任何事情”加深了这一推测。此消息预计将在5月9日上午10点（北京时间10日凌晨2点）正式公布。这个动作被视为是在Google5月14日的年度“Google I/O”大会前的“先发制人”。在2024年2月14日，科技新闻网站the Information曾报道，OpenAI正在与微软的Bing合作开发一款支持ChatGPT的网络搜索引擎。在不久前，OpenAI推出免注册使用ChatGPT时，也曾有分析人士认为，这是为了拉低ChatGPT的使用门槛，从而吸引部分搜索用户尝试用ChatGPT完成搜索，挑战Google搜索。Google的搜索引擎虽然在技术积累和市场占有率上保持领先，但用户体验方面的诸多问题，如广告过多、死链和过时链接频出、以及关键字匹配的局限性，一直是用户抱怨的焦点。虽然，Google的个性化搜索为用户提供了定制化服务，但很多业内人士认为，这种搜索工具存在“过滤泡沫”问题，限制了信息的多样性。OpenAI进军搜索引擎领域的可行性得到了市场的认可。例如，新兴的纯大模型搜索引擎Perplexity AI，最近就获得了6270万美元投资，估值达到10.4亿美元。Perplexity AI不仅提供文本搜索，还能进行图片、视频搜索和图片生成，功能上也与Bing相仿。Perplexity AI国内公司昆仑万维的AI搜索工具“天工AI”一家独大后的搜索阴影在搜索引擎垄断问题上，讨论最多，也是最受诟病的就是竞价排名机制，中国消费者对此并不陌生。百度的搜索业务自2010年以来一直备受关注。2021年8月15日，中央电视台多档节目连续三天对百度提出质疑，指责其推广模式助长了诈骗活动，伤害消费者利益。百度作为互联网搜索行业的领导者，其收费推广虚假网站的做法受到了广泛的公众谴责和法律责任的质疑。回溯到2008年11月，央视的《新闻30分》节目连续两天报道了百度的竞价排名问题，指出百度在医药广告方面提供虚假信息，损害了患者的利益，并存在屏蔽未支付费用企业的恶劣行为。这导致百度面临了严重的品牌危机，并且股价一度大跌。百度随后发布了道歉声明，并宣布改进排名系统，但市场对其改进的看法却是褒贬不一。到了2010年，央视的多个新闻节目再次报道百度搜索中存在假药网站。节目中提到，百度通过竞价排名帮助假药网站获得更高的搜索排名，从而获取巨额利润。这种行为再次引起了广泛的关注和批评。除了央视的曝光，百度还面临来自同业的批判。刘强东曾在微博上批评百度将关键词“京东”卖给竞争对手。当当网的李国庆则公开抗议百度操控搜索结果，并宣布停止在百度上投放广告。在巨大的公共危机之后，百度进行了一系列改革，例如将竞价排名更新到了凤巢系统，目前百度仍在国内搜索行业中仍长期保持着难以撼动的主导地位。在竞价排名的阴影下，不论是消费者还是政府，对一家独大的搜索公司都很难怀抱好感。 ... PC版： 手机版：

我感觉在new bing上用中文搜索，经常会出来知乎帖的总结，质量相对而言没有那么好。

我感觉在new bing上用中文搜索，经常会出来知乎帖的总结，质量相对而言没有那么好。 包括用ChatGPT上的webpilot搜，如果单纯搜中文，答案都不是那么理想。 不过，想想简体中文互联网上都是些什么信息，想想用百度搜出来的前N条都是些什么广告，似乎也说得通了。 1、 所以，在不知道该领域最专业网站的情况下，我自己一般会让webpilot插件用英文帮我在google上搜。 担心自己看英语没那么快，我就让它用中文帮我总结；担心它胡说八道，我就请它把出处的链接也放上来，然后亲自点进去检查。 如果知道该领域最专业的网站是什么，我就直接让它去那个网站里去搜，比如某些产品肯定是先去官网上搜细节。 2、 以上这套流程，真的帮我解决了很多工作中的阻塞感。 当工作/探索进入到全新的领域、我不得不进行大量的搜索。 用中文在百度上搜，不如用中文在google上搜；用中文在google上搜，又不如用英文在google上搜。 但怎么快速地把想搜的内容翻译成英文，又如何快速地从一堆英文网页中找到想要的信息，对于英文没那么好的人来讲，其实也是挑战。 如今通过AI来翻译和总结，我只用一句中文提示词“请在google上用英文帮我搜xxx，然后用英文总结出来，最后把出处的链接也放上来”，就把刚刚的这一系列琐事给解决了。（如图） 3、 当然，之前也遇到过给的出处链接点进去查无此链接的情况，这个时候我在去google上搜对应链接的标题，一般也可以搜到。 此外，进入网页后也会有不完全能读懂的情况。 我一般第一步是用“沉浸式翻译”插件，把网页变成中英文对照，相对就能看懂很多了。因为有对照，翻译得不好的地方，我也可以比较快识别，典型的有把LLM翻译成法律硕士的。（更多翻译插件和软件的内容，强烈推荐@DemoChen 老师的这篇文章 定位到我问题相关的段落后，我会把该段落复制粘贴出来，然后带上网址一块儿，让webpilot插件给我翻译。这一版的翻译，就会信达雅很多了。 如果这一版翻译我还是看不懂，那就请ChatGPT-4用15岁学生能懂的方式给我解释。如果还是看不懂，继续让它以9岁学生能懂的方式解释。#AI工作流

Google工程师2018年内部信曝光 5年前就有人拉响AI警报了

Google工程师2018年内部信曝光 5年前就有人拉响AI警报了 乍看起来，这一切都发生地非常突然，Google应对起来也很被动。但其实，早在 2018 年，Google内部就已经有工程师拉响了警报，指出 AI 正在对Google的业务带来风险，尤其是网页搜索。众所周知，Google借助用户交互数据对搜索结果进行排名。通过观察用户与搜索结果页面的交互方式（点击结果、后退、点击其他内容），Google能够知道哪些页面与特定查询最相关。多年来，这帮助Google保持了搜索相关性的领先地位，因为它比其他任何搜索引擎都拥有更多的用户交互数据。但在 2018 年底，Google的工程师们突然意识到一个惊人的问题：复杂的语言模型最终将能够仅通过网页文本理解网页，而无需任何用户反馈。而这可能会危及Google在搜索领域长达 20 年的优势，这种威胁甚至可能来自一家小型初创公司。Google资深软件工程师 Eric Lehman 就是早早意识到这一问题的工程师之一。为了表达自己的这份担忧，他还专门写了一份邮件：我想写写我在假期期间思考的一个问题：在不远的将来，深度机器学习系统将明显优于Google 20 年来积累的网页搜索相关性算法。此处我所讨论的仅限于“相关性” 即判断一个文档与一个查询讨论的是否为同一主题。网页排名还涉及许多其他方面，在这些方面，机器学习似乎不那么适用。但我认为，基本的相关性是网页排名的核心任务，足够“客观”，可以很有效地使用 ML。没有人能预见未来，但我敢打赌，这几乎肯定会在 5 年内成为现实，甚至可能在 6 个月内成为现实。类似于网页排名的问题一个接一个被解决，几乎没有理由认为网页排名会是个例外。实际上，这个问题思考的出发点是源于 AI 最近在网络问答方面取得的进展，深度 ML（具体来说是 BERT）突然取代了之前几乎所有的工作。对于网页问答团队来说，过去几周深度 ML 带来的巨变是完全出乎意料的。有了这次预警，我们不应再被意外打败；相反，我们应该从现在开始考虑其后果。而且，“现在”正是时候，因为我预计在新的一年里，很多网页排名工程师将会反思 BERT，并开始沿着这些相同的线路思考。一个需要考虑的事实是，这样的深度 ML 系统可能会在Google之外的地方被开发出来 比如在微软、百度、Yandex、亚马逊、苹果…… 甚至是一个创业公司。在我的印象中，翻译团队已经有过这种经历。深度 ML 彻底改变了翻译领域；过去的优势被一扫而空。幸运的是，Google在深度 ML 上的巨大投资得到了回报，我们在这个新领域表现出色。然而，我们的新 ML 翻译器在基准测试中仍然被一家小型创业公司超越。我们可以从 BERT 中得出一个惊人的结论：大量的用户反馈在很大程度上可以被原始文本的无监督学习所取代。这可能会对Google产生重大影响，导致Google在相关性方面输给其他公司。网络搜索中的相关性可能不会很快被深度 ML 所颠覆，因为我们依赖的记忆系统远大于任何当前的 ML 模型，并且包含了大量关于语言和世界的重要知识。此外还有许多性能挑战和特殊考虑等。尽管如此，我认为我们当前方法的优势最终会消失；ML 正在迅速进步，而传统技术则不然。我不知道其他人怎么看。个人而言，我倾向于认为这个未来几乎是不可避免的，但我还没有深入思考其后果。我们可能需要思考的一些问题包括：我们能不能现在就采取措施，确保自己引领这一变革，而不是成为变革的牺牲品？就我个人而言，我不想在未来几年，人们回顾时认为，“那些坚守传统网页排名方法的人被新潮流碾压，而他们却毫无预警……”我们能否制定一个 2019 年的合作目标，结合研究力量，利用深度模型击败我们现有的最佳预测呢？我们如何在不打击士气的情况下与从事网页排名工作的人讨论这个可能的未来？我听说翻译团队几年前就决定“all in”大规模 ML，现在回想起来，这似乎是明智之举。今天，我对围绕相关性采取如此极端的措施持怀疑态度，因为从现在到深度 ML 方法真正占据主导地位的这段时间里，我们可能会牺牲传统方法所取得的重大成果 我认为这至少还需要几年的时间。然而，听到 BERT 的警示而不调整我们的计划似乎也是不明智的。在Google内部，Eric Lehman 可能不是唯一发现并指出这一问题的人。在此之后，Google也确实采取了一些做法来更新自己的搜索系统。比如，在 2019 年 10 月，Google正式宣布，他们的搜索引擎用上了 BERT，能够改善 10% 的搜索结果。一年后，Google又宣布，几乎所有的英文搜索都用上 BERT 了。不过，在之后的两三年里，Google并没有采取更激进的措施，比如直接做一个基于大型语言模型的搜索系统，直接给用户答案。这就给很多创业公司提供了机会，比如 AI 驱动的搜索引擎 perplexity。这家公司的 CEO 表示，在推出 perplexity 的最初几周，一位Google老员工就对他说过，“不用太担心吸引大量用户来与Google竞争。你生活在一个可以从原始网络文本中进行无监督学习的时代。你并不需要那么多点击流数据就能构建出好的索引和排名系统，这就是你的机会。”那么，Google为什么没有再接再厉，及早推出基于大型语言模型的搜索系统呢？有人分析出了Google当时的几个顾虑：会对依赖蓝色链接（即传统搜索结果链接）流量的生态系统造成太大伤害：Google搜索的一个主要功能是将用户引导到其他网站，而采用 LLM 答案系统可能会直接提供答案而非链接，这样会减少引导到外部网站的流量，对依赖这种流量的网站造成影响。即使Google决定因为竞争对手的压力而接受这种变化，监管机构可能也不会同意。从监管的角度看，直接提供答案而减少对其他网站链接的引用可能会引起关于市场垄断和竞争公平性的担忧。即使在美国，监管机构可能不采取行动，这种威胁本身也是令人瘫痪的：这意味着，即便没有实际的监管干预，仅仅是存在这种可能性和随之而来的法律和公众压力，就足以使Google在采取这种策略方面犹豫不决。在 ChatGPT 走红之初，Meta 首席人工智能科学家 Yann LeCun 也表达过类似想法，表示大公司确实更难以推动这种大的革新，因为他们面临的公众、监管压力要更大。后面的故事走向大家都很熟悉了：除了像 perplexity 这样的搜索新秀，Google还要应对来自微软的威胁，后者通过与 OpenAI 合作，将自己的搜索引擎彻底重构，打造了新必应。不过，在过去的一年里，微软的新搜索业务并没有对Google形成真正的威胁。根据美国网站流量统计服务商 Statcounter 公布的统计数据，2023 年 2 月 Bing 在全球市场的份额是 3.03%，在一年时间过去后，其市场份额仅仅只是达到了 3.4%。这可能和新必应使用体验不佳、提示工程门槛较高等因素有关。与此同时，基于最新的 Gemini Ultra 模型，Google对于搜索引擎的重构步伐也在加快。看起来，虽然行动慢了一些，Google搜索的地位暂时还无人可以撼动。 ... PC版： 手机版：