360智脑首发上手实测，到底是个啥水平？
360智脑首发上手实测，到底是个啥水平？他们还给自家的这个产品取了一个看上去相当直白的名字——360智脑。而且和NewBing一样，360智脑主打的就是生成式语言模型+联网搜索。到如今，大半个月过去了，这个智脑也是终于开始了内测，我们又双叒拿到了首批内测资格。说实话，最近这段时间，国内陆陆续续也发了不少大模型，但落实新搜索应用的还真的一个都没有。只是有点没想到的是，第一个推出类NewBing产品的，竟然是360。在当初周总的亲自演示中，这个智脑还存在不少错误的，比如这个梅西为国家队踢进了多少个球，重新生成了很多次，就是没有办法答对，甚至旁边的搜索栏都给出答案了。所以在测试前，老实说，咱们对它也没抱有多大的期待。而且还有一个问题，周鸿祎在发布会上也提到了，因为重视安全的原因，不会有语言模型的连续对话能力。所以每次提问，如果你想要顺着问题继续问下去，那是没有办法的。毕竟之前NewBing也是因为连续对话引发了安全问题，在那之后微软就给限制了NewBing的连续对话的能力和每日对话的次数。根据官方的说法，360智脑作为“新搜索”的落地应用，这个产品的重点，也应该是在信息检索能力和答案准确性、用户体验以及实时性上。考虑到检索能力和实时性，用已经联网的360智脑来对比不联网的ChatGPT，实在是有点欺负人了。所以在这次测试中，咱们让360智脑只和NewBing对比。首先，这个智脑毕竟还是基于大语言模型的产品，所以语义理解能力的测试肯定是少不了。上来就先给它试一个差评题库里的经典题目：“张三差点上上上上海的车”是什么意思？结果，智脑思维发散，把这句话理解成了逻辑学问题。还请出哲学家罗素说他也曾试图解决这个悖论，而且还没解决……看来这一题，智脑是没法得分了。至于NewBing，回答的就不错，不但理解了意思，甚至还给语句里的四个“上”字，分别解释了它的词性。到这里我已经有点怀疑，难道所有这种语义理解，360智脑都不行？倒也不是，因为我又问了智脑一个问题：“我觉得奥斯卡颁奖都是假的，因为台下都是主办方请来的演员。”这个题目，你需要把奥斯卡颁奖都是假的这个结论和台下都是请来的演员逻辑给理清楚，不然就会答非所问。本来，按照上一题的表现，我觉得智脑应该又会扑街，但是结果出乎意料，360智脑意外的答得不错，不仅意识到了句子里的演员的意思，而且还对我进行了一个道歉，说很抱歉听到我对奥斯卡颁奖典礼的真实性存在质疑。但是之前刚被我夸过的NewBing嘛……这一次反而是拉垮了，他说没找到证据支持我的说法，于是从网上找了一篇新闻，然后瞎答了一通，最后下结论说，台下并不全是请来的演员，完全没理解这个演员的梗……好吧，这样看来，在语义理解上，本不抱有期望的智脑，还算是给了我一点意料之外的惊喜，并不是所有问题都没法理解。那么再来看看双方的检索能力和答案准确度，我出了三道不同方向的题目，让360智脑和NewBing去回答。在一些基础知识类的题目上，智脑和NewBing都没有什么压力。同样的，因为模型样本基于中文，所以涉及到一些中文互联网的梗时，土生土长的360智脑显然更胜一筹。比如我问道：“谁对钱不感兴趣？”360智脑很好的接下了这个梗，但另一方面NewBing则没有理解这个梗。看来咱们自己互联网独有的文化，还得自家的产品才能理解啊~接下来，我尝试性地问了360智脑一个终极问题——关于人生的意义，想看看这个硅基生物的雏形如何看待这个问题，得出的答案可以说很富有哲理。至于用户体验这方面，在测试中，我确实感受到了结合了语言模型的搜索，对比传统搜索会有很大的易用性提升。比如我问360智脑：“我想找一段视频素材，内容是老人在吃饭。”在传统搜索中，搜索引擎并不知道我们是什么意思，给出的搜索结果和我想要的东西基本无关，也就是检测到了一些关键词给出了搜索结果。而360智脑就不一样了，不仅理解了我的意思，回答中给的链接，也是能直接点进去的，而且在点进去后，展现的第一页，就是老人吃饭的素材。另一方面，NewBing也回答的很好，不仅提供了一些视频网站的链接地址，在后续也检索出了一些图片供我们选择，可以说是相当完善了。其实类似的情况还有很多，比如我问360智脑：“帮我推荐几本有关人工智能的书。”360智脑和NewBing也是很好的给出了推荐，但是在传统的搜索引擎上，基本就没有任何的指引了，完全靠自己去挑选。在实时性方面，这对于联网的新搜索来说，应该是两者的强项。我在这里一共测了三个问题，分别是21年的男子100米短跑奥运会冠军是谁？中国2022年的GDP是多少？还有2022年的诺贝尔物理学奖是由谁获得的，获得理由是什么？对于这三个回答，不管是智脑还是NewBing，完成的都很出色，不过在后续的几个问题测试中，我又发现了一个问题，就是当你问话的形式不一样意思一样时，360智脑和NewBing给的答案也会不一样。比如当初发布会上周总问的问题：“梅西在阿根廷国家队一共进了多少个球？”它居然告诉我梅西只进了7个球……但是换一种问法呈现：“梅西在国家队生涯上升到多少个球？”这个问题就被解答的很好。所以在问法上，我们依然需要一些技巧。不过在另一边的NewBing也不咋的，我把这个问题再问给NewBing，NewBing的回答也是胡说八道，没一道是说对的。从这两个问题来看，现在的大语言模型+搜索，还是有很多数据错误和实时性的问题需要解决。最后，我又帮差友们问了一个超级实用的问题，得出的答案真是不错，默默记在了小本本上。尤其是第三条，简直就像一位职场老油条在面授机宜。以上这么一大段的评测下来，结果也算是有了。一开始咱们是觉得，这个智脑本身的语言模型不太行，在使用时应该也不咋地，在评测的过程中，也是抱着能对几个对几个的意思去的。但是在实际体验中，这个360智脑在某些场景下的应用，还是相对传统搜索有优势的。比如直接总结文本答案，这就省去了我们很多的去检索一条条链接的时间。与语言模型的结合让搜索引擎能听懂人话，这对于一些习惯了口语化的老人和小孩，在搜索自己想要的答案上，使用更为容易。此外360智脑在答案检索能力和准确度上，其实也还说的过去，甚至在中文梗的理解上，更是强于NewBing。只不过可能由于现在语言模型还是比较低阶，在一些比较有难度的语义理解和逻辑思考上，还是不太行。就像周鸿祎说的一样，现在的这个“孩子”还没有准生证，只是一个未完成版本，距离完善使用还是有相当的一段路要走的。相信大家现在有很深的体会，当我们在使用传统搜索的时候，很多时候都没法搜到自己想要的东西，各种各样的链接一大堆，看着都有用，实际上翻找半天都不一定找的到自己想要的信息。而且随着网站的越来越多，甚至会出现一些专门走关键词漏洞的网站，混淆咱们的搜索结果，这些种种乱象，甚至让很多人放弃传统搜索，直接去一些社交网站搜索答案。不过，随着AI应用的落地。语言模型+搜索引擎的新搜索模式，可能会在一定程度上，改善现在传统搜索的困境。利用新搜索，我们只需要告知搜索引擎我想要什么，它就能去帮我审阅一条条链接，翻找有用的信息，并总结出我需要的答案和结果。比如让它给我提供一份旅游攻略，然后让它对比出一份...PC版：https://www.cnbeta.com.tw/articles/soft/1355339.htm手机版：https://m.cnbeta.com.tw/view/1355339.htm
