小红书禁止所有搜索引擎抓取其内容 只能通过站内手动
小红书禁止所有搜索引擎抓取其内容只能通过站内手动搜索目前并不清楚小红书为什么禁止搜索引擎抓取内容,从SEO角度来说,允许搜索引擎抓取有助于给小红书带来更多流量,毕竟现在百度都索引了7亿多个网页。而且小红书是去年4月修改的,所以估计也不是因为防止被抓取内容训练AI吧?但小红书目前的内容库拿去训练AI确实很有价值,毕竟巨量文字和图片内容。不过robots.txt文件只是君子协定,属于防君子不妨小人的那种,除了会导致用户无法从搜索引擎直接查询小红书内容外,其实帮助也不大,毕竟其他非搜索引擎的爬虫也会继续抓取内容,小红书肯定也做了反爬措施了。现在国内的网站禁止搜索引擎抓取已经是个很常见的事情,或者专门预留一些层级目录供搜索引擎抓取想要获得一些流量,更有甚者甚至别说搜索引擎了,就连正常的用户访问也会被拦截,必须注册账号登录后才能继续访问,这显然不是一个好事情。附小红书2023年4月2日的robots.txt信息:下面是小红书最新的robots.txt信息:...PC版:https://www.cnbeta.com.tw/articles/soft/1425509.htm手机版:https://m.cnbeta.com.tw/view/1425509.htm