Bing的Robots.txt提示:如果您有Bingbot部分,请包含所有相关指令

微软高级项目经理在Bing搜索工作弗雷德里克Dubut,说在Twitter上周三,当你创建在其Bingbot履带robots.txt文件中的特定部分,你应该确保列出该节中的所有默认指令。

为Bingbot指定指令。“如果你专门为Bingbot创建一个部分,那么所有默认指令都将被忽略(Crawl-Delay除外),”他说。“你必须复制粘贴你希望Bingbot在其自己的部分下遵循的指令,”他补充道。

这是什么意思?这可能意味着Bing已经看到许多网站抱怨Bingbot正在抓取他们不想被抓取的网站区域。一些网站管理员可能认为,如果他们给Bingbot一些特定的指令,它将遵循未列出的其余默认指令。相反,如果您有Bingbot的一个部分,它将只遵循您在robots.txt文件的该部分中明确列出的指令。如果您没有Bingbot的特定部分,那么Bingbot将遵循默认指令。

为什么重要。确保在设置robots.txt文件时,所有搜索引擎抓取工具都可以有效地抓取您的网站。如果您为阻止,爬网延迟或其他指令设置了特定指令,请确保所有搜索引擎爬网程序都在监听这些指令。如果您没有遵循他们的协议或他们在访问此类指令时遇到问题,他们可能不会听取是否存在语法问题。

发表评论

电子邮件地址不会被公开。 必填项已用*标注