robots屏蔽对阻止搜索引擎抓取死链是否有效?

问:robots屏蔽对阻止百度抓取死链是否有效

答:当然有效,搜索引擎一般都遵守robots协议,若发现搜索引擎依然抓取,先确认是那个搜索引擎的蜘蛛在抓取。若确认,可以通过搜索引擎的站长反馈中心进行投诉。

常见搜索引擎站长平台

百度搜索zhanzhang.baidu.com

360搜索zhanzhang.so.com

搜狗搜索zhanzhang.sogou.com

神马搜索zhanzhang.sm.cn

评论已关闭