关于禁止百度蜘蛛抓取问题

User-agent: *
Disallow: /?

禁止所有搜索引擎抓取网站全部动态链接
如果只要禁止百度，在第一行：
后面修改为Baiduspider

如果要禁止干净可以再增加一项，然后修改为baiduspider

Robots 区别大小写字母

1、是否能成功，可以先设置下，去百度站长Robots哪里测试，看是否封禁；

2、index？后面这种一般是站点被黑生成的大量页面；

3、你可以尝试操作下，看是否可操作，屏蔽操作不用特意写域名，屏蔽文件夹、屏蔽有规则的页面等；

4、如果你的这些页面是被黑页面，如果操作屏蔽抓取也不可行，建议还是提交死链，等待删除，蜘蛛抓取这些页面，返回码404，也是不会收录，也会主动去删除这些页面。