在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关口，以是robots协议的主要性也是可想而知了。都说细节决定成败，那么越主要的器械细节就显得尤为主要，往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之以是会这么说，是由于我差点就成了这个问题的反面教材了，还好发现的实时也算是亡羊补牢吧！之以是想立刻分享给人人，就是希望人人以后自己做站的时刻要制止犯类似的错误。
事情实在就发生在今天，经由是这样的：由于小灵通SEO博客也刚做好不久，前几天网站上线之后发现另有许多小问题需要处置，为了制止网站还在调整的过程中就被搜索引擎抓取到，以是我在robots协议内里写了克制所有搜索引擎爬取网站任何部门的指令，网站的调整一直连续了几天（之以是会弄这么长时间是由于我是一个不能容忍瑕疵的人，不知道这算不算强迫症的一种），直到昨天也就是2月3号才周全完工，然则这时代我天天都在坚持添加原创文章。昨天网站检查完毕，所有问题都解决好以后，我就把robots协议重新更换了过来，而且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样，到了今天早上发现网站照样没有被收录，于是我就去百度站长工具平台看一下我的网站到底是个什么情形，进去一看吓我一跳，由于我看到了下面一则（如图所示）信息：
我的网站竟然对百度举行了周全封禁，检测时间是在今天（2月4号）早上破晓5点整的时刻，这让我像丈二的僧人摸不着头脑了，太不科学了，由于我在昨天2月3号上午已经把网站的robots协议更悔改来了，真的是太奇怪了。就在我百思不得其解的时刻总算是通过站长平台工具的“robots检测”找到了谜底，看下图：
原来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议，以是当前生效的协议也就是那时它抓取到的我把蜘蛛所有屏障时的谁人，而本站最新的robot协议还没有生效。这下我总算是明了了过来了，既然弄清楚了缘故原由那事情就好办了。于是我立刻把协议提交更新了一下，如下图：
如何发外链不会被删
所有行业都侧重于优化SEO关键字排名，但不是网站关键字出现的位置非常重要，必须按从上到下、从左到右的顺序随机出现。
更新以后一分钟内协议就更新过来了，如下图：
可以看到，当前本站最新的robots已经最先生效了，就这样到了下昼，当我再次进入百度站长平台就收到了新消息，如下图所示：
至此网站已经解除了robots协议对百度的周全封禁，检测时间显示的是今天下昼两点整。到了晚上也差不多就是在三个多小时以前，当我再次检查网站收录情形的时刻，网站首页已经被收录了。如下图：
网站终于被收录了，但让我最开心的照样我通过自己的起劲找到问题并解决了问题，这才是我今天最大的收获。固然了若是这个问题我发现不了，可能网站再过十天半个月也会毫无转机，以是我要提醒人人的就是关于robots协议在封禁蜘蛛之后到后期在解封的时刻一定要记得实时更新robots协议，这是一个不容被忽视的小细节。也许根据自己的一向知识以为只要通过输入“http:\\域名\robots.txt看一下网站的协议悔改来了没有就可以了，然则通过实践证明这种方式也不是完全可靠的，以是一定要记着我这次的经验教训，robots一旦举行调整就一定要记得实时提交更新，否则被蜘蛛抓取了不应抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的是后悔莫及了。
温馨小提示：适才看了一下时间，已经转钟到了第二天了，写这篇文章的时刻是在2月4号，然则现在公布的时间已经转点到2月5号了，以是文章提到的“今天”也就是2月4号，希望人人不要看糊涂了。
分享关键词挖掘常用的五大方法
本网站部分素材来源网络，如有侵犯，请联系删除！作者：wesipy，如若转载，请注明出处：http://www.kpxlt.com/archives/2006
微信扫一扫 
支付宝扫一扫 