索引擎蜘蛛（又叫爬虫、Crawler、Spider等）是搜索引擎的一个自动程序。它的作用是访问互联网上的网页，建立索引数据库，使用户能在搜索引擎中搜索到你网站的网页。
每个搜索引擎的蜘蛛名字都是不一样的，接下来为你介绍国内七大搜索引擎的蜘蛛名称
1. 百度蜘蛛名称：Baiduspider 首字母B大写，其余为小写
2. Google蜘蛛名称
(1) Googlebot：从Google的网站索引和新闻索引中抓取网
(2) Googlebot-Mobile针对Google的移动索引抓取网
(3) Googlebot-Image：针对Google的图片索引抓取网
…
>>阅读全文
总结：网站重大改版或者换空间或者换域名后，要想快速的再次被SE收录，需要定期更新网站的内容，内容最好是原创，或者是伪原创，而且内容一定要多，一两行文章是不行的。只要你有规律的更新，比如每隔多少时间更新多少篇文章，SE抓住了你的规律之后，就会对你进行观察，当你在观察期间（保守估计：一个月的时间）表现良好的话，就会再次被快速收录。
另外一点，如果你是换了域名，注意不要立即撤掉老域名，让新老域名并存一段时间，直到新域名被SE收录后，再撤掉旧域名。如果此时不撤的话，估计SE会认为这是两个不同的网站，却有着一模一样的内容和表现形式，两个域名都会受到影响的。
因为工作的需要，每天都需要看上百兆的日志文件，然后分类提取，筛选记录，查看日志文件，光是百度的日志文件都有上万条，因而不论是记录蜘蛛规律，还是数据统计，都是一个不小的工作量，因为这些，每天都要加班的，最近趁着加班的时间，写了一套分析日志的asp程序，主要功能是把日志文件导入到数据库中，分类整理，再通过查询得出详细的数据，得出做SEO所需要的详细数据，然后判断出网站的问题及下一步应该努力的方向。
这套程序是用xhtml+css写的，基本上是兼容所有的主流浏览器，包括IE（废话）、火狐、Safari、Apple、Chrome。目前程序处理最后的完善的阶段，估计还有一个星期可以完全搞定。有了这套程序，以后工作的效率就会提高不少的，不用再一条一条地在UE里面查找，记录，再把数据汇总到EXCEl了。随着工作的需要，程序的功能还会进一步的完善。其实是很简单的程序，公司的程序员有几百人，估计都不屑写这些个小玩意吧，呵呵，权当自己练练手了。现在天天做页面优化，都快把程序忘完了。
有对这套程序感兴趣的朋友们可以给我留言索要，大家可以交流学习，共同进步嘛！
在上一篇文章中提到过200 0 64，到底"200 0 64"是什么意思？网上基本上全把后面这个"64"和百度联系起来，说这里是"200 0 64"就不是正常抓取,只有是"200 0 0"才是正常抓取……,我打开www.google.com搜索了一下"200 0 64",果然如此,更有甚者甚至还给出了解决方法,说如何如何修改网站就可以让"200 0 64"变成"200 0 0"以让搜索引擎正常抓取……
不知道有多少人被发表这段歪理的人害得把本来好好的网站改来改去!下面详细解说一下这三个状态代码.
打开一个IIS的日志,我们在最上边大约第三行能够看到一个表头,像这样:
>>阅读全文