什么是搜索引擎的蜘蛛

提到搜索引擎的蜘蛛，究竟是八只脚还是六只脚的呢？相信刚接触SEO的新手们，对于蜘蛛这个概念都是很模糊的，其实蜘蛛不是生物，更不是植物，只是一个抓取程序，是搜索引擎对于网站页面抓取的一个机器程序，会通过页面中的链接，抓取链接所指向的网页内容，然后保存到搜索引擎的缓存数据库中，等待其他程序对内容进行过滤。

页面上只要有链接指向的路径页面，都会被蜘蛛程序爬取到，例如百度的蜘蛛BaiduSpider，你可以在iis日志里面看到它访问你网站页面的痕迹，一般统计工具中是不会记录到的。搜索引擎的蜘蛛会将页面上的所有链接地址添加到待抓取的数据库中，进行下一次的抓取