1.网站和页面权限。高质量和高级资质的网站被认为具有更高的权限，此类网站的页面会被爬取的深度更高，因此会包含更多的内页。

2. 到首页的点击距离。一般来说，主页在一个网站上具有最高的权限，大多数外部链接都指向主页，主页也是蜘蛛访问频率最高的。离首页越近的点击距离，页面权重越高，被蜘蛛爬取的机会就越大。

3. 导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛爬取，必须有传入链接才能进入该页面，否则蜘蛛根本没有机会知道该页面的存在。高质量的传入链接通常还会增加页面上传出链接的抓取深度。

4、页面更新度。每次蜘蛛爬行时，它都会存储页面数据。如果第二次爬取发现页面和第一次完全一样，说明页面没有更新，蜘蛛不需要频繁爬取。如果页面内容更新频繁，蜘蛛会更频繁地访问这类页面，页面上出现的新链接自然会被蜘蛛更多地跟踪并爬取页面。