通过上面的思维导图,可以大致了解百度资源平台的五个功能。
本文重点介绍百度资源平台的五个功能:
1.抓住诊断
我们可以通过百度资源平台的爬取诊断来判断网站被蜘蛛爬取时是否正常。
同时可以分析当前ip、返回值、速度、内容是否正常,PC端和移动端的爬取是否有异常。
诊断为抓包成功,则正常。如果抓包异常,需要详细查看问题出在哪里,然后针对性的解决。
2. 爬取频率
通过爬取的频率,我们可以知道蜘蛛每天爬取我们网站的次数。如果爬的次数太少,就必须想办法吸引蜘蛛。
如果原来的爬取频率很高,爬取频率一下子下降很多,那么我们需要检查网站的稳定性。
正常情况下,爬行频率的波动比较平稳,波动不大,录音会比较正常。如果继续下降,则需要检查。
3.站点地图提交
建站后,需要在百度资源平台上提交站点地图。站点地图应包含站点上需要包含的所有链接地址。
通常我们可以提交txt格式的站点地图,对于大型网站建议提交xml格式的站点地图。
4. 指数量
如果索引量与站点查询的值不同,以索引量为准。上下波动的小幅波动属于正常范围。
5.爬取异常
通过爬取异常,我们可以及时发现网站的问题,可以判断是服务器还是死链接等等。