在很多朋友的眼里，自己的网站被搜索引擎爬取，就意味者收录与排名马上就会出现。确实是这样，特别是一些新站，在自己的网站制作完成后，提交给搜索引擎之后，如果网站的核心资源被搜索引擎爬取的话，往往说明自己的网站起码是搜索引擎感兴趣的。那么我们就要提高自己被搜索引擎爬取的几率了。
引导爬虫抓取网站核心资源
为什么网站的核心资源要让搜索引擎爬取呢？因为核心资源往往意味这是自己网站的重点，而搜索引擎也只有了解到你的这个站主要是做什么的，才能接下来的排名。我们之前说到，网站如果采取站点扁平结构，往往有利于搜索引擎对整个网站的爬取。不过对于大型网站来说，这一点实施起来会比较难，不过我们可以重点来优化面包屑导航。还有就是自己的 sitemap每天要全量更新，补充到搜索引擎蜘蛛的spider URL库。还有就是页面部分推荐模块异步改同步加载，核心资源URL部署到权重高的页面。为了能让蜘蛛爬虫抓取核心的网站资源，在网站建设的时候，我们要减少那些无效URL的抓取我们可以使用robotst.txt禁止无效URL被抓取及被索引，通过noindex meta标签禁止URL被索引 (百度暂不支持noindex)等等，这样的目的是为了突出网站的重点，不要让这些非有效的资源冲淡了自己网站的主体而造成相关页面的权重下降。
提升网站抓取量
接下来，我就要着手提高自己网站抓取的页面的数量了，我们要注意检查自己的网站的程序，避免搜索引擎官方爬虫被安全软件或者程序的拦截，造成爬虫没有办法爬取访问；我们还可以逐步上调站长平台抓取压力；及时更新死链sitemap；我们进行网站制作的时候，就要有让这个新的页面被搜索引擎爬取收录的目的。
网站建设的时候，我们就要制定这些利于搜索引擎爬取收录的方案与目标。这样后续的推广才更有成效。
本文由上海艺觉网络科技有限公司（http://www.zwzsh.net）原创编辑转载请注明。
