百度蜘蛛:对大网站以及百度旗下的产品,抓取的非常频繁。
因此我就在赶集网,百度贴吧,百度知道那里发布了相关的信息,然后带上了链接。第二天百度就收录了这些链接。
上图为百度抓取的相关页面,都带有我这个站的链接。今天是9月6号,上面都是9月5号发布的信息。
谷歌蜘蛛:抓取相对较广泛,博客,论坛抓取的较多
针对这种情况,我注册了10几个权重较高的博客,然后在这些博客站点里发布了一篇网站上的文章:robots.txt 文件的应用,第二天,谷歌也及时抓取了几条博客相关的内容。这样网站上的链接自然也被抓取了。谷歌也收录了这个网站的首页。
最新评论