那些不想被收录的网页，要如何让搜索引擎不抓取？

2021-01-07 11:04:18 阅读（187） 评论（0）

　　有些朋友可能会奇怪，网站页面不是让搜索引擎抓住越多越好，如何让网站页面内容不被抓住的想法。　　首先，一个网站可以分割的权重是有限的，即使是Pr10站，也不可能无限分割权重。这个权重包括链接到别人网站的处链和自己网站的内链。　　如果是外链，除非是想坑被链的人。否则，搜索引擎需要抓取外链。这不在本文的讨论范围内。　　而内链，因为有些网站有很多重复或冗余的内容。例如，根据条件查询一些搜索结果。特别是一些B2C站可以根据产品类型、型号、颜色、大小等进行分类搜索，在特殊查询页面或所有产品页面的某个位置进行搜索。虽然这些页面对浏览器来说非常方便，但对于搜索引擎来说，这需要蜘蛛大量的抓取时间，尤其是当网站页面更多时。页面权重也会分散，对SEO不利。　　此外，网站管理登录页面、备份页面、测试页面等，也是网站管理员不希望搜索引擎包含的。　　因此，有必要使网页的某些内容，或者某些页面不包括在搜索引擎中。　　以下作者首先介绍了几种更有效的方法：　　1.展示FLASH不想被收录的内容　　众所周知，搜索引擎抓取FLASH内容的能力有限，不能完全抓取FLASH内容的所有内容。但遗憾的是，FLASH的所有内容都不能完全保证被捕获。因为谷歌和Adobe正在努力实现FLASH抓取技术。　　2.使用robos文件　　这是暂时最有效的方法，但也有很大的缺点。只是没有任何内容和链接。众所周知，对于SEO来说，更健康的页面应该有进有出。有外链链接，页面也需要链接到外部网站，所以robots文件控制，让这个页面只进不出，搜索引擎也不知道内容是什么。将此页面定为低质量页面。权重可能会受到一定程度的惩罚。这主要用于网站管理页面、测试页面等。　　3.使用nofollow标签包不想被收录的内容　　这种方法不能完全保证不包括在内，因为它不是严格要求遵守的标签。另外，如果有外部网站链到有nofollow标签的页面。这很可能会被搜索引擎抓住。　　4.用Metanoindex标签加follow标签　　这种方法可以防止收录和传递权重。要不要传递，看网站建设站长自己的需求。这种方法的缺点是也会浪费蜘蛛抓取页面的时间。　　5.使用robots文件，同时使用iframe标签在页面上显示搜索引擎收录的内容，robots文件可以防止iframe标签以外的内容被收录。因此，您可以在正常页面标签下放置您不想包含的内容。想要包含在iframe标签中的内容。　　然后，我们来谈谈失败的方法。以后不要用这些方法。　　1.使用表格　　谷歌和百度已经能够掌握表格的内容，无法阻止收录。　　2.使用Javascript和Ajax技术　　就目前的技术而言，Ajax和javascript的最终操作结果仍然以HTML的形式传输到浏览器进行显示，因此无法阻止包含。　　大多数初学者专注于如何收录，但细节决定成败。SEO高级人士也需要注意如何防止网站页面内容被捕获。

以上就是关于那些不想被收录的网页，要如何让搜索引擎不抓取？的相关介绍，更多那些不想被收录的网页，要如何让搜索引擎不抓取？相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对那些不想被收录的网页，要如何让搜索引擎不抓取？有更深的了解和认识。

内容来源:网络，以上内容来源于网络，不代表本站观点，如有侵权，请联系删除。

上一条：Phpwind 要为淘宝输送流量下一条：这段时间对社区的新理解