[新闻营销]网页去重原理是什么？应该如何做？

在网络如此发达的今天，同样的信息会在很多媒体上发布，同样的信息会被大多数媒体平台报道。此外，小站站长和seo人员在网上孜孜不倦地收集，导致网上大量重复新闻。然而，当客户搜索某个关键词时，所有主要的搜索引擎都不想向客户显示相同的文本。从某种程度上来说，抓取这些重复的网页是对各大搜索引擎资源的浪费，因为删除了重复文本的网站也成为了各大搜索引擎面临的一大难题。

在常见的主流搜索引擎架构中，网页去重通常存在于蜘蛛爬行部分。在整个主要搜索引擎架构中实施“消除重复”步骤越早，就可以为后续解决方案系统节省越多的资源。各大搜索引擎通常会对已被抓取的重复页面进行分类和求解，比如评估一个站点是否包含大量重复页面，或者该站点是否完整收集了其他站点的文本等。，以便决定将来是对站点进行爬网还是直接阻止爬网。

重复数据消除通常在分词之后和索引之前(或分词之前)执行。各大搜索引擎会从页面上已经分离的关键词中提取一些有代表性的关键词，然后计算这些关键词的“指纹”。每个网页都会有这样的特征指纹。当新抓取的网页的关键词指纹与被索引的网页的关键词指纹重合时，新网页可能被各大搜索引擎视为重复文本而放弃索引。

在实践中，各大搜索引擎不仅使用分词分隔的有意义的关键词，还使用连续切割提取关键词，计算指纹。连续切割法提取关键词并进行指纹计算。连切是单个字向后移动的切，或者单个字向后移动的切。比如“百度开始打击买卖链接”会被切割成“百度开放”、“度开始”、“开始打”、“开始打”、“打买”、“打买卖”、“交易链”、“卖链接”。然后从这些词中提取一些关键词进行指纹计算，参与是否重复文字。这只是各大搜索引擎识别重复网页的基本算法，处理重复网页的算法还有很多。

因为现在网络上流行的伪原创工具大多无法欺骗各大搜索引擎，或者是看不懂正文，所以理论上普通的伪原创工具是无法得到各大搜索引擎的正常收录和排名的。但百度并没有直接抛弃所有重复页面而不做索引，而是根据重复页面所在网站的权重放宽索引标准，使得一些骗子有机会利用网站的高权重，从其他网站收集大量文本来获取搜索流量。但自2012年6月以来，百度搜索多次升级算法，多次打击收集重复新闻和垃圾页面。因此，搜索引擎优化不应该从伪原创的角度来构建，而应该从对客户有用的角度来构建。虽然后者的文本并不都是原创，但通常如果网站的权重没有大问题，就会健康快速的发展。关于原创性的问题，这本书将在第12章详细讨论。

另外，不仅各大搜索引擎需要“复制页面”，他们自己网站中的页面也是如此。比如分类新闻、b2b平台等ugc网站，如果不加限制，客户发布的新闻难免会有大量的重复，不仅在seo上表现不好，还会降低网站的客户体验。比如基于“聚合”的索引页、主题页或目录页，是seo人员在设计流量产品时常见的，而“聚合”必须有核心词，不经过过滤，海量核心词展开的页面可能会出现大量重复，导致产品效果不佳，甚至被各大搜索引擎缩小。

重复数据消除算法的一般原理通常如上所述。一些有趣的朋友可以了解i-match、带状疱疹、simhash和余弦去重复。各大搜索引擎在做“网页消重”之前，必须先对网页进行分析，文本周围的“噪音”会对消重结果产生影响。做这部分业务时，只能操作文字部分，相对简单很多，同时可以有效辅助生产高质量的“seo产品”。作为seo人员，只需要了解实现原理，产品中的具体应用需要技术人员去实现。此外，还涉及效率、资源需求等问题。同时，根据实际情况，“去重”也可以在很多环节进行(比如核心词的分词)。seo人员只要稍微了解一下原理就可以给技术人员建议几个方向，这是非常好的(技术人员不是万能的，有不熟悉不熟悉的行业，也需要别人在特定时刻提供思路)。如果seo人员能在这些方面与技术人员有深入的交流，技术人员也会对seo特别尊重，至少不会认为“seo人员只会写改标题、链接、文案等‘无聊’的诉求”。

总结:在感谢了痞子瑞的好书之后，尼子在seo思维中发现了新的知识、复制和指纹原理。希望兄弟姐妹们能看完这本书，今天和大家分享一些。在未来的日子里，我会继续和大家分享好的知识点。

上一篇：[新闻营销]4个做法教你不使网站长期打不开

下一篇：[新闻营销]如何正确理解“内文为王，外链为皇”

---

标题：[新闻营销]网页去重原理是什么？应该如何做？
地址：http://www.wenfangge.com.cn/xinwen/26071.html

---

免责声明：文芳阁软文营销平台所转载内容均来自于网络，不为其真实性负责，只为传播网络信息为目的，如有异议请及时联系btr2030@163.com，本人将予以删除。