百度如何判断网页文章的重复度?两个页面相似度确认方法介绍

　 域名预订/竞价，好“米”不错过

在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。

这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。

1，网站重复内容的判断

A，获取多个网页;

B，分别提取网页的网页正文;

C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;

D，根据网页正文句子签名对多个网页进行聚类;

E，针对每一类下的网页，计算网页的附加签名;

F，根据附加签名判断每一类下的网页是否重复。

通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。