采集的数据中，如果某一行数据的所有字段内容与其他行内所有字段内容都相同，那么软件就会认为是重复数据，重复的数据行就会被删除。

不管数据是在一个网页采集的还是多个网页采集的。即不判断来源，只对比最终结果。