188宝金博页面版

  • 图案背景
  • 纯色背景
视图
标记
批注
批注本地保存成功，开通会员云端永久保存 去开通
fuzhousea

上传于：2011-11-11

粉丝量：0

该文档贡献者很忙，什么也没留下。


  • 相关
  • 目录
  • 笔记
  • 书签

188宝金博页面版:更多相关文档

  • 大规模地形的快速漫游算法

    星级： 4 页

  • 基于特征串的大规模中文网页快速去重算法研究

    星级： 8 页

  • 网页消重算法研究

    星级： 50 页

  • 网页查重算法研究

    星级： 60 页

  • 大规模网页相似度算法的研究

    星级： 74 页

  • 网页排重算法－信息指纹算法

    星级： 9 页

  • 大规模地形快速渲染算法的研究

    星级： 5 页

  • 基于段落指纹的大规模近似网页检测算法研究

    星级： 90 页

  • []基于段落指纹的大规模近似网页检测算法研究

    星级： 87 页

  • 基于净化网页的改进消重算法

    星级： 3 页

  • 一种改进的基于内容的快速网页查重算法

    星级： 6 页

暂无目录

点击鼠标右键菜单,创建目录

    暂无笔记

    选择文本，点击鼠标右键菜单，添加笔记

    暂无书签

    在左侧文档中，点击鼠标右键，添加书签

    188宝金博页面版: 大规模网页快速去重算法

    下载积分： 1000

    内容提示： 大规模网页快速去重算法 大规模网页快速去重算法大规模网页快速去重算法 张刚 刘挺 郑实福 车万翔 李生 {bert, tilu, zsf , car, sli}@ir.hit.edu.cn 哈尔滨工业大学信息检索研究室 150001 摘要摘要： 本文提出了一种基于特征码技术的相同内容网页的去除合并算法。 特征码通过高效的B-Tree 来索引， 使整个系统具有极高的处理效率。 从而克服了采用一般聚类方法所具有的处理速度慢，判断准确率低的缺点。通过对大量网页的测试与分析，该算法能实现很高的判断正确率。 关键词关键词：特征码，B-Tree，最长公共子序列 Fast Deletion Algorithm for ...

    文档格式：PDF | 页数：7 | 浏览次数：114 | 上传日期：2011-11-11 15:28:12 | 文档星级：
    大规模网页快速去重算法 大规模网页快速去重算法大规模网页快速去重算法 张刚 刘挺 郑实福 车万翔 李生 {bert, tilu, zsf , car, sli}@ir.hit.edu.cn 哈尔滨工业大学信息检索研究室 150001 摘要摘要： 本文提出了一种基于特征码技术的相同内容网页的去除合并算法。 特征码通过高效的B-Tree 来索引， 使整个系统具有极高的处理效率。 从而克服了采用一般聚类方法所具有的处理速度慢，判断准确率低的缺点。通过对大量网页的测试与分析，该算法能实现很高的判断正确率。 关键词关键词：特征码，B-Tree，最长公共子序列 Fast Deletion Algorithm for Large Scale Duplicated Web Pages Zhang Gang Liu Ting Zheng Shifu Che Wanxiang Li Sheng Information Retrieval Laboratory, Harbin Institute of Technology, 150001 {bert, tliu, qinb, car, sli}@ir.hit.edu.cn Abstract: In this paper, a feature code based algorithm is developed to remove the duplicated web page. The feature codes are indexed by B-Tree data structure, so they can be searched and inserted efficiently and the system can work in high speed. This algorithm avoids the imprecision and inefficiency of general clustering algorithm. In a large-scale web page experiment, the algorithm represented a high precision. Keywords: Feature code , B-Tree, Longest Common Subsequence 1 引言引言 随着信息时代的到来,尤其是互联网技术的高速发展,网络中网站的数量成倍增加,根据http://www.netcraft.com/survey/的统计在 2001 年 4 月共统计到 28,669,939 个网站的记录。而且网站以很高的速率在增长。这些网站为我们提供了大量的信息，但不同的网站中存在着大量的重复的信息， 这些信息被搜索引擎反复索引， 因此在用户使用搜索引擎检索信息时就会发现有好多来自不同网站的相同信息。对于用户来说相同的文章只检索出一篇就够了，对于搜索引擎来说保存相同内容的网页，也会造成存储资源的浪费和检索时的低效率。现阶段去除相同或相似网页的技术还没有很好的应用在现有的搜索引擎上， 如果这一技术能够应用在搜索引擎中，势必会极大的方便用户检索信息，同时通过去掉重复的网页，减少的需要检索的信息量，从而提高了检索的效率。

    阅读了该文档的用户还阅读了这些文档

    188宝金博页面版:关于我们

    188宝金博页面版:帮助中心

    188宝金博页面版:关注我们

    • 新浪微博

    关注188宝金博页面版公众号

    188宝金博页面版
    阅读
    APP
    阅读
    返回
    顶部
    188宝金博页面版官网登录在线平台入口（2026已更新）—江苏协昌电子科技股份有限公司