论文《分布式网络爬虫技术的研究与实现》,和大家分享~
基于智能网络磁盘(IND)的存储网格技术研究,周云霞,赵跃龙,本文提出了一种基于智能网络磁盘的存储网格的实现方法,这种实现方法可以采用多种存储设备来构成存储网格,能够为用户提供不同级
针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力
交叉证认是实现多波段数据融合的关键技术,目前还缺乏对其分布式算法的研究。快速增长的数据规模使该问题必须要依赖分布式并行计算技术解决。提出了一种基于MapReduce分布式模型的新方法,根据Map-Re
首先剖析了目前分布式网络入侵检测所存在的问题以及待解决的技术难点,利用Agent构造了一种新颖的分级检测入侵的层次模型,增强了入侵检测系统自身的安全性和对分布式攻击的协同检测能力,有效降低了网络的通信
基于分层分布式网格的资源发现机制研究.pdf论文
基于HDFS的分布式数据安全存储模型,钱权,王天宏,结合Hadoop的分布式文件系统(HDFS),以及对称加密算法和公钥密码体制,提出了一种基于HDFS的分布式数据安全存储模型。该模型采用HDFS
讨论了基于草图的复杂聚集查询的近似处理算法。利用随机技术,在数据流过时实时计算数据的草图概要;同时采用了新颖的草图分割技术,有效地提高近似应答的精度。合成数据的查询实验表明草图技术能有效地降低估算误差
为了解决大型分布式系统由集中管理导致的扩展性和鲁棒性差的问题,利用改进的结构化对等网组织分布式计算资源,构造一个SRDM(scalableresourcediscoverymodel,可扩展资源发现模
基于分布式文件系统的图片存储服务的研究,祖研,帅仁俊,本文以云计算为核心思想,提出了基于分布式文件系统架构实现图片存储服务的方法。该方法基于Hadoop实现,利用HDFS(Hadoop Distrib