一种高效的分布式爬虫系统负载均衡策略

CORC > 合肥物质科学研究院 > 中国科学院合肥物质科学研究院 > 信息中心

	一种高效的分布式爬虫系统负载均衡策略
	张树涛 1,2; 谭海波 1; 陈良锋 1; 吕波 1
刊名	计算机工程
	2019-01-23
卷号	045
关键词	分布式爬虫负载均衡预测模型粒子群优化算法约束条件
ISSN号	1000-3428
其他题名	An Efficient Load Balance Strategy for Distributed Crawler System
英文摘要	传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理。针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素,采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型。以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数,并利用带约束条件的改进粒子群优化算法求解目标函数,确定负载均衡的任务分配方案。实验结果表明,该负载均衡策略在满足爬虫节点高性能要求的前提下,能有效缩短分布式爬虫系统的运行时间。
语种	中文
CSCD记录号	CSCD:6615937
内容类型	期刊论文
源URL	[http://ir.hfcas.ac.cn:8080/handle/334002/43175]
专题	合肥物质科学研究院_信息中心
作者单位	1.中国科学院合肥物质科学研究院 2.中国科学技术大学
推荐引用方式 GB/T 7714	张树涛,谭海波,陈良锋,等. 一种高效的分布式爬虫系统负载均衡策略[J]. 计算机工程,2019,045.
APA	张树涛,谭海波,陈良锋,&吕波.(2019).一种高效的分布式爬虫系统负载均衡策略.计算机工程,045.
MLA	张树涛,et al."一种高效的分布式爬虫系统负载均衡策略".计算机工程 045(2019).