用Fluent与MongoDB构建高效海量日志采集系统

CORC > 新疆理化技术研究所 > 中国科学院新疆理化技术研究所 > 多语种信息技术研究室

	用Fluent与MongoDB构建高效海量日志采集系统
	韩岩; 李晓
刊名	中国新技术新产品
	2014
期号	12 页码:31-33
关键词	fluent MySQL MongoDB Hadoop 海量日志日志采集系统
ISSN号	1673-9957
中文摘要	由于传统方法不能满足海量日志存储的需求，对于海量日志的分析传统方法也出现了瓶颈问题，所以本文通过不同类型存储介质对海量日志读写性能实验，并与日志采集软件相结合提出了解决存储海量日志的一种方案：用Fluent（日志采集软件）与MongoDB来构建日志采集系统。实验表明：这种方式与传统存储方式相比，突破单机环境下日志存取的瓶颈，大幅度提高海量日志的存取速度，简化了日志分析与统计操作。在MongoDB集群环境下，高并发的读写满足了海量日志存取的需求，并且这种集群具有可扩展性和高可用性。
公开日期	2014-11-11
内容类型	期刊论文
源URL	[http://ir.xjipc.cas.cn/handle/365002/3702]
专题	新疆理化技术研究所_多语种信息技术研究室
作者单位	中国科学院新疆理化技术研究所；中国科学院大学
推荐引用方式 GB/T 7714	韩岩,李晓. 用Fluent与MongoDB构建高效海量日志采集系统[J]. 中国新技术新产品,2014(12):31-33.
APA	韩岩,&李晓.(2014).用Fluent与MongoDB构建高效海量日志采集系统.中国新技术新产品(12),31-33.
MLA	韩岩,et al."用Fluent与MongoDB构建高效海量日志采集系统".中国新技术新产品 .12(2014):31-33.