CORC  > 云南天文台  > 中国科学院云南天文台  > 其他
基于SparkStreaming的明安图射电频谱日像仪实时数据处理
卫守林1,2; 刘鹏翔1; 王锋1,2; 邓辉1; 梁波1; 戴伟1,2
刊名天文研究与技术(Astronomical Research & Technology)
2017-10
卷号14期号:4页码:421-428
关键词Muser 射电天文 Spark 流式计算 实时计算
ISSN号1672-7673
DOI10.14005/j.cnki.issn1672-7673.20170922.009
其他题名Real-Time Data Processing in Mingamtu UItrawide Spectral Radio Heliograph Based on Spark Streaming
产权排序第2完成单位
英文摘要

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。

学科主题天文学 ; 天文学其他学科 ; 计算机科学技术 ; 计算机应用
分类号TP274.2 
资助项目国家自然科学基金[11403009] ; 国家自然科学基金[U1231205]
语种中文
CSCD记录号CSCD:6071970
资助机构国家自然科学基金[11403009, U1231205]
内容类型期刊论文
源URL[http://ir.ynao.ac.cn/handle/114a53/10161]  
专题云南天文台_其他
作者单位1.昆明理工大学云南省计算机技术应用重点实验室, 云南, 昆明, 650500
2.中国科学院云南天文台, 云南, 昆明, 650011
推荐引用方式
GB/T 7714
卫守林,刘鹏翔,王锋,等. 基于SparkStreaming的明安图射电频谱日像仪实时数据处理[J]. 天文研究与技术(Astronomical Research & Technology),2017,14(4):421-428.
APA 卫守林,刘鹏翔,王锋,邓辉,梁波,&戴伟.(2017).基于SparkStreaming的明安图射电频谱日像仪实时数据处理.天文研究与技术(Astronomical Research & Technology),14(4),421-428.
MLA 卫守林,et al."基于SparkStreaming的明安图射电频谱日像仪实时数据处理".天文研究与技术(Astronomical Research & Technology) 14.4(2017):421-428.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace