一种面向FAST PB量级脉冲星数据处理加速方法及系统

摘要: 500米口径球面射电望远镜FAST已投入科学运行，漂移扫描巡天采集数据量已超过1PB，预计每年新增至少5PB。现有数据处理软件如PRESTO、SIGPROC等已无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法，整合利用数据库技术和异地异构计算资源，构建了一套命名Craber的计算加速系统。整体系统由FAST早期科学数据中心与国家天文台团队共同设计和实现。启用Craber子网计算集群D中55个计算节点，应用Parkes多波束巡天数据集和FAST漂移扫描数据验证了系统流程和搜索数据库。单个100MB Parkes巡天数据文件平均耗时36秒，单个128MB FAST巡天数据文件平均耗时22秒。该系统目前已实际参与FAST数据处理并产生数十颗脉冲星发现，有效帮助FAST加速数据处理和扩大新样本数量。