分类： 天文学 >> 天文学 提交时间： 2022-01-14 合作期刊: 《天文研究与技术》
摘要： FAST脉冲星搜索产生的候选体诊断图量级呈指数级增长，给科学数据管理工作带来挑战,迫切需要研究压缩方法实现诊断图的有效存储和加快其在网络中传输共享。脉冲星诊断图像由稀疏的黑白图像、随机分布的灰度图和彩色图像组成，简单视为彩色图像用同一种压缩方法处理显然是不合理的。提出跳白块编码和深度网络压缩编码压缩模型对脉冲星候选体诊断图分区压缩。使用近年来FAST巡天搜索项目脉冲星候选体诊断图来训练和验证。结果表明，改进的WBS压缩稀疏黑白图像的性能是PNG 的5倍；深度网络压缩算法处理灰度图和彩色图PSNR性能优于JPEG和JPEG2000算法，与BPG算法性能相当，SSIM性能远超传统压缩算法。
分类： 天文学 >> 天文学 提交时间： 2020-06-09 合作期刊: 《天文研究与技术》
摘要： 500米口径球面射电望远镜FAST已投入科学运行，漂移扫描巡天采集数据量已超过1PB，预计每年新增至少5PB。现有数据处理软件如PRESTO、SIGPROC等已无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法，整合利用数据库技术和异地异构计算资源，构建了一套命名Craber的计算加速系统。整体系统由FAST早期科学数据中心与国家天文台团队共同设计和实现。启用Craber子网计算集群D中55个计算节点，应用Parkes多波束巡天数据集和FAST漂移扫描数据验证了系统流程和搜索数据库。单个100MB Parkes巡天数据文件平均耗时36秒，单个128MB FAST巡天数据文件平均耗时22秒。该系统目前已实际参与FAST数据处理并产生数十颗脉冲星发现，有效帮助FAST加速数据处理和扩大新样本数量。
点击量
点击量
下载量
评论
