-
目前,基于此方案,已在实验室内搭建了一个包含15个FEE板卡、240路ADC的数据获取系统。除此之外使用模拟源搭建了TOF探测器数据获取原型系统,其中所用的模拟源尽可能地模拟TOF探测器的数据情况。两系统均由TOF探测器数据获取系统中需用到的所有软件和FPGA固件形式的流处理节点所搭建,例如合并节点、命令路由节点、多路复用节点等。测试结果显示,两系统均可以正确工作,验证了所使用的流处理节点的正确性和该架构的可行性。在此基础之上,主要进行了传输和处理性能的测试,下面分别进行阐述。
-
在系统中主要包含三种传输场景:硬件到硬件、硬件到软件、软件到软件的传输。由于软件到软件的传输采用标准的网络接口传输,因此下文将主要对于前两种传输场景的传输性能进行测试。
TOF探测器DAQ中硬件到硬件的传输主要基于光纤链路进行建立并测试,该测试中光纤链路的理想带宽为10 Gbps。在传输中,传输包长的改变将导致传输速度发生改变,测试结果如图16所示,随着包长度变大,传输速率趋近于9.66 Gbps,传输效率达到96.6%。在实际应用中,将基于系统的具体需求选择合适的链路带宽。
考虑到PCIe总线的高带宽特性,在系统中使用PCIe总线传输方式来完成硬件和软件之间的通讯。本测试中使用PCIe 2.0×8,理想带宽为 4 Gbps。在测试中,分别测试了传输的数据帧长度和通道数对于传输速度的影响,测试结果分别如图17和图18所示。可看到,当保持通道数不变,数据帧长度增大时,当长度大于4 kB时,数据传输速率可达3.4 GB/s,带宽利用率可达 85%。当数据包长度保持在4 kB,数据通道总数大于等于2时,数据传输速率可以达3.4 GB/s,带宽利用率可以达到 85%。结果表明,当通道数大于1时,并行读出提高了传输效率。这证明了该模型在多通道的高速率传输场景下有良好的传输性能。
-
系统中流处理节点的处理性能对于整个系统的性能有较大的影响,因此分别对硬件和软件流处理节点进行测试,验证其是否可以满足系统需求。
对于硬件的流处理节点,主要以FPGA固件形式采用流水线方式工作,工作频率最低的流处理节点将影响硬件系统实时处理能力,目前经过综合和仿真,至少可工作在156.25 MHz频率下,当处理位宽为64 bit时,处理能力达10 Gbps。
在软件方面,目前在单个服务器上(CPU : Intel Xeon W-2104 @ 3.2 GHz, 4核)测试组装事例率,测试结果如表1所列,可看到随着合并节点中事例组装模块个数增多,最终每个合并节点速率可达8.2 kHz。由于在系统中采用MAP-T节点将不同事例的数据分发至不同的EBS,这样多个EBS可进行并行处理。即在实际应用中,可通过扩充服务器节点数量来满足系统实时处理和传输需求。对于TOF系统,两个事例组装服务器即可达到17 kHz,满足TOF系统的10 kHz事例率要求。
表 1 事例组装器个数对于合并节点的处理速率影响
合并节点个数 输出事例率 输入帧率 速率/Mbps 1 2 941 47 056 753 2 5 128 82 051 1 313 基于以上测试,整个系统可满足10 Gbps的吞吐率和实时处理传输和处理能力,远远超出TOF系统的实时传输处理能力需求。
-
摘要: 正在研制的低温高密度核物质测量谱仪(CSR External-target Experiment,CEE)系统经过触发后平均数据率可达2 GB/s。针对整个谱仪的设计需求,本文提出了通用的流处理数据获取架构Data-Matrix (D-Matrix),并设计了D-Matrix在飞行时间探测器(Time-of-Flight,TOF)子系统应用的具体方案。TOF系统的数据获取(Data Acquisition,DAQ)系统中使用光纤、PCIe总线等高速串行通信方式完成从前端电子学(Front End Electronic, FEE)到服务器阵列的数据传输,并通过具有统一接口的流处理节点的部署和级联来完成事例组装、命令路由、状态实时监测和数据显示与存储等任务。除此之外,TOF系统的数据获取系统在硬件和逻辑设计上具有良好的通用性,可以兼容其他子探测器系统,并应用于CEE实验的全局系统中。Abstract: The CSR External-target Experiment(CEE) system under development may reach an average data rate of 2 GB/s after being triggered. In response to the design requirements of the entire spectrometer, a generic stream processing data acquisition architecture D-Matrix is put forward in the article, and a specific scheme of D-Matrix in the Time-of-Flight detector(TOF) subsystem is proposed. The DAQ of the TOF system uses high-speed serial communication methods such as optical fiber and PCIe bus to complete data transmission from Front-End Electronics(FEE) to the servers, and deploys and cascades stream processing nodes with a unified interface to complete event building, command routing, Real-time status monitoring and displaying and data storage tasks. In addition, the DAQ of the TOF system has strong versatility in hardware and logic design, it also can be compatible with other sub-detector systems, and can be further applied to the global system of CEE experiments.
-
Key words:
- CEE /
- TOF /
- a generic stream processing DAQ
-
图 2 (在线彩图) CEE实验的TOF子系统DAQ设计
注:1) FEE,Front End Electronic,前端电子学板卡;2) CROB_on_PXI, Common Read-Out-Board on PXI, PXI读出卡;3) CROB_on_PCIE, CommonRead-Out-Board on PCIe, PCIe读出卡;4) DAS, Data Access Server,数据接入服务器;5) EBS,Event Building Server, 事例组装服务器;6) NSS,NAS Storage Server,NAS存储服务器;7) OCS,Online Control Server,在线控制服务器;8) ROCS,Remote Online Control Server,远程在线控制服务器。
表 1 事例组装器个数对于合并节点的处理速率影响
合并节点个数 输出事例率 输入帧率 速率/Mbps 1 2 941 47 056 753 2 5 128 82 051 1 313 -
[1] LÜ L M, YI H, XIAO Z G, et al. Science China Physics, Mechanics & Astronomy, 2017, 60(1): 012021. doi: 10.1007/s11433-016-0342-x [2] ZHAO Lei, KANG Longfei, ZHOU Jiawen, et al. DOI: Nuclear Science and Techniques 2014, 25(1): 2732. [3] 夏品正, 赵雷, 邓佩佩, 等. 原子核物理评论, 2016, 33(4): 449. doi: 10.11804/NuclPhysRev.33.04.449 XIA Pinzhen, ZHAO Lei, DENG Peipei, et al. Nuclear Physics Review, 2016, 33(4): 449. (in Chinese) doi: 10.11804/NuclPhysRev.33.04.449 [4] BARRERA E, RUIZ M, LOPEZ S, et al. IEEE Transactions on Nuclear Science, 2006, 53: 923. [5] DU Q, GONG G, PAN W, et al. Nucl Instr and Meth A, 2013, 732: 488. doi: 10.1016/j.nima.2013.05.135 [6] 吴辰晨, 杨俊峰, 宋克柱, 等. 核电子学与探测技术, 2019(4): 17. doi: CNKI:SUN:HERE.0.2019-04-017 WU Chenchen, YANG Junfeng, SONG Kezhu, et al. Nuclear Electronics & Detection Technology, 2019(4): 17. (in Chinese) doi: CNKI:SUN:HERE.0.2019-04-017 [7] ADAMCZEWSKI J, ESSEL H G, KURZ N. IEEE Transactions on Nuclear Science, 2008, 5: 251. doi: 10.1109/TNS.2007.913938 [8] NEUMEYER L, ROBBINS B, NAIR A, et al. S4: Distributed Stream Computing Platform[C]//2010 IEEE International Conference on Data Mining Workshops, Sydney, NSW, 2010: 170. [9] 孙大为, 张广艳, 郑纬民. 软件学报, 2014, 25(4): 839. SUN Dawei, ZHANG Guangyan, ZHENG Weimin. Journal ofSoftware, 2014, 25(4): 839.(in Chinese) [10] 张远翔, 杨俊峰, 李超. 核电子学与探测技术, 2016, 36(5): 479. doi: 10.3969/j.issn.0258-0934.2016.05.006 ZHANG Yuanxiang, YANG Junfeng, LI Chao, et al. Nuclear Electronics & Detection Technology, 2016, 36(5): 479. (in Chinese) doi: 10.3969/j.issn.0258-0934.2016.05.006 [11] 康龙飞. HIRFL-CSR 外靶实验的数据传输和触发判选研究 [D]. 合肥: 中国科学技术大学, 2014. KANG Longfei. Research of Data Transmission and Trigger System for the External Target Experiment in HIRFL-CSR[D]. Hefei: University of Science and Technology of China, 2014. (in Chinese).