如果開啟“天眼”，可以看到怎樣神奇的畫面？

由中國科學(xué)院國家天文臺(tái)李迪教授和王培博士領(lǐng)導(dǎo)的國際研究小組在《自然》雜志最新的一篇論文顯示，F(xiàn)AST累計(jì)發(fā)現(xiàn)1652次快速射電暴，超過以往文獻(xiàn)記載數(shù)量總和。從2011年3月25日“中國天眼”開工建設(shè)再到2020年通過國家驗(yàn)收，投入正式運(yùn)行。這不僅僅是天文科學(xué)的進(jìn)步，也是建設(shè)數(shù)字基礎(chǔ)架構(gòu)的標(biāo)志性事件。那么，它海量的數(shù)據(jù)是怎么存儲(chǔ)的？

中國天眼結(jié)緣浪潮存儲(chǔ)

中國科學(xué)院國家天文臺(tái)FAST數(shù)據(jù)中心組組長黃夢(mèng)林經(jīng)歷了數(shù)據(jù)中心從無到有。

她告訴第一財(cái)經(jīng)，2005年前后，F(xiàn)AST先跟當(dāng)?shù)氐拇髮W(xué)合作建了早期科學(xué)數(shù)據(jù)中心，“那時(shí)候的技術(shù)肯定沒有現(xiàn)在這么發(fā)達(dá)，建一個(gè)2PB的集群得擺三個(gè)機(jī)柜”。等到FAST在2016年建成，再被稱作數(shù)據(jù)中心的現(xiàn)場，其實(shí)是集裝箱，帶有實(shí)驗(yàn)的性質(zhì)。“真正開始考慮數(shù)據(jù)中心要做大規(guī)模的時(shí)候，是在2019年試運(yùn)行”。

天眼搜集的數(shù)據(jù)可是大得驚人，每秒采集的數(shù)據(jù)量最多可達(dá)38G，每年新增數(shù)據(jù)量達(dá)到10PB，靈活、可彈性擴(kuò)展的數(shù)據(jù)基礎(chǔ)設(shè)施成為中國天眼的剛需，首先要解決的就是存儲(chǔ)問題。

“一個(gè)是容量要大，因?yàn)槲覀儥C(jī)房面積有限，所以需要高密度存儲(chǔ)。而且需要穩(wěn)定性，因?yàn)槲覀兊臄?shù)據(jù)量大，要是異地備份需要的成本就更高。我們現(xiàn)在存數(shù)據(jù)，希望它的穩(wěn)定性非常好，非常高，保證我們只有一份數(shù)據(jù)但是也不會(huì)丟。” 黃夢(mèng)林說。

在建設(shè)自己的數(shù)據(jù)中心之前，F(xiàn)AST還曾經(jīng)租用過別人的機(jī)房。但是解決問題的響應(yīng)速度不好跟上，而且成本也在水漲船高。“我們也要考慮硬件和軟件的結(jié)合和以后的服務(wù)、運(yùn)維方面，是一家公司協(xié)調(diào)起來更簡單，可能工作起來效率會(huì)更高，就是這樣。” 黃夢(mèng)林說。也正是基于這樣的考慮，F(xiàn)AST項(xiàng)目開始招標(biāo)建立自己的數(shù)據(jù)中心

“我們看到用戶在使用的時(shí)候，剛開始這么大的一個(gè)集群，也是面臨一種新的場景，總歸是會(huì)有需要，問題的解決處理，這個(gè)時(shí)候本土化的廠商是非常重要的。”浪潮信息首席架構(gòu)師葉毓睿介紹，F(xiàn)AST的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，對(duì)存儲(chǔ)的考驗(yàn)很大，一方面是存儲(chǔ)的擴(kuò)展性，另一方面，當(dāng)數(shù)據(jù)到達(dá)一定量的時(shí)候，運(yùn)維管理的挑戰(zhàn)也會(huì)凸現(xiàn)出來，“管理人員還是有限的，但那么多的存儲(chǔ)怎么樣更好地管理，我們有一些相應(yīng)的手段”。

“裝得下”也要“用得好”

天文研究是典型的大數(shù)據(jù)場景，數(shù)據(jù)存儲(chǔ)不僅需要讓中國天眼“裝得下”數(shù)據(jù)，更要成為全球科學(xué)家天文大數(shù)據(jù)研究的加速引擎，讓科學(xué)家們“用得好”。

黃夢(mèng)林介紹，接收下來的數(shù)據(jù)都會(huì)經(jīng)過預(yù)處理，這是個(gè)自動(dòng)的流程。對(duì)于進(jìn)一步的數(shù)據(jù)處理，根據(jù)天文研究項(xiàng)目負(fù)責(zé)人的意愿來決定，如果項(xiàng)目負(fù)責(zé)人有需要，數(shù)據(jù)中心也可以提供處理。如果不做要求，F(xiàn)AST就直接提供觀測數(shù)據(jù)。

為了滿足這些需求，浪潮存儲(chǔ)以高性能節(jié)點(diǎn)提升天文大數(shù)據(jù)存儲(chǔ)、處理和分析的效率，以高密度節(jié)點(diǎn)“海納”天文級(jí)數(shù)據(jù)，基于智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等軟件棧算法讓百萬級(jí)IO均衡落盤且路徑更短，從而實(shí)現(xiàn)數(shù)據(jù)在不同層級(jí)存儲(chǔ)之間能夠根據(jù)天文業(yè)務(wù)需求實(shí)現(xiàn)數(shù)據(jù)自由流動(dòng)。

具體來說，浪潮存儲(chǔ)基于超大規(guī)模分布式存儲(chǔ)平臺(tái)，在一個(gè)存儲(chǔ)平臺(tái)內(nèi)部署高性能和高密度兩種節(jié)點(diǎn)，提供53PB容量、100G聚合帶寬和AIOps智能管理，為中國天眼FAST的IT基礎(chǔ)設(shè)施建設(shè)提供了支撐，完成了計(jì)算性能超兩千萬億次/秒、帶寬達(dá)100GB/秒，冷熱數(shù)據(jù)分層存儲(chǔ)可以容量達(dá)53PB的自有數(shù)據(jù)中心平臺(tái)建設(shè)。中國天眼采用了60余臺(tái)高密度節(jié)點(diǎn)AS13000G5-M60，單節(jié)點(diǎn)容量接近一個(gè)PB，節(jié)省了數(shù)據(jù)中心物理空間，運(yùn)營成本節(jié)省了65%。

要想用得好，前路亦有挑戰(zhàn)。以AI為例，數(shù)據(jù)的采集、模型的訓(xùn)練、應(yīng)用的推理還有長期的存檔讓整個(gè)存儲(chǔ)行業(yè)都在面臨挑戰(zhàn)：數(shù)據(jù)吞吐能力，也就是每秒的操作數(shù)要求很高，存儲(chǔ)介質(zhì)也有變化，甚至有可能利用內(nèi)存的池化去應(yīng)對(duì)更高的存儲(chǔ)需求。這導(dǎo)致整個(gè)IT的基礎(chǔ)架構(gòu)都在根據(jù)場景的需求不斷衍生、迭代。

“在分布式存儲(chǔ)里其實(shí)還有很多可探索的空間，像天眼是我們看到的其中一種。”葉毓睿說，隨著需求增長，需要有更多的算力， “其實(shí)就是朝著一切皆計(jì)算機(jī)的方向去發(fā)展”。