十多年來，云計算、5G、大數(shù)據(jù)、AI等創(chuàng)新技術(shù)得以快速發(fā)展，并推動著百行百業(yè)的產(chǎn)業(yè)數(shù)字化進程。當前，數(shù)字新基建在不斷深入，作為其重要基石的數(shù)據(jù)存儲，備受矚目。尤其是新技術(shù)的應(yīng)用與推廣，引發(fā)了海量數(shù)據(jù)的規(guī)�；�聚集，數(shù)十PB甚至數(shù)百PB的海量數(shù)據(jù)存儲需求，已成為新興產(chǎn)業(yè)發(fā)展的數(shù)字化常態(tài)之一。

然而，海量存儲雖不是一個最新的名詞，卻有著與時俱進的含義。十多年之前的海量存儲以TB級定義，十多年后的今天，海量存儲的概念要從百PB級談起�；蛟S隨著計算能力與存儲能力的進一步提升，在不久的將來，當前的海量存儲定義又會發(fā)生新的變化。

眾所周知，數(shù)據(jù)存儲容量增長無止境，海量數(shù)據(jù)的應(yīng)用場景也不斷創(chuàng)新。就基因測序、氣象預(yù)測、自動駕駛、能源勘探、地理測繪等新興應(yīng)用的發(fā)展而言，想要打造海量數(shù)據(jù)背后牢固的存儲基石，分布式存儲不可或缺，為啥？

與生俱來的契合性，帶給新興應(yīng)用更多的發(fā)展契機

海量數(shù)據(jù)的產(chǎn)生源自新興應(yīng)用持續(xù)不斷的技術(shù)創(chuàng)新與發(fā)展，并且隨著新興應(yīng)用的深入也帶來數(shù)據(jù)爆發(fā)式增長，同時海量數(shù)據(jù)豐富的應(yīng)用場景，在促進數(shù)字技術(shù)和實體經(jīng)濟深度融合上，發(fā)揮出強大的優(yōu)勢，也為傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級帶來了很好的幫助，持續(xù)助力新產(chǎn)業(yè)、新業(yè)態(tài)、新模式的產(chǎn)生。

從當前來看，海量數(shù)據(jù)催生的新興應(yīng)用，可以分為三種類型：

針對科學(xué)研究類，主要包括了基因測序、氣象預(yù)測等應(yīng)用。

在這類應(yīng)用中，需要存儲滿足多樣化的IO需求，承載多樣化的工作負載。

針對智能決策類，主要包括了大數(shù)據(jù)智能分析、自動駕駛等新興應(yīng)用。

這類應(yīng)用需要存儲系統(tǒng)能夠?qū)Χ喾N數(shù)據(jù)類型進行分析，滿足對多種算法的支持。

針對數(shù)據(jù)管理類，這類應(yīng)用需要存儲系統(tǒng)實現(xiàn)海量數(shù)據(jù)的高效共享，滿足跨地域隨時訪問需求。

全球存儲觀察分析認為：面對不斷涌現(xiàn)的海量數(shù)據(jù)，我們不得不認真思考數(shù)據(jù)存儲的應(yīng)用方式。分布式存儲彈性、靈活性、擴展性等特點，與新興應(yīng)用場景中，敏態(tài)業(yè)務(wù)隨時無感擴縮、智能決策等特點有著天然的契合。

可見，分布式存儲正在成為新興應(yīng)用的數(shù)據(jù)基石，不可或缺。

自研可控按需定制，讓分布式存儲更美

作為中國數(shù)據(jù)存儲領(lǐng)域中重要代表之一，曙光存儲歷經(jīng)十多年的發(fā)展，堅守自研創(chuàng)新之路，本著滿足用戶需求為宗旨，不斷賦能新興應(yīng)用場景，讓海量數(shù)據(jù)價值得以全面釋放。

在科學(xué)研究類應(yīng)用中，曙光ParaStor采用IB＋RDMA高速互聯(lián)、內(nèi)核態(tài)POSIX協(xié)議、智能SSD Cache及小文件聚合等技術(shù)，應(yīng)對海量大文件存儲場景高聚合帶寬、小文件存儲場景高IOPS的存儲挑戰(zhàn)，滿足基因測序、氣象預(yù)測等應(yīng)用的存儲需求。

在智能決策類應(yīng)用中，曙光ParaStor單一存儲節(jié)點提供多種協(xié)議支持，打通從數(shù)據(jù)的采集、應(yīng)用、分析到歸檔的鏈路，在海量異構(gòu)數(shù)據(jù)融合的基礎(chǔ)上，對云、5G、AI等應(yīng)用有著良好的支持。此外，ParaStor采用原生HDFS接口，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺，通過構(gòu)建高性價比的大數(shù)據(jù)存算分離解決方案，在存算分離的基礎(chǔ)上，保證了性能的指數(shù)級提升，還可以支持更多大數(shù)據(jù)高級功能。

在數(shù)據(jù)管理類應(yīng)用中，曙光ParaStor可通過 3節(jié)點存儲集群承載非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)，消除存儲設(shè)備多樣性及管理復(fù)雜性，降低存儲系統(tǒng)的構(gòu)建成本，實現(xiàn)存儲資源融合管理，以及多樣化數(shù)據(jù)高效應(yīng)用，釋放分布式存儲的數(shù)據(jù)管理價值。

300PB海量存儲背后，隱藏著一股怎樣的技術(shù)力量

2022年，由曙光部署實施的，我國單套最大規(guī)模的海量存儲系統(tǒng)已達到300PB。然而，300PB海量存儲背后，隱藏著一股怎樣的技術(shù)力量？

好的海量存儲，有三個重點的考量指標。首先，海量存儲不是簡簡單單設(shè)備的堆積，要解決呈指數(shù)級增長的諸多技術(shù)難題；其次對應(yīng)用的深度把握與定制，才能實現(xiàn)對業(yè)務(wù)的良好支撐；第三是超大規(guī)模項目的部署經(jīng)驗與應(yīng)用支持，通常支持百PB級存儲規(guī)模部署和支撐萬級客戶端訪問，才能真正體現(xiàn)廠商實力。

基于自研優(yōu)勢，曙光ParaStor創(chuàng)新打造的Object System（本地對象管理系統(tǒng)）、分布式鎖、多協(xié)議融合等多項技術(shù)，解決了海量存儲系統(tǒng)在磁盤穩(wěn)定性、數(shù)據(jù)一致性和多種應(yīng)用支持等技術(shù)難題，實現(xiàn)用戶建設(shè)高價值存儲的愿景。

憑借對行業(yè)應(yīng)用的深刻理解，曙光存儲可在硬件平臺、軟件功能、數(shù)據(jù)IO路徑、系統(tǒng)穩(wěn)定性等方面進行定制開發(fā)、性能優(yōu)化和測試，讓用戶更好地致力于業(yè)務(wù)創(chuàng)新和更高效地成長。

此外，作為國內(nèi)專注海量存儲系統(tǒng)研制的領(lǐng)先廠商，曙光從2009年單套存儲系統(tǒng)容量16PB，到2022年單套存儲系統(tǒng)300PB，不斷突破業(yè)內(nèi)存儲容量和性能的極限。曙光存儲團隊以強烈的責(zé)任心和使命感，為客戶提供專業(yè)的技術(shù)支撐。

據(jù)悉，曙光ParaStor已在各類算力中心項目中提供堅實的數(shù)據(jù)存儲基座。當然，隨著“東數(shù)西算”等國家級項目對海量數(shù)據(jù)的需求量持續(xù)增大，也對存儲系統(tǒng)提出了數(shù)據(jù)流通更高效、數(shù)據(jù)應(yīng)用更智能、數(shù)據(jù)存儲更安全、存儲設(shè)備綠色節(jié)能的要求。作為行業(yè)領(lǐng)先的分布式存儲廠商，曙光又是如何滿足這類國家級項目對數(shù)據(jù)更深層次的訴求呢？

針對數(shù)據(jù)的高效流通，ParaStor基于資源的高效管理與協(xié)同，支持多種存儲協(xié)議，提供文件、塊、對象、HDFS四種存儲服務(wù)，支持數(shù)據(jù)從采集、處理、分析到歸檔，包括多個中心節(jié)點之間的流通。

面向更智能的應(yīng)用需求，ParaStor提供原生HDFS接口，可高效支持大數(shù)據(jù)的智能化應(yīng)用。通過原生協(xié)議，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺，滿足更多大數(shù)據(jù)高級功能。在面對用戶不同的應(yīng)用時，可快速實現(xiàn)對新組件的靈活支持。

面向更安全的需求，曙光ParaStor的軟硬件均采用自研的設(shè)備。在硬件層面，通過CPU、內(nèi)存、電源、風(fēng)扇等主要部件的冗余配置，保證單個部件故障時，不影響整個節(jié)點正常運行。其次是軟件層面，ParaStor通過智能化故障預(yù)處理與高效無感知的系統(tǒng)自愈，才能讓系統(tǒng)真正可靠穩(wěn)定運行。

面向存儲設(shè)備綠色節(jié)能需求，曙光于2022年再次升級曙光ParaStor，加持液冷設(shè)計，再加上前端曙光液冷的計算節(jié)點，完全形成一體化的液冷存儲方案，PUE值可達到1．04。

由此而言，展望未來，面向東數(shù)西算工程的發(fā)展，曙光存儲不僅實現(xiàn)了300PB海量存儲最新實踐，同時其背后隱藏著一股值得關(guān)注的技術(shù)力量，面向數(shù)據(jù)存儲的高效、智能、安全和綠色的更高需求，提供更為細致與全面的解決之道。

小 結(jié)，打造新興產(chǎn)業(yè)的數(shù)據(jù)存儲基石

隨著基因測序、氣象預(yù)測、自動駕駛、能源勘探、地理測繪、通信行業(yè)等新興產(chǎn)業(yè)應(yīng)用的發(fā)展，分布式存儲以更為與時俱進的創(chuàng)新能力，正在構(gòu)建更強大的數(shù)據(jù)存儲基石，并不斷發(fā)揮著重要的作用。

誠然，“東數(shù)西算”正在構(gòu)建數(shù)據(jù)中心、云計算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡(luò)體系，促進東西部協(xié)同聯(lián)動。各個產(chǎn)業(yè)的飛速發(fā)展都在不斷產(chǎn)生大規(guī)模的海量數(shù)據(jù)，給分布式存儲的創(chuàng)新發(fā)展提供了技術(shù)進步的土壤�？梢�，打造東數(shù)西算的數(shù)據(jù)存儲基石，將成為有志于此的所有數(shù)據(jù)存儲廠商下一步發(fā)展的重點。

有著數(shù)十年的自研積累，擁有廣泛行業(yè)用戶的大規(guī)模部署落地經(jīng)驗，曙光存儲在分布式存儲領(lǐng)域的作為，業(yè)界都可以看得出來，不僅順應(yīng)著用戶需求的發(fā)展，同時也順應(yīng)著時代的發(fā)展。加速新興產(chǎn)業(yè)發(fā)展，發(fā)揮出新數(shù)據(jù)的真正價值，以分布式存儲的持續(xù)創(chuàng)新來夯實數(shù)字化基石，曙光當仁不讓。

       原文標題 : 海量數(shù)據(jù)催生新風(fēng)口，誰是分布式存儲頭雁？