訂閱
糾錯
加入自媒體

隨著神舟十二號發(fā)射成功,HPDA開始走入大眾視野

2021-06-18 09:31
云報
關注

北京時間6月17日9時22分,神舟十二號載人飛船發(fā)射成功!這是時隔5年之后,中國再一次把航天員送入太空。這一次的與眾不同之處還在于,三名航天員將成為中國空間站天和核心艙的首批入駐人員,在軌駐留3個月。

從“天問一號”首次進行火星探測,到此次航天員首次駐留空間站,我國在宇宙探測方面不斷實現驚人的突破。而在這背后,從宇宙探索到深空探秘,意味著海量數據的產生、存儲和分析,高性能計算(HPC)與存儲就成了不可或缺的工具。

HPC與數據分析的深度結合,推動了HPDA(High Performance Data Analytics,高性能數據分析)的興起和快速發(fā)展。作為HPC領域最具潛力的一個分支,HPDA正在航天遙感、天氣與氣候建模、個性化醫(yī)療、金融欺詐檢測、電子商務等多個領域得到越來越廣泛且深入的應用。

HPDA熱起來

HPDA其實并不是一個新概念。早在2014年,市場研究機構IDC就已經指出,各大行業(yè)頭部企業(yè)正在積極利用HPC技術向大數據分析類工作負載發(fā)起挑戰(zhàn),而HPDA存儲作為高端存儲市場的一股清流,將迎來迅速發(fā)展的機遇期。最新的市場調研發(fā)現,67%的HPC用戶都在使用HPDA,而非傳統(tǒng)的HPC。HPDA快速增長的最主要動力就是HPC最擅長的數據密集型應用。

在人工智能、大數據時代,企業(yè)對于數據有了更深刻的認知——數據已成為企業(yè)的戰(zhàn)略資產。全球知名市場研究機構ESG的調查數據顯示,23%的企業(yè)認為,數據就是他們的業(yè)務,另有26%的企業(yè)認為,數據既是其業(yè)務,也用于支持其業(yè)務。數據驅動業(yè)務不再是一句空話,而數據以及數據存儲對于推動企業(yè)業(yè)務的創(chuàng)新與發(fā)展至關重要。

若想充分挖掘數據的潛能和價值,首先要有海量的數據,其次還要有強大的算力和AI能力,支撐對于數據的分析。一句話,讓數據轉變成具有意義的洞察,就需要借助HPC這樣的技術進行實時的分析、預測。從以計算為中心到以數據中心心,HPC正在發(fā)生具有轉折性意義的演進,這是數據密集型應用需求的驅動,也是大數據、AI等技術發(fā)展使然。

ESG的調查數據顯示,63%的受訪者表示,2021年在人工智能和機器學習方面的支出比上一年有所增加,這將導致數據量的進一步增長。你可能想象不到,L4自動駕駛數據集已經增長到EB級,單個現代基因組測序儀每天能夠生成6TB的數據……海量數據的處理為HPDA創(chuàng)造了巨大的商機,商業(yè)智能、數據發(fā)現與挖掘、搜索分析、行為分析、交互式查詢等都成了最好的用武之地。

真金不怕火煉

但是任何事物的發(fā)展都具有兩面性,數據密集型業(yè)務的快速發(fā)展,讓存儲系統(tǒng)的壓力與日俱增。隨著數據量激增,尤其是非結構化數據的爆炸性增長,數據分析效率、數據管理、安全存儲等成為亟待突破的瓶頸。

誰能化解數據密集型HPC帶來的存儲挑戰(zhàn)?HPDA存儲唯有“輕裝上陣”——更經濟、更可靠,同時還能有效處理各種負載,即使面對HPC業(yè)務流程細分和多種應用場景集成產生的復雜混合負載,也能游刃有余,既能從容應對大文件、高帶寬的需求,也能在小文件、高IOPS的環(huán)境中大顯身手。

那么,在一眾HPDA存儲中,誰又能堪當大任呢?只用實際測試和驗證效果說話的ESG給出了它的解析。

在存儲領域有很多調研和評測機構,它們會從不同的維度對存儲系統(tǒng)給出評價,有的以IOPS性能測試見長,有的以用戶的實際評價作為評判標準,ESG則獨樹一幟,通常會搭建嚴格的接近于真實的應用環(huán)境,對產品進行全面測試后才會得出最終結論。經過這樣一番洗禮,這回華為OceanStor Pacific下一代HPDA存儲真的要“出圈”了。

ESG從性能、可靠性、數據管理以及整體擁有成本(TCO)等多個維度對華為 OceanStor Pacific進行了一次全面“體檢”,還專門測試了OceanStor Pacific為數據密集型應用提供不同協議訪問的性能,并對五年TCO進行了深入分析。

ESG測試環(huán)境

致敬最美中國航天員,這回HPDA真的“出圈”了

真金不怕火煉,OceanStor Pacific經受住了考驗。在不影響存儲性能的情況下,OceanStor Pacific可以有效滿足用戶對于海量非結構化數據在數據保護、數據遷移、硬件成本和快速增長等方面的核心需求。在模擬真實應用環(huán)境的測試中,單套OceanStor Pacific存儲系統(tǒng)能夠為多種業(yè)務提供高性能、低時延,并在多協議間提供一致的語義。ESG對于OceanStor Pacific在面對多種文件/對象協議時均能提供一致的性能,且所有協議都幾乎性能無損這一點印象十分深刻。

以前,企業(yè)用戶在處理海量非結構化數據時,都習慣采用橫向擴展NAS系統(tǒng)。但是隨著工作負載越來越復雜,數據量持續(xù)增加,用戶對于存儲性能的一致性、靈活擴展能力、成本效益以及可用性等提出了更高的要求。

比如在汽車、飛機的設計和制造方面,越來越多的企業(yè)希望用HPC技術支撐復雜的設計、分析,進一步提高產品的設計質量;在商業(yè)領域,企業(yè)傾向于借助大數據、深度學習等技術,對客戶行為進行畫像,或者進行更加細粒度和精確的搜索等。這些都是最典型的HPDA存儲的應用場景。ESG建議用戶,采用專為HPDA設計的下一代存儲系統(tǒng),在提升可用性的同時可以減少工作量,提高容量和性能的同時還能有效降低存儲TCO。而華為OceanStor Pacific正是HPDA業(yè)務的理想之選。

魚與熊掌可兼得

俗話說,光說不練假把式。華為OceanStor Pacific在ESG的測試中到底表現如何?

OceanStor Pacific存儲系統(tǒng)的獨特之處在于,能夠提供各種數據密集型場景所需的高性能和靈活訪問能力,包括HPC、AI/ML、大數據分析、大規(guī)模虛擬化、內容存儲、地震分析、生命科學、金融,以及任何需要存儲海量數據并提供高性能、多協議訪問的應用。特別需要指出的是,OceanStor Pacific的企業(yè)級可用性功能在軟件中實施,從而提供一個平臺以極低的延遲對業(yè)務關鍵型及任務關鍵型負載與海量數據集進行整合。

ESG的實際測試有力地驗證了上述OceanStor Pacific的定位和特色,OceanStor Pacific確實可以為超大數據集提供持續(xù)的高性能,并充分支持以數據為中心的實際應用。

先看對多協議的支持。在自動駕駛、精密醫(yī)療、智能制造等典型的企業(yè)HPDA應用場景中,數據流程的不同階段通常會使用到文件、對象和大數據(HDFS)等服務。

像OceanStor Pacific這樣具有多協議互通能力的存儲系統(tǒng),能夠無縫支持NFS、CIFS、HDFS和S3等協議,并允許應用通過多個協議共享一份數據,從而達到提高分析效率的目的,在無數據遷移的情況下,可以通過多個協議進行讀取,同時保證語義無損和高穩(wěn)定的性能。ESG的測試表明,OceanStor Pacific在單個高性能高可用平臺上具有整合異構數據密集型負載的超強能力,能夠同時處理多種負載,并且保證使用多種協議訪問的穩(wěn)定的數據性能。

致敬最美中國航天員,這回HPDA真的“出圈”了

再看對混合負載的支持。通常情況下,HPC負載具有多樣性的特點,比如地震數據處理需要高帶寬,而對已處理數據的解釋則需要高IOPS。帶寬瓶頸可能是由網絡、磁盤或內存不足造成的,而IOPS瓶頸則可能是因CPU算力不足或調用堆棧深度等軟件問題引起的。解決不同的性能瓶頸,這對華為OceanStor Pacific來說并不是一件難事。ESG的測試顯示,OceanStor Pacific文件系統(tǒng)采用元數據分布、大小I/O分流、磁盤索引等技術,可以同時滿足高帶寬和高IOPS的需求,可謂魚與熊掌兼得。

最后驗證高密度設計和TCO。為了有效應對海量數據的增長,存儲的高密度設計幾乎成了標配。華為OceanStor Pacific采用了下一代高密度硬件架構:華為自研的half-palm NVMe盤,將橫截面減少65%;領先的散熱材料、創(chuàng)新的風扇布局和全新的結構設計,可以將整個存儲系統(tǒng)的冷卻效率提高30%;采用EC和端到端數據完整性字段(DIF),將磁盤利用率提升至91.6%……

根據不同的業(yè)務場景,OceanStor Pacific提供兩種高密度硬件架構配置:一個是高密性能型的OceanStor Pacific 9950,每機箱可提供高達160GB/s帶寬和200萬IOPS的極速數據訪問;另一個是高密容量型的OceanStor Pacific 9550,在5U空間內可提供超過1.6PB的裸容量。

在實際測試中,ESG將華為OceanStor Pacific 9550的預估存儲成本與傳統(tǒng)的橫向擴展NAS系統(tǒng)進行了建模和比較。模型只考慮五年內會發(fā)生的成本,而容量/性能增長需求以及IT運營成本則不在考慮之列。結果顯示,華為OceanStor Pacific的五年TCO比橫向擴展NAS系統(tǒng)低61%,其中最大的節(jié)省來自托管成本(64%),其他如資本支出(CapEx)節(jié)省62%,供電和冷卻節(jié)省32%。

“存力”也要強大

IDC的統(tǒng)計數據顯示,30%的HPC是用于數據分析,傳統(tǒng)HPC走向HPDA已是大勢所趨。大數據、人工智能、深度學習等的興起,加速了這一演進的速度。從金融、電子商務到科學計算、衛(wèi)星遙感,各類數據密集型HPC應用對存儲提出了新的挑戰(zhàn)。僅有超強的HPC算力還不夠,必須要有同樣強大的“存力”與之相匹配。穩(wěn)定的高性能、多協議融合訪問、支持混合負載訪問、靈活的可擴展性,以及更低的TCO等,這正是HPDA存儲所擅長的,也是華為OceanStor Pacific脫穎而出的關鍵所在。

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號