歷時(shí)三年自主研發(fā)，基于自研架構(gòu)的元核云青鸞分布式存儲(chǔ)系統(tǒng)V2.0正式發(fā)布。不同于市場現(xiàn)有的基于開源架構(gòu)二次開發(fā)的存儲(chǔ)產(chǎn)品，青鸞存儲(chǔ)架構(gòu)由元核云獨(dú)創(chuàng)研發(fā)，真正做到百分百技術(shù)自研、自主可控，更加貼合國產(chǎn)芯片，解決國產(chǎn)化存儲(chǔ)落地最后一公里難題，實(shí)現(xiàn)全國產(chǎn)高性能存儲(chǔ)“零”突破。此版本的發(fā)布也標(biāo)志著元核云自主可控分布式存儲(chǔ)架構(gòu)進(jìn)入新的里程碑。

　　青鸞（英文名：YESFS）是元核云基于國產(chǎn)化芯片平臺(tái)設(shè)計(jì)研發(fā)的一款高性能分布式存儲(chǔ)系統(tǒng)，2.0版本的產(chǎn)品性能在國產(chǎn)化申威平臺(tái)實(shí)現(xiàn)了飛躍性的提升，采用了更適合申威多核架構(gòu)的服務(wù)端線程模型設(shè)計(jì)，與申威平臺(tái)特性高度貼合。同時(shí)，在產(chǎn)品設(shè)計(jì)之初就充分考慮了芯片市場的多樣性，兼容X86平臺(tái)，具備完善的產(chǎn)品生態(tài)。

　　青鸞能夠充分釋放國產(chǎn)芯片的全部能力，具有兼容對象、塊、文件存儲(chǔ)的全部接口支持，滿足所有標(biāo)準(zhǔn)存儲(chǔ)系統(tǒng)需求的業(yè)務(wù)場景，多種創(chuàng)新設(shè)計(jì)，突破國產(chǎn)存儲(chǔ)性能瓶頸，全面超越傳統(tǒng)存儲(chǔ)，以高性能和高可用穩(wěn)定支撐上層業(yè)務(wù)的數(shù)據(jù)需求。

　　傳統(tǒng)存儲(chǔ)架構(gòu)在國產(chǎn)芯片的弊端凸顯

　　目前，在軟件定義分布式存儲(chǔ)領(lǐng)域，CEPH架構(gòu)和類CEPH架構(gòu)占據(jù)主流地位，其核心思想是以統(tǒng)一的存儲(chǔ)層，支持多種協(xié)議層擴(kuò)展，其中數(shù)據(jù)分布、一致性、擴(kuò)展性等復(fù)雜設(shè)計(jì)，全部由統(tǒng)一存儲(chǔ)層來實(shí)現(xiàn)。

　　此種架構(gòu)的優(yōu)勢在于：統(tǒng)一的存儲(chǔ)底座利于構(gòu)建多協(xié)議統(tǒng)一存儲(chǔ)，無中心的元數(shù)據(jù)架構(gòu)支持無限擴(kuò)展能力，多種可選的開源方案易于構(gòu)建二次開發(fā)產(chǎn)品。

　　但其劣勢也比較明顯：跨網(wǎng)絡(luò)的多層服務(wù)邏輯轉(zhuǎn)換帶來較高的IO延遲，動(dòng)態(tài)數(shù)據(jù)映射對于集群的硬件穩(wěn)定性過度依賴，開源軟件的功能過度臃腫，各模塊代碼質(zhì)量參差不齊，對于產(chǎn)品研發(fā)團(tuán)隊(duì)的技術(shù)能力挑戰(zhàn)非常大，自主可控性不足。

　　青鸞汲取多年類CEPH架構(gòu)產(chǎn)品研發(fā)、運(yùn)營的經(jīng)驗(yàn)，取長補(bǔ)短，針對國產(chǎn)芯片平臺(tái)重新設(shè)計(jì)，摒棄華而不實(shí)的中間架構(gòu)，從生產(chǎn)實(shí)用的角度重新構(gòu)建，將產(chǎn)品的運(yùn)維功能與后臺(tái)功能納入整體設(shè)計(jì)，遵循一致的設(shè)計(jì)理念，化繁為簡，深度理解用戶需求，突破現(xiàn)有技術(shù)制約。

　　充分釋放國產(chǎn)芯片的多核能力，帶來媲美X86的巨大性能突破

　　貼近生產(chǎn)業(yè)務(wù)場景針對性優(yōu)化，從業(yè)務(wù)方案加速國產(chǎn)存儲(chǔ)替換過程

　　突破分布式存儲(chǔ)傳統(tǒng)能力邊界，延伸業(yè)務(wù)能力

　　青鸞V2.0在性能上獲得突破性提升，其在X86平臺(tái)上的性能超過目前市場上主流的Ceph架構(gòu)2倍以上；青鸞V2.0在國產(chǎn)化平臺(tái)的表現(xiàn)尤為凸顯，綜合IOPS、吞吐量、延時(shí)等數(shù)據(jù)，其申威平臺(tái)上的性能表現(xiàn)更是達(dá)到了Ceph類存儲(chǔ)產(chǎn)品的5-8倍，更高效、穩(wěn)定的滿足用戶多樣性業(yè)務(wù)需求。

　　創(chuàng)新架構(gòu)，釋放產(chǎn)品極致性能

　　青鸞以分布式文件系統(tǒng)為底座，采用扁平化架構(gòu)，支持插件化設(shè)計(jì)，面向未來提供豐富的增值擴(kuò)展能力，同時(shí)隔離物理運(yùn)行環(huán)境，使得與外部平臺(tái)的融合更加順暢。

青鸞整體構(gòu)架圖

　　簡單智能的運(yùn)維體驗(yàn)

　　青鸞的交互體驗(yàn)設(shè)計(jì)遵循極簡理念，運(yùn)維人員只需掌握基本的服務(wù)器運(yùn)維知識(shí)，無需深入理解青鸞和存儲(chǔ)系統(tǒng)，即可做到輕松出色的運(yùn)維。

　　青鸞可以提供簡單便捷的存儲(chǔ)集群部署體驗(yàn)，通過引導(dǎo)式流程，輕松幾步完成管理集群部署。而后以“向?qū)?新手”的指引模式，引導(dǎo)用戶完成集群的初始安裝部署。集群附加插件以簡單的“啟用插件”流程，引導(dǎo)用戶完成譬如對象存儲(chǔ)插件、NAS插件的安裝，只需用戶提供最少的必要信息，以最簡流程完成自動(dòng)的服務(wù)部署和啟動(dòng)。高速并行的多節(jié)點(diǎn)初始化安裝，即使在大規(guī)模集群下，也能在短時(shí)間內(nèi)完成環(huán)境搭建，過程全自動(dòng)化，簡單快捷。

　　同時(shí)，智能監(jiān)測集群狀態(tài)、服務(wù)狀態(tài)、硬件資源利用情況，異常狀態(tài)告警上報(bào)，便于運(yùn)維人員了解集群真實(shí)狀態(tài)，并根據(jù)告警采取相應(yīng)應(yīng)對措施。統(tǒng)一的全局故障代碼定義，便于多方溝通時(shí)的快速問題確認(rèn)。

多平臺(tái)異構(gòu)融合

　　同一集群支持X86、申威的異構(gòu)融合管理，可同時(shí)部署和管理不同類型主機(jī)。弱化主機(jī)架構(gòu)約束，集群各組件可以靈活的分配到異構(gòu)主機(jī)中，對外提供統(tǒng)一的存儲(chǔ)視圖，統(tǒng)一的命名空間。

　　各種架構(gòu)主機(jī)可以靈活擴(kuò)展，沒有架構(gòu)約束，沒有比例約束，便于異構(gòu)集群向同構(gòu)集群的漸進(jìn)式演化過程。

　　數(shù)據(jù)多協(xié)議互通

　　租戶的數(shù)據(jù)能夠以多種協(xié)議訪問，不論是NAS存儲(chǔ)、對象存儲(chǔ)還是塊存儲(chǔ)，均共享一份底層數(shù)據(jù)，且受到一致的數(shù)據(jù)訪問鎖控制，在底層真正做到跨協(xié)議數(shù)據(jù)的一致性保護(hù)。

　　架構(gòu)上采用扁平的數(shù)據(jù)共享模式，而非協(xié)議之間的搭積木式的協(xié)議轉(zhuǎn)換數(shù)據(jù)堆疊模式，各種協(xié)議能夠得到更一致的性能體驗(yàn)。

　　高性能IO框架

　　青鸞采用全旁路技術(shù)，針對NVMe SSD支持SPDK用戶態(tài)IO棧，支持RDMA網(wǎng)絡(luò)技術(shù)，充分釋放硬件性能。

　　統(tǒng)一租戶體系

　　青鸞的一體化設(shè)計(jì)，租戶不區(qū)分協(xié)議，文件系統(tǒng)、對象存儲(chǔ)、NAS、塊存儲(chǔ)等，全部共用一個(gè)租戶體系，享有一致性的數(shù)據(jù)權(quán)限。簡而言之，租戶的賬號密碼可以用于登錄界面訪問，可以掛載文件系統(tǒng)，可以訪問對象存儲(chǔ)。每種訪問場景，僅支持訪問自己擁有的數(shù)據(jù)和其它租戶授權(quán)訪問的數(shù)據(jù)。

　　插件化架構(gòu)

　　青鸞設(shè)計(jì)上采用插件式架構(gòu)，基礎(chǔ)版本為分布式文件系統(tǒng)。其他所有的附加功能，均以插件的方式進(jìn)行集成。

　　基于插件架構(gòu)的極高靈活性，青鸞與生態(tài)產(chǎn)品的融合變得更簡單，青鸞也更容易被納入到既有的IT基礎(chǔ)設(shè)施體系，靈活的插件選擇可以帶來不同的產(chǎn)品形態(tài)，讓不同的用戶群體都能得到更好的產(chǎn)品體驗(yàn)，量體裁衣，未來新的功能模塊擴(kuò)展也不會(huì)對既有的青鸞平臺(tái)造成污染，這將為青鸞帶來更持久的生命力以及持續(xù)的穩(wěn)定性表現(xiàn)。

　　性能數(shù)據(jù)

　　1.申威6B平臺(tái)

　　以最具代表性的文件操作性能為例，對比CEPH、青鸞V1.2、青鸞V2.0的性能數(shù)據(jù)。下述為單臺(tái)2NVME SSD + 10 HDD的申威6B服務(wù)器下的實(shí)測數(shù)據(jù)取整。

　　可見，在申威6B平臺(tái)，青鸞2.0的元數(shù)據(jù)寫性能將近CEPH架構(gòu)的5-8倍，元數(shù)據(jù)讀性能為1.5-3倍，具備巨大的提升。

　　2.X86平臺(tái)與申威6B青鸞

　　下面的對比將同等配置下，CEPH架構(gòu)在X86平臺(tái)(intel 至強(qiáng) E52620 V4)性能，與青鸞在SW6B平臺(tái)性能進(jìn)行對比，有很好的業(yè)務(wù)實(shí)用性意義。

　　可見，6B上的青鸞元數(shù)據(jù)寫性能為CEPH X86的80%-90%，二者基本一致?？梢詫?shí)現(xiàn)X86替代的使命。

　　面向豐富應(yīng)用場景，助力客戶核心業(yè)務(wù)成長

　　HPC場景/AI場景

　　青鸞為應(yīng)對計(jì)算集群對文件存儲(chǔ)極致的性能要求，采用了自主設(shè)計(jì)的獨(dú)立高效的元數(shù)據(jù)存取訪問策略；縮短了IO訪問路徑，海量文件場景下文件訪問性能無衰減，且突破了以往單個(gè)命名空間可承載的文件數(shù)量限制帶來的瓶頸。通過文件系統(tǒng)性能的提升，使計(jì)算平臺(tái)持續(xù)處于高效率運(yùn)轉(zhuǎn)狀態(tài)，從而縮短平臺(tái)運(yùn)轉(zhuǎn)工作時(shí)間。

　　面對AI場景，青鸞為AI業(yè)務(wù)提供一個(gè)橫向擴(kuò)展的底層存儲(chǔ)平臺(tái)，可承載上百億KB級小文件，為機(jī)器平臺(tái)成千上萬的客戶端提供并發(fā)訪問支持，滿足AI訓(xùn)練中計(jì)算集群高帶寬、低延時(shí)的訪問需求，使計(jì)算資源得到最大化利用，且在數(shù)十億文件數(shù)量下仍然能夠提供穩(wěn)定的數(shù)據(jù)訪問性能，有效提升訓(xùn)練效率。

　　海量非結(jié)構(gòu)化數(shù)據(jù)

　　基于分布式文件存儲(chǔ)，提供底層扁平化的存儲(chǔ)管理服務(wù)；基于上層內(nèi)容管理平臺(tái)，以標(biāo)準(zhǔn)RESTful接口提供高效的影像文件處理服務(wù)。

　　大數(shù)據(jù)應(yīng)用，平臺(tái)國產(chǎn)化對接申威

　　基于自研SDK替代HDFS文件系統(tǒng)，解決大數(shù)據(jù)在擴(kuò)展性、小文件存儲(chǔ)、元數(shù)據(jù)管理等方面的瓶頸，為Hadoop、Spark提供存儲(chǔ)服務(wù)，同時(shí)實(shí)現(xiàn)國產(chǎn)化對接基于申威的大數(shù)據(jù)平臺(tái)。

　　云平臺(tái)對接

　　青鸞在分布式文件存儲(chǔ)的基礎(chǔ)之上，提供各種協(xié)議，支持CSI，為OpenStack、K8S等虛擬化及容器云平臺(tái)提供存儲(chǔ)服務(wù)。

　　同時(shí)，青鸞為用戶提供標(biāo)準(zhǔn)CSI插件無縫對接Kurbernetes，簡化使用流程，提升可用性和數(shù)據(jù)訪問性能，并以此提供眾多企業(yè)級功能，如支撐容器化AI訓(xùn)練平臺(tái)，滿足業(yè)務(wù)使用、管理運(yùn)維等方面需求。

　　傳統(tǒng)NAS替代

　　以分布式存儲(chǔ)架構(gòu)，提供標(biāo)準(zhǔn)NFS/CIFS/FTP/POSIX服務(wù)，替代傳統(tǒng)NAS，突破性能、容量瓶頸。

　　產(chǎn)品的研發(fā)從來不是一蹴而就的，元核云會(huì)繼續(xù)加大產(chǎn)品研發(fā)投入，深化分布式存儲(chǔ)技術(shù)的創(chuàng)新，增強(qiáng)產(chǎn)品功能，提升產(chǎn)品性能，并且采用多種冗余策略強(qiáng)化產(chǎn)品安全性能，保障客戶業(yè)務(wù)底層的安全穩(wěn)定。

　　另一方面，青鸞將深化業(yè)務(wù)場景的探索，結(jié)合具體的場景需求做進(jìn)一步的針對性調(diào)整與優(yōu)化：針對高性能應(yīng)用場景，升級全閃存儲(chǔ)陣列；針對國產(chǎn)化應(yīng)用場景，逐步支持對多種國產(chǎn)芯片的適配。并且，青鸞將首先實(shí)現(xiàn)于軍工、政務(wù)等領(lǐng)域的規(guī)模化應(yīng)用，賦能行業(yè)客戶完成全國產(chǎn)化替代，實(shí)現(xiàn)自主可控的總體目標(biāo)。

　　未來，元核云將緊隨國家信息化建設(shè)總趨勢、總方針的引導(dǎo)，持續(xù)發(fā)力，堅(jiān)定不移走自主可控的國產(chǎn)化道路，秉承獨(dú)立自主的創(chuàng)新精神，堅(jiān)守自主研發(fā)的初心，打造新一代國產(chǎn)化分布式存儲(chǔ)，為自主可控長遠(yuǎn)發(fā)展提供最堅(jiān)實(shí)的數(shù)據(jù)底座！

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。