專為數(shù)據(jù)庫打造,沃趣 QDFS 文件系統(tǒng)的創(chuàng)新實(shí)踐

在需要極致 IO 性能的場景,尤其是企業(yè)數(shù)據(jù)庫、大數(shù)據(jù)分析等領(lǐng)域,NVMe SSD 提供了前所未有的硬件能力。然而,如何有效地將這些本地 NVMe 設(shè)備組織起來提供數(shù)據(jù)保護(hù)(如多副本、條帶化),并與上層文件系統(tǒng)無縫對接,是一個(gè)亟待解決的問題。

傳統(tǒng)的存儲管理方法,如結(jié)合使用 MDRAID、LVM 和通用文件系統(tǒng)(XFS/EXT4),在 NVMe 環(huán)境下往往顯得復(fù)雜且難以充分發(fā)揮硬件潛力,給運(yùn)維帶來不便。

為了克服傳統(tǒng)存儲管理的局限性,沃趣科技自主研發(fā)了 QDFS 技術(shù),實(shí)現(xiàn)了 NVMe SSD、數(shù)據(jù)卷和文件系統(tǒng)的一體化管理,為企業(yè)用戶在數(shù)據(jù)庫場景提供了個(gè)統(tǒng)一、高效、專為高性能應(yīng)用優(yōu)化的存儲底座。

QDFS:真正的數(shù)據(jù)庫專用文件系統(tǒng)

傳統(tǒng)的存儲管理方式,是將磁盤陣列、卷管理(如 LVM)和文件系統(tǒng)(如 XFS、EXT4)作為相互獨(dú)立的層次進(jìn)行管理。這導(dǎo)致管理視圖割裂,不同的工具和命令集導(dǎo)致運(yùn)維復(fù)雜性大幅提高。

QDFS 創(chuàng)新性地實(shí)現(xiàn)了 NVMe SSD 設(shè)備、數(shù)據(jù)卷和文件系統(tǒng)的一體化融合管理。它摒棄了傳統(tǒng)多層疊加的復(fù)雜架構(gòu),提供了統(tǒng)一的技術(shù)棧和簡潔的命令行接口(支持白屏化管理),涵蓋了從底層設(shè)備識別、存儲池化、數(shù)據(jù)保護(hù)配置到上層文件系統(tǒng)管理的全部功能 。

wechat-1761808068593.png

與傳統(tǒng)方案需要使用多套命令不同,QDFS 命令精簡,操作流程顯著簡化 。這種統(tǒng)一的管理模式降低了運(yùn)維門檻,讓管理數(shù)據(jù)庫存儲環(huán)境所需的精力大大減少。

打破傳統(tǒng)架構(gòu)束縛,釋放 NVMe 潛能

傳統(tǒng)的通用文件系統(tǒng)和卷管理器,通常采用通用緩存策略和 IO 調(diào)度方式,無法充分發(fā)揮 NVMe 的低延遲和高并發(fā)特性。

QDFS 作為面向數(shù)據(jù)庫設(shè)計(jì)的專業(yè)文件系統(tǒng) ,針對高性能應(yīng)用場景深度優(yōu)化了 IO 路徑,有效提升了 NVMe 性能的利用效率,實(shí)測顯示,QDFS 在讀寫吞吐和隨機(jī) IO 方面表現(xiàn)優(yōu)異,相比 XFS 結(jié)合軟硬件 RAID 方案,IO 吞吐提高 6 倍,IOPS 提升 2 倍 。

數(shù)據(jù)條帶化

QDFS 支持將多達(dá) 64 塊 NVMe 磁盤組成一個(gè)文件系統(tǒng) ,通過細(xì)粒度的數(shù)據(jù)條帶化,確保數(shù)據(jù)能夠并行分布并訪問,有助于聚合多塊磁盤的 IO 能力。

智能 IO 調(diào)度

在配置多副本的情況下,QDFS 支持所有副本參與讀操作并通過智能 IO 調(diào)度,將讀請求導(dǎo)向響應(yīng)最快的磁盤,有效平衡負(fù)載,優(yōu)化讀取延遲。

wechat-1761808071065.png

直接路徑 IO

QDFS 支持直接路徑 IO 模式。這意味著應(yīng)用(如數(shù)據(jù)庫)可以直接在自身緩沖區(qū)與底層存儲設(shè)備之間傳輸數(shù)據(jù),減少了不必要的 CPU 數(shù)據(jù)拷貝和文件系統(tǒng)緩存的開銷,提高了數(shù)據(jù)處理效率和系統(tǒng)穩(wěn)定性 。

可靠的數(shù)據(jù)保護(hù)與靈活的擴(kuò)展能力

通用文件系統(tǒng)通常不提供內(nèi)置的數(shù)據(jù)冗余功能,需要依賴上層應(yīng)用(如數(shù)據(jù)庫分布式副本)或底層 RAID 卡/軟件 RAID(如 MDRAID)提供數(shù)據(jù)保護(hù)。故障發(fā)生時(shí),傳統(tǒng)的軟件 RAID 重建過程復(fù)雜,影響整體系統(tǒng)性能和可用性。

QDFS 在文件系統(tǒng)層面內(nèi)置了先進(jìn)的數(shù)據(jù)保護(hù)機(jī)制,提供了比傳統(tǒng)方案更靈活、高效的冗余和故障恢復(fù)能力,并優(yōu)化了故障處理流程。

靈活的副本數(shù)量

支持 1、2、3 種數(shù)據(jù)副本配置,用戶可根據(jù)業(yè)務(wù)對可用性的要求靈活選擇。

RAID2.0 細(xì)粒度冗余

采用細(xì)粒度的 Bucket 條帶化和隨機(jī)分散存儲策略,即使是奇數(shù)盤也能高效實(shí)現(xiàn)雙副本保護(hù)。數(shù)據(jù)副本分散在不同磁盤和故障組間,確保數(shù)據(jù)的高可用性 。

wechat-1761808073508.jpeg

FailGroup 故障組

支持用戶自定義故障組,確保副本跨故障組冗余,有效應(yīng)對 RAID 卡或存儲節(jié)點(diǎn)層面的故障,提高架構(gòu)整體的韌性 。任意故障組內(nèi)所有磁盤損壞不影響文件可用性。

節(jié)點(diǎn)內(nèi)快速重建

發(fā)生磁盤故障時(shí),QDFS 在節(jié)點(diǎn)內(nèi)進(jìn)行數(shù)據(jù)副本重建,重建數(shù)據(jù)量僅為故障磁盤大小,速度快,避免了跨節(jié)點(diǎn)全副本重建帶來的網(wǎng)絡(luò)和 IO 壓力,減少了“雪崩”的可能性 。

極簡運(yùn)維提升易用性和管理效率

存儲系統(tǒng)的運(yùn)維操作,如擴(kuò)容或更換故障磁盤,在傳統(tǒng)方案下流程復(fù)雜,往往需要停機(jī)或?qū)I(yè)務(wù)造成明顯影響(RTO 風(fēng)險(xiǎn),性能下降)。文件系統(tǒng)快照功能若采用全量拷貝,會占用大量空間且創(chuàng)建、恢復(fù)速度慢。

QDFS 提供了豐富的在線運(yùn)維能力,并支持高效的快照功能,顯著提升了存儲系統(tǒng)的易用性和數(shù)據(jù)管理效率。

在線擴(kuò)容與數(shù)據(jù)重平衡

QDFS 支持 Online Rebalance 功能,支持在線增加任意數(shù)量的磁盤進(jìn)行擴(kuò)容。擴(kuò)容后,系統(tǒng)會自動(dòng)將數(shù)據(jù)均勻分布到所有新老磁盤上,確保始終能利用到所有盤的 IO 能力,重平衡過程不產(chǎn)生數(shù)據(jù)庫 RTO,且可通過 QoS 控制,不影響業(yè)務(wù) RTO。 

wechat-1761808075894.png

COW(寫時(shí)復(fù)制)與高效快照

支持 COW 模式,在此基礎(chǔ)上提供高效的子卷快照。快照通過記錄指針變化實(shí)現(xiàn),僅記錄差異數(shù)據(jù)塊,空間占用小,對于讀多寫少的應(yīng)用場景尤其高效,方便進(jìn)行數(shù)據(jù)備份、恢復(fù)或回滾。

在線故障換盤

支持簡單的在線故障換盤操作,不影響 RTO 時(shí)間,滿足金融級業(yè)務(wù)場景需求。

沃趣 QDFS 文件系統(tǒng)作為沃趣科技自主研發(fā)的核心軟件技術(shù),是應(yīng)對 NVMe 時(shí)代存儲挑戰(zhàn)的創(chuàng)新實(shí)踐。也是沃趣 QData 數(shù)據(jù)庫專有云一體機(jī)產(chǎn)品的重要存儲引擎。

通過技術(shù)革新,我們有效打破了傳統(tǒng)存儲管理的復(fù)雜性壁壘,顯著提升了 NVMe 設(shè)備的性能利用率和數(shù)據(jù)可靠性,為企業(yè)關(guān)鍵應(yīng)用提供了堅(jiān)實(shí)、高效、易用的存儲基礎(chǔ)設(shè)施,助力企業(yè)構(gòu)建更強(qiáng)大的數(shù)據(jù)能力。

而搭載該技術(shù)的沃趣數(shù)據(jù)庫專有云一體機(jī)產(chǎn)品,則依賴于包括QDFS、QST、NDA等一系列沃趣科技自研的核心技術(shù),為企業(yè)數(shù)據(jù)庫提供高性能、高可靠、易管理的存儲底座,為用戶提供了開箱即用、運(yùn)維極簡、性能領(lǐng)先的數(shù)據(jù)庫基礎(chǔ)設(shè)施解決方案。