在需要極致 IO 性能的場景,尤其是企業(yè)數據庫、大數據分析等領域,NVMe SSD 提供了前所未有的硬件能力。然而,如何有效地將這些本地 NVMe 設備組織起來提供數據保護(如多副本、條帶化),并與上層文件系統無縫對接,是一個亟待解決的問題。
傳統的存儲管理方法,如結合使用 MDRAID、LVM 和通用文件系統(XFS/EXT4),在 NVMe 環(huán)境下往往顯得復雜且難以充分發(fā)揮硬件潛力,給運維帶來不便。
為了克服傳統存儲管理的局限性,沃趣科技自主研發(fā)了 QDFS 技術,實現了 NVMe SSD、數據卷和文件系統的一體化管理,為企業(yè)用戶在數據庫場景提供了個統一、高效、專為高性能應用優(yōu)化的存儲底座。
QDFS:真正的數據庫專用文件系統
傳統的存儲管理方式,是將磁盤陣列、卷管理(如 LVM)和文件系統(如 XFS、EXT4)作為相互獨立的層次進行管理。這導致管理視圖割裂,不同的工具和命令集導致運維復雜性大幅提高。
QDFS 創(chuàng)新性地實現了 NVMe SSD 設備、數據卷和文件系統的一體化融合管理。它摒棄了傳統多層疊加的復雜架構,提供了統一的技術棧和簡潔的命令行接口(支持白屏化管理),涵蓋了從底層設備識別、存儲池化、數據保護配置到上層文件系統管理的全部功能 。
與傳統方案需要使用多套命令不同,QDFS 命令精簡,操作流程顯著簡化 。這種統一的管理模式降低了運維門檻,讓管理數據庫存儲環(huán)境所需的精力大大減少。
打破傳統架構束縛,釋放 NVMe 潛能
傳統的通用文件系統和卷管理器,通常采用通用緩存策略和 IO 調度方式,無法充分發(fā)揮 NVMe 的低延遲和高并發(fā)特性。
QDFS 作為面向數據庫設計的專業(yè)文件系統 ,針對高性能應用場景深度優(yōu)化了 IO 路徑,有效提升了 NVMe 性能的利用效率,實測顯示,QDFS 在讀寫吞吐和隨機 IO 方面表現優(yōu)異,相比 XFS 結合軟硬件 RAID 方案,IO 吞吐提高 6 倍,IOPS 提升 2 倍 。
數據條帶化
QDFS 支持將多達 64 塊 NVMe 磁盤組成一個文件系統 ,通過細粒度的數據條帶化,確保數據能夠并行分布并訪問,有助于聚合多塊磁盤的 IO 能力。
智能 IO 調度
在配置多副本的情況下,QDFS 支持所有副本參與讀操作并通過智能 IO 調度,將讀請求導向響應最快的磁盤,有效平衡負載,優(yōu)化讀取延遲。
直接路徑 IO
QDFS 支持直接路徑 IO 模式。這意味著應用(如數據庫)可以直接在自身緩沖區(qū)與底層存儲設備之間傳輸數據,減少了不必要的 CPU 數據拷貝和文件系統緩存的開銷,提高了數據處理效率和系統穩(wěn)定性 。
可靠的數據保護與靈活的擴展能力
通用文件系統通常不提供內置的數據冗余功能,需要依賴上層應用(如數據庫分布式副本)或底層 RAID 卡/軟件 RAID(如 MDRAID)提供數據保護。故障發(fā)生時,傳統的軟件 RAID 重建過程復雜,影響整體系統性能和可用性。
QDFS 在文件系統層面內置了先進的數據保護機制,提供了比傳統方案更靈活、高效的冗余和故障恢復能力,并優(yōu)化了故障處理流程。
靈活的副本數量
支持 1、2、3 種數據副本配置,用戶可根據業(yè)務對可用性的要求靈活選擇。
RAID2.0 細粒度冗余
采用細粒度的 Bucket 條帶化和隨機分散存儲策略,即使是奇數盤也能高效實現雙副本保護。數據副本分散在不同磁盤和故障組間,確保數據的高可用性 。
FailGroup 故障組
支持用戶自定義故障組,確保副本跨故障組冗余,有效應對 RAID 卡或存儲節(jié)點層面的故障,提高架構整體的韌性 。任意故障組內所有磁盤損壞不影響文件可用性。
節(jié)點內快速重建
發(fā)生磁盤故障時,QDFS 在節(jié)點內進行數據副本重建,重建數據量僅為故障磁盤大小,速度快,避免了跨節(jié)點全副本重建帶來的網絡和 IO 壓力,減少了“雪崩”的可能性 。
極簡運維提升易用性和管理效率
存儲系統的運維操作,如擴容或更換故障磁盤,在傳統方案下流程復雜,往往需要停機或對業(yè)務造成明顯影響(RTO 風險,性能下降)。文件系統快照功能若采用全量拷貝,會占用大量空間且創(chuàng)建、恢復速度慢。
QDFS 提供了豐富的在線運維能力,并支持高效的快照功能,顯著提升了存儲系統的易用性和數據管理效率。
在線擴容與數據重平衡
QDFS 支持 Online Rebalance 功能,支持在線增加任意數量的磁盤進行擴容。擴容后,系統會自動將數據均勻分布到所有新老磁盤上,確保始終能利用到所有盤的 IO 能力,重平衡過程不產生數據庫 RTO,且可通過 QoS 控制,不影響業(yè)務 RTO。
COW(寫時復制)與高效快照
支持 COW 模式,在此基礎上提供高效的子卷快照。快照通過記錄指針變化實現,僅記錄差異數據塊,空間占用小,對于讀多寫少的應用場景尤其高效,方便進行數據備份、恢復或回滾。
在線故障換盤
支持簡單的在線故障換盤操作,不影響 RTO 時間,滿足金融級業(yè)務場景需求。
沃趣 QDFS 文件系統作為沃趣科技自主研發(fā)的核心軟件技術,是應對 NVMe 時代存儲挑戰(zhàn)的創(chuàng)新實踐。也是沃趣 QData 數據庫專有云一體機產品的重要存儲引擎。
通過技術革新,我們有效打破了傳統存儲管理的復雜性壁壘,顯著提升了 NVMe 設備的性能利用率和數據可靠性,為企業(yè)關鍵應用提供了堅實、高效、易用的存儲基礎設施,助力企業(yè)構建更強大的數據能力。
而搭載該技術的沃趣數據庫專有云一體機產品,則依賴于包括QDFS、QST、NDA等一系列沃趣科技自研的核心技術,為企業(yè)數據庫提供高性能、高可靠、易管理的存儲底座,為用戶提供了開箱即用、運維極簡、性能領先的數據庫基礎設施解決方案。