自動駕駛、智能制造、AI……新技術帶來數據量的爆炸式增長，這也導致企業的存儲成本快速上升。

以自動駕駛為例，L3級自動駕駛項目需要存儲50到120PB的傳感器數據，這些數據要求在短時間內分析完成，完整測試產生的數百PB數據需要存儲30年以上。這對訓練效率和海量存儲的成本優化提出了更高的要求。

分布式存儲，因其性能和擴展性更高、TCO成本更優，成為越來越多企業的選擇。作為一款企業級分布式存儲產品，杉巖MOS海量對象存儲(以下簡稱杉巖MOS)針對成本優化，除了常規的糾刪碼、橫縱雙向擴容外，還有哪些特色功能特性?來一探究竟!

常規特性解讀

1. 糾刪碼和亞節點糾刪，節省存儲空間

糾刪碼是提高存儲系統數據可靠性的一項編碼技術。杉巖MOS將糾刪碼技術應用到數據冗余處理中。寫入的對象被拆分為 K 個數據塊，然后編碼生成 M 個校驗塊，總共 K+M 份數據通過DHT 算法分別存入不同硬盤中。當系統出現故障，丟失了某些塊時，只要這個對象丟失的塊數目不超過 M，就可通過數據恢復算法，將丟失的數據塊從剩余的塊中計算出來。在這種方式下，空間的利用率約為 K/(K+M)，數據的可靠性由 M 值的大小決定，M 越大可靠性越高。

例如“3+2”EC 配置下一個對象寫入時，對象會生成 5 個塊，每個塊均存入不同的硬盤，如下圖所示：

圖 1 “3+2”EC 策略示意圖

杉巖MOS提供了靈活的EC配置方式以滿足不同應用場景。杉巖MOS支持EC22+2的存儲策略，相較于HDFS的三副本策略，采用EC22+2存儲策略的存儲空間利用率提升了175%。

默認的糾刪碼是按照節點來分配數據的，例如EC4+2需要配置6個節點，但亞節點糾刪可按照硬盤來分配數據，例如EC4+2:1，則是把3個節點當6個節點用，每個節點選擇2塊硬盤，整個集群選擇6塊不同的硬盤來存放4+2總計6個分片數據。如下圖所示：

圖2 “4+2”EC 亞節點糾刪策略示意圖

因此，EC4+2:1相比EC2+1，雖然能容忍節點故障數量仍然是1個，但它可以允許2個節點分別有1塊硬盤故障(總計2塊硬盤故障)而數據不丟失。而實際情況下，硬盤故障的概率是遠遠低于整個節點故障的，所以EC4+2:1還是非常可靠的，在空間利用率上也遠高于三副本。

配置建議：

在滿足性能及可靠性要求下配置適當的EC策略。

在滿足性能要求下，節點數量少于EC塊數量，可以配置亞節點糾刪。

2. 無感知橫縱雙向擴容，降低人力時間成本

杉巖MOS不僅支持節點的橫向擴展，還可支持縱向擴展。當后期業務容量不足時，可在線擴容節點磁盤或者節點。杉巖MOS基于多故障域的擴容，配合存儲策略，向應用屏蔽了底層存儲的變更細節，能夠在業務無感知的情況下，實現業務的擴容，避免了傳統存儲變更時，需要業務系統同時變更的情況，大大減少了運維人員及業務人員的工作量，降低人力時間成本。

配置建議：

將新擴容的節點/磁盤獨立成一個故障域，避免數據的遷移，建議選擇當前集群業務較少或無業務時間段操作，以防影響業務性能。

結合生命周期轉移技術，將某個故障域的數據自動轉移到另一個故障域中，實現數據的分層存儲。

杉巖MOS特色特性解讀

3. 重刪及壓縮，節省存儲空間及帶寬

隨著企業業務的不斷增長，需要存儲的數據越來越多。與此同時，企業可能面臨如下問題：

歷史數據中可能存在大量的冗余數據。冗余數據的增長消耗了非必要的存儲資源，導致存儲資源浪費，存儲成本也隨之增加。

存儲容量的增加帶來了維護管理的復雜，增加了運維成本及其他成本。

杉巖MOS支持數據重刪、壓縮(包括對象壓縮及數據的傳輸壓縮)兩種功能。重刪功能通過刪除杉巖MOS中的冗余數據塊，減少冗余數據在站點內占用的物理存儲容量，從而滿足日益增長的數據存儲需求。壓縮功能可在數據存儲時對數據桶進行壓縮，以及在多站點的場景下，將數據壓縮后再傳輸，節省存儲容量及帶寬。

配置建議：

在文件共享訪問等場景，建議開啟重刪和壓縮。

在備份場景下，推薦啟用數據壓縮功能。

多站點同步場景下，建議開啟數據傳輸壓縮。

注意事項：重刪和壓縮過程會占用CPU資源，所以重刪壓縮的數據越多，對系統性能的影響越大。

4. 數據分級存儲，降低歸檔成本

藍光存儲為客戶提供低成本、高可靠、長周期、大容量的冷數據存儲服務，適用于海量、訪問頻次低的非結構化數據的存檔和管理。

數據的訪問頻率通常會隨著時間的推移由熱轉冷，龐大的冷數據鮮少被再次調用，若繼續存在對象存儲中，成本非常高。杉巖MOS支持對數據進行全生命周期管理，支持冷熱數據介質分層遷移。基于成本考慮，可將冷數據自動歸檔至公有云或藍光存儲，實現大容量、低成本、長期保存數據。

配置建議：

重要數據建議備份至公有云。

結合生命周期策略，將冷數據歸檔至公有云或藍光存儲中。

5. 生命周期清除，降低存儲成本

杉巖MOS支持數據生命周期管理，用戶可通過設定數據生命周期管理策略，定期自動清理無用數據，釋放存儲空間。

配置建議：

針對無用數據，建議設置生命周期過期刪除策略，定期刪除無用數據。

統一設置桶的生命周期執行時間，可以將執行時間設置在數據流量較低的時間段，降低生命周期執行對業務的影響。

6. 傳統SAN納管，降低采購成本

杉巖MOS支持通過將客戶舊有的IP/FC-SAN設備掛載到MOS存儲節點，通過運維界面一鍵配置，將SAN設備虛擬成MOS的存儲池，將其云化為對象存儲設備，保護客戶歷史投資，降低采購成本。

圖3 將SAN設備虛擬成MOS的存儲池，利舊云化

7. NAS/S3異構技術，降低管理成本

在企業用戶從使用傳統的文件存儲到使用對象存儲的應用改造過程中，主要有以下幾個步驟：

業務系統代碼改造——數據遷移——數據校驗——業務系統停機升級——增量數據遷移與校驗——正式上線。

上述過程中，工作量最大的往往不是業務系統的代碼改造，而在于數據的遷移與校驗。在數據遷移的過程中，涉及到數據的傳輸，文件數量及內容的校驗，每一項工作都會消耗大量的時間與人力，為業務的割接上線帶來了許多阻力。

NAS/S3異構技術，實際上就是對象存儲系統對原有NAS/S3進行納管，從而能夠通過對象存儲接口(S3)訪問到NAS/S3中的數據，而無需數據遷移。在業務上線的過程中，省去了數據遷移與校驗的過程，大大縮短了業務上線的時間窗口，實現業務系統的快速切換與上線。

在經濟趨緩的背景下，如何節省企業存儲成本，已經成為優化企業IT開支的重要環節。杉巖MOS憑借優異的產品性能和功能特性，例如重刪及壓縮、數據分級存儲、生命周期清除、傳統NAS納管和NAS/S3異構技術，在幫助企業提高存儲空間利用率、保護歷史投資、節省存儲空間和采購成本等方面有著獨特的價值優勢。

深耕分布式存儲科技創新，杉巖數據幫助企業夯實數據底座、挖掘數據價值、釋放數據潛能，助力企業“降本增效”，從容應對大數據挑戰!

特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。