【導讀】數據是各種現代企業的生命線，而數據存儲、訪問與管理策略對企業的生產力、盈利能力以及競爭力會產生顯著影響。隨著人工智能（AI）的興起，各行各業都在經歷變革，企業不得不重新思考如何利用數據來加速創新和增長。然而，AI訓練和推理對數據管理和存儲提出了獨特的挑戰，因為它們需要處理龐大的數據，同時要求高性能、可擴展性和高可用性。
數據是各種現代企業的生命線，而數據存儲、訪問與管理策略對企業的生產力、盈利能力以及競爭力會產生顯著影響。隨著人工智能（AI）的興起，各行各業都在經歷變革，企業不得不重新思考如何利用數據來加速創新和增長。然而，AI訓練和推理對數據管理和存儲提出了獨特的挑戰，因為它們需要處理龐大的數據，同時要求高性能、可擴展性和高可用性。
存儲系統的性能各異，受多種因素影響。在這篇博客文章中，我們將探討影響存儲系統在AI領域的表現的幾大因素，并重點分析所選用的基礎存儲介質將如何影響這些性能因素。
AI工作負載的關鍵屬性
AI工作負載具有數據密集和計算密集的雙重特性，這意味著它們需要高速、低延遲地處理大量數據。存儲在支持AI工作負載高效且有效地訪問、攝取、處理和存儲數據方面發揮著關鍵作用。典型AI工作負載對存儲要求產生影響的幾個關鍵屬性包括：
·數據多樣性：AI工作負載需要從多個來源訪問數據，數據格式包括結構化、非結構化和半結構化，同時這些數據位于不同的位置（如本地、云端或邊緣設備）。存儲解決方案需要確保在不同環境和平臺之間實現快速且可靠的數據訪問和傳輸。
·數據速度：AI工作負載需要實時或近實時地處理數據。存儲解決方案需要確保在數據攝取、處理和分析過程中，實現高吞吐量、低延遲，以及穩定一致的性能。
·數據量：由于AI模型越來越復雜、準確性越來越高，GPU集群計算能力不斷增長，其存儲解決方案也需要提供靈活且可擴展的容量和性能。
·數據可靠性和可用性：AI工作負載必須確保數據的完整性、安全性以及非常高的可用性，尤其是在與大型GPU集群相連時，這些集群不能容忍數據訪問發生中斷，因此相應的要求也越高。
影響存儲系統性能的因素 存儲系統性能并非單一指標，而是多個因素的組合，取決于數據、應用程序和數據中心基礎設施的特性和要求。其中包括以下幾大重要因素： ·吞吐量：從存儲系統到網絡或主機，以及從網絡或主機到存儲系統的數據傳輸速率。提高吞吐量可以改善系統性能，方法是增加帶寬以及減少數據流中的擁塞和瓶頸。吞吐量通常受網絡寬帶或存儲介質速度的影響。 ·延遲：存儲系統對讀寫請求的響應時間。低延遲可以改善性能，方法是減少GPU空閑時間以及提高系統對用戶輸入的響應能力。機械設備（如HDD）的延遲本質上要遠高于固態設備（SSD）。 ·可擴展性：存儲系統對數據量、數據速度和數據多樣性的適應能力。高可擴展性是確保存儲系統能夠隨著業務需求和目標實現增長和演進的關鍵。在增加系統能夠存儲和管理的數據量方面，面臨的嚴苛挑戰是維持性能擴展，同時不觸及瓶頸或存儲設備的限制。 ·復原力：存儲系統在遭遇故障、錯誤或災難時維護數據完整性和可用性的能力。更高的可靠性可以通過降低數據損壞、丟失以及恢復的頻率和影響來提高性能。 其他存儲介質 在數據中心應用中，機械硬盤（HDD）和固態硬盤（SSD）是兩種主要的持久存儲設備。HDD是機械設備，通過旋轉的磁盤盤片（表面涂有一層磁性材料）來存儲數據，而SSD通過固態閃存芯片來存儲數據。幾十年來，HDD一直都是主導的存儲設備。HDD的每位成本很低，同時具有長期斷電耐用性，但是在速度和可靠性方面不及SSD。SSD具有高吞吐量、低延遲、高可靠性，以及更密集的封裝選項等特點。 隨著技術的不斷進步和計算需求的日益增加，HDD的機械性質確實讓其在性能上無法與SDD比肩。系統設計可以采用以下幾種方法來提升基于HDD的存儲系統的有效性能，例如將熱數據和冷數據混合存放（讓熱數據從冷數據中借用性能），在多個HDD磁盤中并行共享數據（提高吞吐量但不降低延遲），在HDD中預留冗余容量（本質上是針對IO進行預置，而不是增加容量），以及為延遲異常的請求或操作添加SSD緩存層。從成本效益的角度來看，這些系統級解決方案的能力只能在有限的范圍內擴展。實際應用需要怎樣的性能水平，這些解決方案就需要進行相應擴展，才能滿足性能要求。對于目前的許多AI 工作負載而言，基于HDD的系統在性能可擴展性和功率效率方面存在不足。 基于SSD的大容量存儲系統可以提供一種更為簡潔且可擴展性更強的解決方案，并且它們正在迅速發展，在許多以GPU為中心的大型數據中心中，已成為高性能AI數據湖的存儲介質。單從驅動器層面來看，SSD（基于每位成本）的成本要高于HDD。而從系統層面整體來看，如果考慮到以下改進，則與HDD相比，使用SSD構建的系統運營成本要低一些： ·更高的吞吐量 ·延遲降低100倍以上 ·每PB字節所需的服務器和機架數量更少 ·可靠性更高，使用壽命更長 ·在給定的性能水平下，能源效率更高 未來幾年，SSD的容量有望突破120TB。隨著容量的增加以及SSD與HDD之間價格差距的縮小，對于需要高于平均性能或在大數據集上需要極低延遲的其他工作負載（比如視頻剪輯和醫療成像診斷）來說，這些SSD將是具有吸引力的替代方案。 （文章來源：Micron美光科技，作者：Currie Munce，美光存儲部門高級技術顧問和戰略專家）
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯系小編進行處理。
推薦閱讀：
