創(chuàng )澤機器人 |
CHUANGZE ROBOT |
人工智能已經(jīng)深入醫療、教育、工業(yè)到能源、金融等各個(gè)L域。
因此并不意外,在2020年第三屆軟件定義存儲峰會(huì )上,英特爾提出的主題是“突破內存與存儲瓶頸 釋放人工智能無(wú)限潛力”。畢竟在這場(chǎng)抗疫戰斗中,英特爾不僅投入重金資助合作伙伴使用AI技術(shù)進(jìn)行診斷、疫苗開(kāi)發(fā)方面的研究,還推動(dòng)AI科技在醫學(xué)檢驗、醫療物資生產(chǎn)、疫情推演等多個(gè)L域加速落地,英特爾深知AI人工智能對人類(lèi)的重要性。除了對抗新型病毒,AI人工智能技術(shù)其實(shí)也深入了人類(lèi)生活的各個(gè)L域。英特爾公司中國區非易失性存儲解決方案事業(yè)部戰略業(yè)務(wù)開(kāi)發(fā)總監倪錦峰先生在峰會(huì )上談到:“從醫療、教育、工業(yè)到能源、金融等等,每個(gè)行業(yè)都在以數字化的方式來(lái)尋求主動(dòng)變革,我們可以預見(jiàn)的是,在不遠的將來(lái),整個(gè)社會(huì )對數字化的服務(wù)需求將不斷地激增”。
AI人工智能技術(shù)將給存儲產(chǎn)品帶來(lái)重大挑戰
人工智能技術(shù)的數據管道主要分為采集、準備、訓練和推理四部分。每個(gè)部分需要讀寫(xiě)不同類(lèi)型的數據,工作負載也不盡相同。
“工欲善其事,必先利其器”,要想發(fā)揮出AI人工智能技術(shù)的大威力,需要企業(yè)構建強有力的IT基礎設施。這個(gè)設施不僅需要強有力的處理器、FPGA、GPU,也需要G性能的存儲設備,否則就會(huì )如普通電腦一般,因為機械硬盤(pán)傳輸速度慢,尋找數據的時(shí)間長(cháng),往往會(huì )成為整個(gè)系統性能的瓶頸,即使是SATA/PCIe NAND SSD,很多時(shí)候也跟不上AI數據處理的需求。倪錦峰先生介紹到,無(wú)論用于哪個(gè)行業(yè),人工智能的工作實(shí)際上主要由采集、準備、訓練和推理四部分組成。每個(gè)部分需要讀寫(xiě)不同類(lèi)型的數據,工作負載也不盡相同,將給存儲設備帶來(lái)較大的挑戰。
簡(jiǎn)單地說(shuō),在整個(gè)人工智能執行過(guò)程中,IO的需求是不可預測、復雜多變的,它讀寫(xiě)的數據主要有三個(gè)重要的特點(diǎn):
D一是它的數據集大小,差異性非常大,在初開(kāi)始的采集階段是PB級別,到訓練階段是GB級別,到訓練好了執行的函數,相關(guān)的模型可能是KB級別;
D二它的工作負載也是復雜多變的,從初百分之百的寫(xiě)入到準備階段的50%讀、50%寫(xiě)混合負載,到后面的一些訓練、推理階段可能出現百分之百的讀,其中包括很多的隨機讀取操作;
第三是存儲模式也會(huì )有很多變化,從一開(kāi)始順序化的數據流寫(xiě)入,到后面則是通過(guò)完全隨機的讀寫(xiě),來(lái)幫助建立準確的模型。
因此人工智能技術(shù)對存儲性能的要求是很苛刻的,用戶(hù)總是希望設備能滿(mǎn)足G吞吐量和低延時(shí)的需求,總是希望更多的數據能夠更加靠近處理器,以獲取及時(shí)的傳輸、執行,但用戶(hù)又會(huì )希望AI的基礎設施投資成本能在可控的范圍之內,可以說(shuō)這是一個(gè)相互矛盾的需求,那么對于用戶(hù)來(lái)說(shuō)如何才能實(shí)現這個(gè)愿望呢?
優(yōu)化成本,提升性能
英特爾存儲產(chǎn)品構建分層存儲
首先還是應對用戶(hù)使用的數據類(lèi)型進(jìn)行研究,倪錦峰先生向我們展示了英特爾經(jīng)典的存儲金字塔圖。在應用中,并不是所有數據都會(huì )經(jīng)常被用到,因此數據可以被分成熱數據、溫數據和冷數據等3個(gè)不同層次。熱數據即需要立馬進(jìn)行處理的數據,例如銀行收到的轉賬請求,即時(shí)的地理位置等。溫數據是非即時(shí)的狀態(tài)和行為數據,例如用戶(hù)近期感興趣的話(huà)題,或用戶(hù)去過(guò)的地方等,冷數據則是不經(jīng)常訪(fǎng)問(wèn)的數據。
研究數據類(lèi)型、數據使用所形成的工作負載,對數據進(jìn)行分層,并使用適合的設備來(lái)存儲數據可以提升存儲系統的性能,并降低成本。
如果全部使用DRAM內存來(lái)存儲這些數據,在性能上可能會(huì )表現突出,但也意味著(zhù)用戶(hù)需要花費非常G昂的成本。因此更合理的是根據數據的類(lèi)型、負載對它們合理地使用存儲設備。例如可以使用DRAM內存、英特爾傲騰持久內存來(lái)存儲熱數據,因為它們擁有很G的性能和超低的延遲,離CPU和GPU,能夠獲得及時(shí)的洞察。而英特爾傲騰固態(tài)盤(pán)搭配以英特爾為代表的TLC、QLC NAND固態(tài)盤(pán),則憑借大容量、G性能適合用于熱、溫熱、溫存儲。這種分層設計的J妙之處在于金字塔里的每一個(gè)層級的數據、使用產(chǎn)品在容量和延時(shí)特性上正好有數量級的差距,這就使得用戶(hù)可以根據數據的類(lèi)型、工作負載進(jìn)行冷熱分層,并同時(shí)參考自己的預算,對性能的需求,對功耗的預期,來(lái)不斷地優(yōu)化自己的存儲方案。
憑借不同于傳統NAND閃存的革命性材料,傲騰具有就地寫(xiě)入、支持位尋址、低延遲等三大新特性。
那么英特爾的存儲技術(shù)能否承擔起這一重任呢?從倪錦峰先生的介紹中,可以看到由于使用了不同于傳統NAND閃存的傲騰介質(zhì),傲騰持久內存、傲騰固態(tài)盤(pán)具有諸多新特性。首先是它支持就地寫(xiě)入,寫(xiě)入前不需要進(jìn)行數據擦除。不像普通NAND閃存存在讀-修改-寫(xiě)這個(gè)過(guò)程,因此它擁有更好的性能。同時(shí)在長(cháng)時(shí)間寫(xiě)入后,它也不會(huì )出現數據臟塊,不需要進(jìn)行垃圾回收,因此傲騰產(chǎn)品可以很好地保持性能一致性,不會(huì )出現NAND固態(tài)盤(pán)用得越久、性能越差的問(wèn)題。
與采用傳統NAND閃存的DC P4600SSD相比,傲騰固態(tài)盤(pán)DC P4800X的延遲更低、一致性更好,壽命長(cháng)得多,效率更G。
其次是傲騰技術(shù)支持位尋址,可以提供超低的延遲,帶來(lái)更快的傳輸速度,畢竟AI人工智能技術(shù)的應用對存儲設備的容量和性能都有很G的要求。相比傳統NAND閃存,傲騰產(chǎn)品在性能上有質(zhì)的提升,形象地比喻,就是將數據的載體從汽車(chē)升級為飛機。延遲方面,它好可以做到微秒級別,雖然和內存DRAM的不到0.1 微秒相比還是存在一定的差距,但是已遠遠好于NAND閃存的近百微秒的水平。英特爾數據顯示傲騰DC固態(tài)盤(pán)的訪(fǎng)問(wèn)延遲不僅較傳統HDD、SATA SSD大幅降低,即便與同樣采用NVMe接口的NAND SSD相比,其優(yōu)勢也是非常大的——與采用3D NAND 顆粒的英特爾DC P4600 SSD 相比,傲騰固態(tài)盤(pán)DC P4800X的讀取延遲在不同寫(xiě)壓力、不同隊列深度下,低了8~63倍。
此外新介質(zhì)大幅提升了傲騰產(chǎn)品的壽命,英特爾傲騰固態(tài)盤(pán)可以支持多達60個(gè)DWPD(每日全盤(pán)寫(xiě)入次數),而大家所熟悉的英特爾P4600、P4610這樣的G性能、G壽命的NAND固態(tài)盤(pán),只能支持3個(gè)DWPD左右,英特爾傲騰固態(tài)盤(pán)的進(jìn)步是非?捎^(guān)的。
人工智能技術(shù)的數據管道可以通過(guò)使用英特爾傲騰持久內存、傲騰固態(tài)盤(pán)、QLC 3DNAND固態(tài)盤(pán),進(jìn)行合理搭配來(lái)提升任務(wù)執行的效率,并降低成本、功耗。
同時(shí)從AI數據通道中的采集、整理、訓練、推理四個(gè)階段,可以看到各階段對存儲的要求是非常G的,需要有持續、一致的吞吐量,以及同樣一致、持續、超低的延遲,這些需求正是傲騰產(chǎn)品所擅長(cháng)的,再加上英特爾QLC 3D NAND SSD所擁有的大容量(已可實(shí)現單盤(pán)32TB)、G性能特性,通過(guò)這樣一個(gè)出色的結合,可以幫助改善客戶(hù)對數據的融合,提升軟件定義存儲解決方案的性能,幫助用戶(hù)為即將到來(lái)的人工智能時(shí)代的數據爆發(fā)做好相應的準備。
大幅提升效率
英特爾存儲方案體現實(shí)際價(jià)值
采用傲騰固態(tài)盤(pán)后,VMWare vSAN、hadoop、CEPH等各個(gè)存儲系統的性能都獲得了大幅提升。
根據倪錦峰先生介紹,在實(shí)際使用中,不少平臺改用英特爾傲騰產(chǎn)品后,都獲得了很好的效果。如百度在2018年發(fā)布了基于英特爾傲騰固態(tài)盤(pán)加英特爾QLC 3D NAND固態(tài)盤(pán)的存儲解決方案,這一方案大幅提升了AI人工智能、大數據、云計算的存儲性能。在A(yíng)I的一個(gè)訓練場(chǎng)景中,這一方案相比原來(lái)的HDD機械硬盤(pán)方案可以獲得21倍的性能提升以及96%的延遲下降,同時(shí)降低TCO多達60%。在VMWare vSAN分布式存儲系統中,將G性能緩存從NAND PCIe固態(tài)盤(pán)換成英特爾的傲騰固態(tài)盤(pán)后,其虛擬機密度提升了60%,同時(shí)系統整合率能夠提升30%;在hadoop分布式架構中,當用戶(hù)使用英特爾傲騰固態(tài)盤(pán)作為hadoop的臨時(shí)數據緩存后,其吞吐量或性能可以提升40%左右。
而在CEPH分布式存儲系統中,當用戶(hù)使用英特爾傲騰固態(tài)盤(pán)替換了傳統的NAND固態(tài)盤(pán),作為元數據(metadata)緩存和journal盤(pán)后,其延遲可以降低50%左右,同時(shí)IOPS性能獲得了40%左右的提升。在微軟的Azure Stack HCI云平臺上,當用戶(hù)將英特爾傲騰固態(tài)盤(pán)作為緩存盤(pán)后,則能使每個(gè)系統、每個(gè)節點(diǎn)所能夠支持的虛擬機數量提升60%左右,同時(shí)虛擬機的跑分也能夠提升約80分。此外,現在也有很多國內公司正在使用英特爾傲騰技術(shù)來(lái)進(jìn)行存儲解決方案的創(chuàng )新,包括浪潮、VMWare、XSKY、QingCloud等眾多合作伙伴。
讓存儲更接近計算資源讓存儲兼得G性能與穩定性
英特爾公司中國區非易失性存儲解決方案事業(yè)部戰略業(yè)務(wù)開(kāi)發(fā)總監倪錦峰先生接受了采訪(fǎng)
從以上的技術(shù)講解、案例可以看到,英特爾解決方案之所以能有如此突出的表現,主要依賴(lài)的是性能接近內存的傲騰存儲產(chǎn)品。而在前不久舉行的2020英特爾中國年度戰略“紛享會(huì )”上,英特爾也提出了近內存計算的概念,那么這是否代表著(zhù)未來(lái)的存儲趨勢?幸運的是,筆者在此次大會(huì )上還獲得了采訪(fǎng)英特爾公司中國區非易失性存儲解決方案事業(yè)部戰略業(yè)務(wù)開(kāi)發(fā)總監倪錦峰先生的機會(huì )。倪錦峰先生認為在這個(gè)數據爆發(fā)的時(shí)代,特別是當5G技術(shù)發(fā)展成熟之后,所產(chǎn)生的大量數據無(wú)法通過(guò)網(wǎng)絡(luò )全部匯集到數據中心,所以部分數據需要要在邊緣進(jìn)行計算,這就需要存儲和計算在邊緣端融合在一起,只有G效的存儲性能才能幫助邊緣端快速完成計算。
而在數據中心里,則存在不少壓縮、解壓縮等具有規律性、重復性、依賴(lài)內存的計算需求,如果使用傳統的執行方式將消耗很多CPU計算資源和DRAM內存資源。英特爾的中長(cháng)期目標則是將計算和存儲融合在一起,使得存儲和計算更加靠近。比如英特爾中國研究院宋繼強院長(cháng)提到的方案是將FPGA與存儲架構融合在一起,存儲系統可以滿(mǎn)足類(lèi)似實(shí)時(shí)計算的要求,比如壓縮、解壓縮、AI訓練等。同時(shí)存儲系統的參與也能有效降低用戶(hù)對CPU、內存資源的需求,從而降低成本。而性能接近內存的傲騰介質(zhì)的確比較合適承擔這一重任。
顯然傲騰突出的性能是實(shí)現近內存計算的關(guān)鍵,那么企業(yè)在長(cháng)時(shí)間使用傲騰時(shí),是否需要進(jìn)行額外的維護、保養呢?倪錦峰先生則表示對于傳統的NAND閃存固態(tài)盤(pán)來(lái)說(shuō),可能需要這樣的工作。畢竟傳統SSD的讀-修改-寫(xiě)機制會(huì )導致垃圾數據堆積,造成性能下降,同時(shí)垃圾回收等會(huì )帶來(lái)額外的壽命損耗。傳統SSD之所以后續會(huì )出問(wèn)題,一是因為垃圾堆積沒(méi)有有效處理,二是因為NAND閃存用的時(shí)間越長(cháng),它的壞塊就會(huì )越多,因此需要做很多壞塊的管理工作,壞塊越多,冗余空間越來(lái)越少,性能也會(huì )越差。
而傲騰產(chǎn)品沒(méi)有寫(xiě)入放大的問(wèn)題,同時(shí)可擦寫(xiě)能力非常G,壽命有量級差異,所以它的整個(gè)生命周期里是沒(méi)有性能衰減的問(wèn)題。同時(shí)傲騰產(chǎn)品都經(jīng)歷了嚴格的性能和可靠性驗證,包括模擬了惡劣負載情況下工作5年的測試,即加速老化測試。英特爾有大量的數據證明,傲騰產(chǎn)品在整個(gè)生命周期里面性能是一致、持續穩定的。
傲騰將成加速AI人工智能技術(shù)的“催化劑”
在本文截稿時(shí),新G疫情仍沒(méi)有結束,人類(lèi)仍在與之戰斗。但我們堅信沒(méi)有一個(gè)冬天不能過(guò)去,沒(méi)有一個(gè)春天不會(huì )到來(lái),AI新興技術(shù)必將助力人類(lèi)更快地戰勝疫情,加速推動(dòng)社會(huì )的數字化和智能化的發(fā)展。而要加速AI技術(shù)的發(fā)展,像傲騰這樣讓數據更靠近CPU,性能接近內存的新技術(shù)必不可少。而憑借更大的存儲容量和優(yōu)異的性?xún)r(jià)比,英特爾QLC3D NAND也將成為取代HDD機械硬盤(pán)陣列的一個(gè)新選擇。毫無(wú)疑問(wèn),傲騰技術(shù)與QLC 3D NAND技術(shù)的結合,將成為AI人工智能技術(shù)的“催化劑”,我們也期待著(zhù)這瓶“催化劑”能讓AI人工智能技術(shù)發(fā)展得更快,并創(chuàng )造出更多的成果,為人類(lèi)造福。
![]() |
機器人招商 Disinfection Robot 機器人公司 機器人應用 智能醫療 物聯(lián)網(wǎng) 機器人排名 機器人企業(yè) 機器人政策 教育機器人 迎賓機器人 機器人開(kāi)發(fā) 獨角獸 消毒機器人品牌 消毒機器人 合理用藥 地圖 |