你看不見的果說技術仍在發展。在這樣的將不驚訝深海區域,一旦出現顛覆性創新,需硬就會帶來新的果說浪潮。MQs “十年前,將不驚訝如果有人說未來PC里不會有硬盤,需硬也許沒人會相信。但事實上,現在很多電腦沒有硬盤,只有固態硬盤。我覺得五年后,PC里可能就沒有SSD了,全部都會變成內存。」MQs “大內存”軟件公司MemVerge CEO范成功預測,公司今年5月宣布新一輪戰略融資,投資方包括英特爾、思科等巨頭公司,融資金額1900萬美元。MQs 范成功的“大記憶”對很多人來說可能看似陌生,但卻與每個人息息相關。這是MemVerge提出的一個概念,關于一個新的計算時代。MQs 大內存是什么?MQs要理解大內存,我們必須先了解計算機體系結構。簡而言之,計算機中的數據存儲是分級的,經常使用的數據放在更昂貴的內存中,不經常使用的數據放在更便宜的硬件設備中,如硬盤和固態硬盤(這些設備被專業人士統稱為“存儲”,相當于內存)。原因很簡單,無非是“讓計算更經濟”。MQs 內存很貴,因為它訪問速度快,適合放在CPU附近,讓CPU讀寫常用數據。然而,制造存儲器的介質在斷電時是易失性的,因此不能用作永久數據存儲硬件。雖然存儲訪問速度很慢,但它很便宜,可以永久保存數據。因此,它適用于存儲不常用的數據。當中央處理器想要訪問存儲器中的數據時,存儲器將數據交給內存,然后內存再交給中央處理器。MQs 大內存的起源是一種叫做PMem(持久內存)的存儲介質的誕生。用這種介質制造的硬件能很好地集成內存和存儲的優點,延遲低,存取快,斷電時不易丟失。與內存相比,存儲相同大小的數據更便宜。這樣一來,PMem 硬件就能既完成計算的作用,也肩負存儲的責任。MQs 可以預見,在未來的存儲架構中,PMem媒體硬件將取代內存,擠壓存儲的現有價值。MemVerge稱之為大內存時代。范成功預測,未來所有應用都將在大內存上運行,存儲可能很少使用。MQs 英特爾是PMem的先驅。早在20年前就開始了實驗,2019年推出了基于PMem的硬件奧騰。英特爾不是一個孤獨的早期采用者。除了英特爾,美光、海力士等其他硬件公司也在加緊布局。目前,由于競爭條款或研發周期,英特爾是市場上唯一的參與者,但預計 2 年后 PMem 硬件市場將會迎來一輪爆發。.MQs MemVerge的軟件服務于這一爆炸性趨勢。更準確地說,MemVerge為PMem數據中心提供了企業級解決方案,使現有軟件能夠在即將推出的新內存架構上更好地運行。MQs 范成功介紹,首先,新的硬件需要新的編程模式,但對于現有的企業軟件來說,重寫的成本巨大,因此需要中間層的遷移工具;其次,雖然目前PMem介質已經能夠提供大容量,但是仍然需要跨機聯動才能充分存儲大規模數據,所以需要軟件來池化硬件。此外,基于存儲生成的數據服務一直是存儲行業的重要組成部分,也構成了新架構的重要需求。MQs 針對以上三點需求,MemVerge發布了一款名為Memory Machine的產品,基于英特爾傲騰硬件為企業提供軟件服務。目前,內存機已經在金融、AI領域被部分客戶使用。MQs 誰在吃螃蟹MQs對于企業來說,嘗試新技術的動力往往來自于實際業務中的痛點,尤其是大內存的新架構。在MemVerge的客戶中,位于華爾街的一家投資銀行是最典型的。MQs 在日常股市中,投資銀行買賣股票的平均頻率為每秒5萬筆,這些交易數據需要實時分發到200多個賬戶。其中一些賬戶與交易相關,如對沖基金、銀行和其他交易者,而其他賬戶與系統相關,如法律管理和風險評估。MQs 在投資銀行的這項業務中,系統延遲影響到真金白銀的得失,因此他們不遺余力地減少延遲。在奧騰出現之前,銀行系統中有一個非常成熟的解決方案叫做“發布/訂閱”(Pub/Sub),通過SSD加傳統網絡的解決方案,延遲了幾百微秒。MemVerge為這家銀行打造了Opteron plus RDMA的解決方案,配合內存機的軟件技術,可以將延遲降低到3微秒左右。MQs 在同一個金融領域,數據中心的宕機恢復一直是令人頭疼的問題。由于實時性和高并發性,目前在交易過程中,數據很難實時存儲在非易失性存儲器中,俗稱難“掉”。相反,它被暫時存儲在內存中,然后在交易日結束后統一下跌。MQs 出于安全原因,事務處理過程中只有一個日志。這樣,如果系統在事務處理過程中宕機,內存中的數據丟失,那么想要恢復,需要根據日志從最后一次“掉線”的時間節點回滾,也就是前一天晚上。這種停機恢復通常是每小時一次,而交易是在幾分鐘和幾秒鐘內進行的。MQs PMem介質的存儲可以有效解決這個問題,因為所有的數據都存儲在大內存中,斷電時不容易丟失,所以沒有掉盤的動作。通過高頻快照快速回滾,可以在幾分鐘內解決停機造成的數據恢復問題。MQs 此外,在近年來熱門的AI領域,大內存也能發揮作用。范成功介紹,在深度學習的模型訓練中,當模型的大小大于內存時,AI模型的訓練速度會受到數據傳輸速度的制約。同理,動畫、游戲等行業也會遇到這樣的問題,大內存的應用可以有效解決。MQs 大內存改變了什么?MQs目前MemVerge的客戶中,除了金融機構,還有LinkedIn、騰訊云等互聯網公司,以及一些AI公司。這些對計算的效率及可靠性有要求的公司,成了大內存時代的嘗鮮者。MQs 在存儲架構升級帶來的變化中,MemVerge做的業務只是一小部分。比如,基于新架構的數據服務、網絡服務目前還處于藍海階段。另外,存儲架構的升級也為應用層面提供了更多的想象。's更快的游戲體驗是否能催生新的游戲品類;AI計算速度的提升帶來了成本的下降,是否有利于AI技術在行業的普及。MQs 普通消費者看不見的存儲介質等技術仍在發展。在這樣的深海區域,一旦出現顛覆性創新,就會帶來新的浪潮。正如移動互聯網的誕生源于電容屏的發明,AI的廣泛應用得益于馮諾依曼架構瓶頸的突破。PMem媒體記憶帶來的驚喜還沒有被揭開,隱藏的機會還在等待被打開。MQs |
如果你說將來不需要硬盤 你會驚訝嗎?
摘要:你看不見的果說技術仍在演進。在這樣的將不驚訝深海領域,一旦出現顛覆性創新,需硬就將帶來新一輪浪潮。果說「十年之前如果誰說,將不驚訝以后 PC 里不會有硬盤,需硬可能沒有人會相信。果說但事實上現在的將不驚訝 PC 很多都沒有硬盤,而是需硬 SSD。我...