99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2023-03-23 閱讀量: 4254
如何構(gòu)建可持續(xù)的ChatGPT高性能服務器端架構(gòu)?
圖片

邊緣計算 | 液冷服務器 | GPT-4

深度學習 | AI服務器 | ChatGPT


在上周舉行的發(fā)布會上,OpenAI宣布推出了GPT-4模型。與之前的版本相比,GPT-4最大的改進是其多模態(tài)(multimodal)能力——它不僅能夠閱讀文字,還能識別圖像。值得注意的是,雖然之前有消息稱GPT-4擁有100萬億個參數(shù),但OpenAI并沒有證實這個數(shù)字。與其相比,OpenAI更強調(diào)GPT-4的多模態(tài)能力以及其在各種測試中的表現(xiàn)。


據(jù)OpenAI表示,GPT-4在多種基準測試中表現(xiàn)出超過絕大多數(shù)人類的水平。例如,在美國律師資格考試Uniform Bar Exam、法學院入學考試LSAT、“美國高考”SAT數(shù)學部分和證據(jù)性閱讀與寫作部分的考試中,GPT-4的得分高于88%的應試者。


此外,OpenAI正與多家公司合作,將GPT-4結(jié)合到他們的產(chǎn)品中,這些公司包括Duolingo、Stripe和Khan Academy等。同時,GPT-4模型也將以API的形式提供給付費版ChatGPT Plus的訂閱用戶使用。開發(fā)者可以利用這個API打造各種應用。微軟也在宣布中表示,新款必應搜索引擎將運行于GPT-4系統(tǒng)之上。


在發(fā)布會上,演示人員用草稿本和紙筆畫了一個非常粗糙的草圖,然后拍照告訴GPT-4他需要做一個長這樣的網(wǎng)站,并需要生成網(wǎng)站代碼。令人印象深刻的是,GPT-4只用了10秒鐘便生成了完整的網(wǎng)站代碼,實現(xiàn)了一鍵生成網(wǎng)站的效果。


微信圖片_20230315100220.png


ChatGPT的高性能運行離不開一個穩(wěn)定的服務器端架構(gòu)。建立可持續(xù)的服務器端架構(gòu),不僅可以保障ChatGPT的穩(wěn)定性和可靠性,還有助于減少能源消耗、降低成本和支持企業(yè)的可持續(xù)發(fā)展戰(zhàn)略。因此,本文將探討如何構(gòu)建可持續(xù)的ChatGPT高性能服務器端架構(gòu)。


GPU服務器.jpg


超越“以往的桎梏”

ChatGPT突破還是AI延伸?


ChatGPT是一種自然語言處理的技術(shù),可以根據(jù)已有的數(shù)據(jù)訓練模型,從而產(chǎn)生更加真實自然的對話。這種技術(shù)的產(chǎn)生自然是延續(xù)了之前的AI發(fā)展過程,但在某些方面也實現(xiàn)了突破。


1、ChatGPT具有更強大的對話生成能力。在早期的AI技術(shù)中,基于規(guī)則和模式的方式進行對話生成,因此往往會面臨限制和拘束的問題。但GPT系列模型通過大量的語言訓練數(shù)據(jù),可以實現(xiàn)更加真實自然,靈活適應對話場景的對話生成。


2、ChatGPT的訓練方式也有所改變。在以往,通常需要人工參與到數(shù)據(jù)標注的過程中,讓機器能夠理解人類語言的含義。但是GPT系列通過無監(jiān)督訓練的方式,可以從龐大的語言數(shù)據(jù)中學習人類語言表達的規(guī)律和結(jié)構(gòu),進而實現(xiàn)更加真實、生動的對話生成。


3、GPT系列模型在處理多語種和多場景對話方面也有優(yōu)勢。傳統(tǒng)的AI技術(shù)主要適應單一場景,缺乏語言的多樣性。但是,GPT系列模型因其對多種語言訓練的能力,可以處理不同語種之間的對話,也可以應對不同場景的對話需求。


ChatGPT兩年內(nèi)

發(fā)展與展望


聯(lián)合研發(fā)OpneAI的GPT-4已經(jīng)開發(fā)了三年多,發(fā)布時間不久,它很有可能會在效率上得到大幅提升,但具體將涌現(xiàn)哪些新的代碼能力還不確定。目前尚能確定的是GPT-4將解決像GPT-3.5中存在的一些重要問題,例如優(yōu)化數(shù)據(jù)參數(shù)比例,提高信息處理和規(guī)律發(fā)現(xiàn)的效率,以及提高信息輸入的質(zhì)量等。極有可能會在效率上提升許多,它的推理成本也會大大降低(有可能降低到百倍)。不確定的是GPT-4將有多大的模型規(guī)模(它可能比傳言的大模型還大),以及它是否會具備多模態(tài)的能力(此前尚未確定,未來也難以預測)。即使模型具備多模態(tài)能力,但由于多模態(tài)信息很難標準化為文本模式,因此,在ChatGPT對世界進行豐富多彩的想象時,它目前仍然是有限的。


一、ChatGPT現(xiàn)階段所面臨的很多問題在工程上都有相對簡單的解決方案。例如:


1、解決“hallucination”問題(ChatGPT偏向于產(chǎn)生不準確的輸出)可以通過優(yōu)化準確度和引入搜索數(shù)據(jù)來做矯正,而且人類可以參與判斷過程以增加準確度。此外,在應用ChatGPT時,可以先在人類確定好壞的場景下進行輔助性判斷。


2、對于ChatGPT的記憶力有限問題,可以使用OpenAI提供的開放接口來解決。特別的,現(xiàn)有的解決方法非常神奇,只需要在提示ChatGPT回答之前,向它說明所提供的內(nèi)容僅是全部信息的一部分,并要求其在聽完后再回答。


3、ChatGPT的自我審查能力不僅僅基于規(guī)則,更基于理解,這種基于理解的自我審查能力實際上更加可調(diào)節(jié)。OpenAI也提出了讓ChatGPT在尊重基本規(guī)則的前提下,發(fā)言尺度可以根據(jù)需求進行調(diào)節(jié)的愿景。


image.png


二、ChatGPT的成本會直線下降,尤其inference的成本會小兩個以上數(shù)量級

ChatGPT的成本將會直線下降,特別是inference的成本會小兩個以上數(shù)量級。 Sam在公開場合曾經(jīng)說過,ChatGPT的inference成本是幾分錢每條。此外,《Key Takes from ChatGPT and Generative AI.pdf》根據(jù)Jefferies Research的詳細調(diào)研,ChatGPT的inference大概率是基于閑置x86 CPU而非GPU進行的。


出于對inference和大型語言模型優(yōu)化空間的理解,我們認為inference成本會直線下降,這一點是非常有可能的。成本的下降意味著應用范圍和數(shù)據(jù)收集能力的擴大。即使ChatGPT的用戶達到了十億DAU的水平(當前的一億DAU的估算也是不準確的),它也能做到免費。最多只有一些使用次數(shù)的限制。New Bing曾一度限制搜索次數(shù)為60次,但現(xiàn)在也已經(jīng)取消了。這些實際使用中的對話無疑將進一步加強ChatGPT的優(yōu)勢地位。


三、對于ChatGPT的“能力”子模型,可能需要重新訓練,但“知識”子模型只需要通過instruct prompting的方式輸入新知識即可,無需修改已有的pre-trained模型。


對于許多子任務,只要ChatGPT具備了理解能力和知識量,就可以通過對話、引導和教育的方式,不斷調(diào)整ChatGPT的表現(xiàn),讓它在各個子任務中發(fā)揮出新的能力。與此相比,過往的AI技術(shù)在面臨新的任務時,需要重新訓練模型,而不能像ChatGPT這樣只需要輸入新的知識。


image.png


如果以鋼鐵俠3為比喻,ChatGPT就像通用型鎧甲,能夠勝任大部分工作。通過“教育”和“引導”的方式,可以讓ChatGPT在多個領(lǐng)域中完成各種工作,例如給出醫(yī)療建議、法律參考、編寫代碼框架、制定營銷方案、提供心理咨詢、擔任面試官等。


需要強調(diào)的是,prompting的重要性。微軟的New Bing并沒有對ChatGPT做出太大的修改,而是通過prompting引導ChatGPT進行合理的搜索。在prompting的基礎上,如果要專注于某些方面,例如犧牲對話延續(xù)性來提高信息精度,就需要重新訓練模型并進行調(diào)整。這可能需要整合其他能力模塊,例如搜索和其他模型的接口,并融合一些工具,就像那些專精型鎧甲一樣??傊?,通過不斷錘煉ChatGPT的能力和使用工具,可以拓展其應用范圍和解鎖更多的可能性。


四、隨著時間的推移,我們預測自助型ChatGPT的Prompting能力將得到大幅提高,并會逐步開放更多功能。


這不僅是商業(yè)上的顯而易見的優(yōu)點,還能讓用戶逐步調(diào)教屬于自己的ChatGPT,讓其適應自己的偏好并學習獨特的知識(而非僅限于技能的刺激)。此外,盡管 ChatGPT 的模型仍然是閉源的,不同應用層上的競爭力仍然能夠得以開發(fā)和提高,解決了僅能向OpenAI提供UI設計的疑慮。想象一下這樣的場景,你的 ChatGPT 能夠記錄你與TA的所有對話,并從你的反饋中逐漸學習。如果你是一個優(yōu)秀的營銷經(jīng)理,過了一段時間,你的 ChatGPT 也將獲得比其他人更出色的營銷技能。


五、GPT-4預計能夠大幅提升ChatGPT的能力,在多個領(lǐng)域達到“優(yōu)秀員工”的水平。


最近的范式革命已經(jīng)體現(xiàn)了New Bing和ChatGPT之間的巨大差異。我們有充足的理由相信,在以下方面,GPT-4幾乎肯定會有巨大的進步:


1、大模型、大數(shù)據(jù)、更優(yōu)化的參數(shù)和數(shù)據(jù)比例。這些因素的優(yōu)化方向很明顯,因為參數(shù)越多、數(shù)據(jù)越多,但是只有合適的比例才能使模型充分吸收數(shù)據(jù)知識。


2、更有針對性的訓練數(shù)據(jù)集。OpenAI在“造高質(zhì)量大數(shù)據(jù)”上的能力幾乎獨步天下,而經(jīng)過GPT-3之后的多年摸索,他們已經(jīng)能夠更好地調(diào)整什么數(shù)據(jù)對增強什么模型能力更有用(例如讀取更多代碼和調(diào)整多種語言的比例等)。


3、可能的“能力模塊融合”。New Bing以ChatGPT為基座并延伸了搜索能力。是否有辦法直接將搜索能力融入預訓練大模型?類似地,可以考慮如何高效地將其他能力融入基于預訓練大模型的 ChatGPT,并結(jié)合更多的場景進行調(diào)教。因此,預測在接下來的兩年內(nèi),基于GPT-4的ChatGPT,在大多數(shù)場景下都能夠達到9級員工的水平,擁有更強大的歸納和“理解”能力。


ChatGPT與GPT

能力壁壘探究


ChatGPT的壁壘來源有以下幾個方面:


一、GPT-3是閉源的,OpenAI保持著非常審慎的態(tài)度,不可能把ChatGPT開源。因此,國產(chǎn)機器學習依賴于“開源模型國產(chǎn)實現(xiàn)”路徑在ChatGPT上看起來不現(xiàn)實。


image.png


二、模型參數(shù)的增加需要強大的工程能力,同時也需要讓大模型能夠有效地學習到大數(shù)據(jù)中的知識,如何調(diào)教模型產(chǎn)出人類需要的輸出這些問題在OpenAI的博客中都被強調(diào)了。需要具備“原理性”思考習慣的工程師參與突破這些工程瓶頸。據(jù)悉,OpenAI超高的人才密度成功突破了許多工程瓶頸。因此,需要在上一步工程突破的基礎上進行下一步工程積累。


三、特定的商業(yè)環(huán)境下注重實用,例如字節(jié)跳動的推薦算法模型雖然十分大,難度也很大。但是,基于現(xiàn)有模式的持續(xù)優(yōu)化不能形成范式突破。在現(xiàn)實的商業(yè)環(huán)境下,如果不能為業(yè)務提供正反饋,模型的發(fā)展會受到極大的阻礙。


四、Leadership的技術(shù)判斷力是稀缺資源。New Bing與ChatGPT的成功結(jié)合被視為罕見的奇跡,遠超市面上其他人。這方面可遇不可求,不是一個可復制的模式。


image.png


五、數(shù)據(jù)飛輪已經(jīng)形成,ChatGPT是現(xiàn)象級成功的C端產(chǎn)品之一,結(jié)合微軟的資源和渠道加成,一上來就卡住了非常好的身位。因此,ChatGPT的使用數(shù)據(jù)是可以不斷反補模型本身的。ChatGPT的博客也強調(diào)了他們的獨特機制,使得數(shù)據(jù)的使用、理解和生產(chǎn)都有閉環(huán)。


image.png


ChatGPT

未來AI時代的新工具


ChatGPT的DAU增長現(xiàn)象級,用戶反饋也表現(xiàn)出其異常實用。雖然ChatGPT具有極高的娛樂價值想象,但其顯著提升生產(chǎn)力的能力則更為突出。對話和閱讀實際上是一種較高門檻的娛樂方式,多數(shù)情況下,豐富性和深度并非是娛樂價值的主要決定因素。因此,我們建議在使用ChatGPT時多著眼于提升生產(chǎn)力上。


此外,需要記住,ChatGPT是一種顛覆式的產(chǎn)品,而不是漸進式的改進。對于科技的早期采用者而言,可能已經(jīng)無法離開ChatGPT,但對于大眾而言,打開搜索引擎進行搜索甚至已不是普遍習慣,使用清晰合理的提示與ChatGPT進行對話的程度更是偏低。因此,在未來幾年內(nèi),ChatGPT取代的更多是各種SaaS、云、效率工具,如搜索引擎等。


在實際場景應用中,我們應該遵循兩個原則:對癥下藥和擇善而從。ChatGPT不等同于搜索引擎和程序,我們應該讓它發(fā)揮其所長,而不是去試圖替代其他更為高效的工具或服務。此外,考慮到當前ChatGPT存在明顯的幻覺問題,我們應該保持警惕,不在所有場合盲目相信ChatGPT的結(jié)論,而是在需要人工判斷的情況下使用ChatGPT,并由人來審視其結(jié)論的真實性。


image.png


ChatGPT與人類

從本質(zhì)上探究兩者的不同


由于腦科學和神經(jīng)科學發(fā)展尚不夠成熟,我們只能從哲學的角度探究人類和ChatGPT這兩者在本質(zhì)上的不同與相同。


一、從判斷力的角度來看,ChatGPT只能從虛擬數(shù)字中吸取數(shù)字信號,無法與現(xiàn)實世界進行真實交互。只有躬行實踐,才能建立判斷力的根基。


二、如果只基于數(shù)字信號進行推測,ChatGPT很可能會得出錯誤的結(jié)論。例如牛頓發(fā)現(xiàn)萬有引力的過程,是基于看到蘋果落地從而預測星星運動的。而當時很多人都認為太陽是繞著地球轉(zhuǎn)的,如果有一個ChatGPT,很可能會得出錯誤的結(jié)論。因此,在日常生活中,識別思維能力,例如“靈感并發(fā)、靈光一現(xiàn)”的瞬間,也是很有意義的。


三、如果只是歸納現(xiàn)有知識,ChatGPT很可能比人類做得更好。但是創(chuàng)造互聯(lián)網(wǎng)上不存在的新知識,才是ChatGPT做不到的。


四、從理解人的角度來看,人類能夠理解人性,而不需要通過調(diào)研、問卷和網(wǎng)絡資料。同時,通過現(xiàn)實世界的實踐,人類能夠帶來關(guān)于人性的增量理解。這是ChatGPT所無法達到的。這暗示著,在真正理解人類時,要去真實世界進行實踐,而不是去人云亦云地重復套路。



ChatGPT探索對算力的需求


AI模型對算力的需求主要體現(xiàn)在訓練和推理兩個層面。當前主流的人工智能算法通??煞譃椤坝柧殹焙汀巴评怼眱蓚€階段。賽迪數(shù)據(jù)顯示,2022年中國數(shù)字經(jīng)濟爆發(fā)強大的增長動能,比上年增長20.7%,較2021年提高2.9個百分點,遠超世界平均水平,數(shù)字經(jīng)濟規(guī)模達到45.5萬億元,規(guī)模超排名第三的德國一倍有余,數(shù)字經(jīng)濟發(fā)展水平穩(wěn)居全球第二位,數(shù)字經(jīng)濟規(guī)模超過彰顯出數(shù)字經(jīng)濟大國姿態(tài)。近年來中國也在積極推動數(shù)字產(chǎn)業(yè)創(chuàng)新能力加快提升,推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型提檔加速,與美國在數(shù)字經(jīng)濟競爭力上的差距也逐漸縮小。


  • 訓練階段

    對人工智能模型進行調(diào)整和優(yōu)化的過程,以達到預期的準確度。為了讓模型更準確,訓練階段通常需要處理大量的數(shù)據(jù)集,采取反復迭代的計算方式,需要耗費大量的計算資源。推理階段是在完成訓練階段后,應用已建立的人工智能模型進行推理或預測輸入數(shù)據(jù)的輸出結(jié)果。

  • 推理階段

    相比訓練階段對計算能力畢竟要求不那么高,但由于訓練出來的人工智能模型需要多次用于推理任務,因此推理運算的總計算量依然很可觀。


圖片1.png


ChatGPT的算力需求場景可以根據(jù)實際應用進一步拆分為預訓練、Finetune和日常運營三個階段。預訓練階段通過大量無標注的文本數(shù)據(jù)來訓練模型的基礎語言能力,得到基礎大模型,例如GPT-1、GPT-2和GPT-3。Finetune階段在基礎大模型的基礎上,進行監(jiān)督學習、強化學習和遷移學習等二次或多次訓練,以優(yōu)化調(diào)整模型參數(shù)量。日常運營階段基于用戶輸入信息,加載模型參數(shù)進行推理計算,并實現(xiàn)最終結(jié)果的反饋輸出。


圖片

預訓練階段:單次算力需求取決于模型參數(shù)量,最高可達3640 PFlop/s-day


ChatGPT是一個語言模型,其架構(gòu)基于Transformer。Transformer架構(gòu)由編碼和解碼模塊組成,其中GPT只使用解碼模塊。 此外,Transformer還包含三個層級:前饋神經(jīng)網(wǎng)絡,自注意力機制層和自注意力掩碼層,這些層級都相互作用,以實現(xiàn)模型的高效性。


自注意力機制是Transformer中最重要的部分之一,其主要作用是計算某個單詞對于所有單詞的權(quán)重(即Attention)。通過這種方式,模型能夠更好地理解文本內(nèi)在關(guān)系,以及對輸入之間的關(guān)系實現(xiàn)高效學習。自注意力機制層還允許模型進行更大規(guī)模的并行計算,這使得計算效率得到了大大的提升。


前饋神經(jīng)網(wǎng)絡層提供高效的數(shù)據(jù)信息存儲和檢索。在這個層面上,模型能夠有效地處理大規(guī)模的數(shù)據(jù)集并實現(xiàn)高效計算。


掩碼層是為了在自注意力機制中過濾右側(cè)未出現(xiàn)的單詞。 這種遮蔽允許模型只能注意到文本中已經(jīng)展示的內(nèi)容,從而保證了計算的準確性。


與之前的深度學習框架相比,Transformer架構(gòu)具有明顯的優(yōu)勢。Transformer架構(gòu)的并行計算能力更強,能夠大大提高計算效率。這使得GPT可以訓練更大更復雜的語言模型,并且可以更好地解決語言處理問題。


圖片

Transformer解碼模塊拆解

根據(jù)先前的數(shù)據(jù),預計日常運營每月需要約7034.7 PFlop/s-day的算力。用戶交互也需要算力支持,每次互動成本約0.01美元。根據(jù)ChatGPT官網(wǎng)近一個月(2023年1月17日至2月17日)總訪問量達8.89億次,因此2023年1月OpenAI為ChatGPT支付的運營算力成本約為890萬美元。另外,Lambda表示,訓練一次1746億參數(shù)的GPT-3模型所需的算力成本超過460萬美元;而OpenAI表示,訓練一次1746億參數(shù)的GPT-3模型所需的算力約為3640 PFlop/s-day。我們假設單位算力成本不變,因此ChatGPT單月運營所需的算力約為7034.7PFlop/s-day。

圖片

Finetune階段:預計ChatGPT單月Finetune的算力需求至少為1350.4PFlop/s-day


ChatGPT是一種需要不斷進行Finetune模型調(diào)優(yōu)的模型,以確保它處于最佳應用狀態(tài)。這個調(diào)優(yōu)的過程需要開發(fā)者對模型參數(shù)進行調(diào)整,以確保輸出內(nèi)容不是有害和失真的,并基于用戶反饋和PPO策略對模型進行大規(guī)模或小規(guī)模的迭代訓練。這一過程中需要的算力將為OpenAI帶來成本,具體的算力需求和成本金額取決于模型的迭代速度。


預計ChatGPT單月Finetune算力需求至少為1350.4PFlop/s-day。根據(jù)IDC的預測,在2022年中國人工智能服務器負載中,推理和訓練的比例分別為58.5%和41.5%。如果假設ChatGPT對推理和訓練的算力需求分布與之保持一致,且已知單月運營需要算力7034.7 PFlop/s-day、一次預訓練需要算力3640 PFlop/s-day,那么我們可以進一步假設每月最多進行一次預訓練。由此我們計算得ChatGPT單月Finetune算力成本至少為1350.4PFlop/s-day。


從 GPT-1 的 1.17 億到 GPT-2 的 15 億,超 10 倍的參數(shù)差距帶來了性能上的飛躍。這似乎意味著,隨著容量和參數(shù)量的增多,模型性能還有更大的潛力——因此,2020 年 GPT-3 的參數(shù)量翻了 100 倍:1750 億,其預訓練數(shù)據(jù)量也高達 45TB(GPT-2 是 40GB,GPT-1 約 5 GB)。事實證明,海量參數(shù)確實讓 GPT-3 具備了更強大的性能,它在下游任務表現(xiàn)的非常好。即便是復雜的 NLP 任務,GPT-3 也表現(xiàn)驚艷:可以模仿人類寫作,編寫 SQL 查詢語句、React 或 JavaScript 代碼等。回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展,許多人對 GPT-4 寄予厚望,甚至還有傳言稱 GPT-4 的參數(shù)量將高達 100 萬億。


鑒于人類反饋機制下,模型需要不斷獲得人類指導以實現(xiàn)參數(shù)調(diào)優(yōu),所以模型調(diào)整可能會多次進行。這需要的算力成本將會更高。


ChatGPT服務器

種類有哪些?


一、中國服務器發(fā)展現(xiàn)狀


各國加快提升數(shù)字經(jīng)濟發(fā)展水平,傳統(tǒng)行業(yè)的數(shù)字化進程加速,企業(yè)的數(shù)字化智慧化需求旺盛,尤其是5G、大數(shù)據(jù)、人工智能等新興技術(shù)領(lǐng)域快速發(fā)展,持續(xù)賦能服務器行業(yè)。


1、高算力需求帶動服務器行業(yè)迎來發(fā)展新機遇

算力作為一種核心生產(chǎn)力,應用在互聯(lián)網(wǎng)、政務、金融等各領(lǐng)域場景隨著元宇宙、Web3.0等新概念的出現(xiàn),更復雜的計算場景產(chǎn)生高算力需求。推動服務器產(chǎn)品向更高計算性能方向升級。


2、大型數(shù)據(jù)中心建設加快服務器市場規(guī)模增長

大規(guī)模數(shù)據(jù)中心建設是全球服務器市場增長的主要動力、北美、亞大西歐等全球大部分地區(qū)的數(shù)據(jù)中心服務器采購持續(xù)增長。


二、ChatGPT需要的服務器:AI訓練型服務器+AI推理型服務器


邊緣計算需要大量機器處理高負載請求,而傳統(tǒng)的CS模式已經(jīng)無法滿足這一需求。當前的互聯(lián)網(wǎng)架構(gòu)正在向以CDN服務為核心的CES模式轉(zhuǎn)變,但CES模式在邊緣上處理非結(jié)構(gòu)化數(shù)據(jù)存儲和處理的需求方面存在局限性。因此,引入Edge端以解決無法處理業(yè)務的問題。在AI訓練場景下,由于計算量和數(shù)據(jù)類型的變化,C-E-S也無法滿足需求,因此計算架構(gòu)在回歸到C-S,并朝向高效率并行計算的方向演變。


圖片

計算架構(gòu)演變過程


作為硬件核心,服務器面對不同的計算場景,而計算架構(gòu)變化是服務器技術(shù)演進的關(guān)鍵。隨著云計算、邊緣計算和AI訓練等計算架構(gòu)的出現(xiàn),服務器需求也在不斷變化。單一服務器更加關(guān)注個體性能,而云數(shù)據(jù)中心服務器更關(guān)注整體性能。邊緣計算對數(shù)據(jù)交互實時性的要求更高,并需要更多的服務器設施。AI服務器主要用于人工智能訓練,使用向量/張量數(shù)據(jù)類型,并通過大規(guī)模并行計算來提高效率。

同一技術(shù)路線下,服務器面向數(shù)據(jù)處理需求持續(xù)迭代。復盤主流服務器發(fā)展歷程來看,隨著數(shù)據(jù)量激增、數(shù)據(jù)場景復雜化,不同類型服務器發(fā)展驅(qū)動力也有所差異。具體來看:


傳統(tǒng)的通用服務器發(fā)展較為緩慢,主要是通過處理器時鐘頻率、指令集并行度、核數(shù)等硬件指標的提升來優(yōu)化其性能。相比之下,云計算服務器快速發(fā)展成熟,這一過程始于20世紀80年代,隨后在VMware Workstation、亞馬遜AWS等產(chǎn)品的推出,以及OpenStack開源項目的出現(xiàn)下加速了。目前,云計算在全球范圍內(nèi)已經(jīng)比較普及,許多公司都使用流行的云服務提供商(如AWS、Azure、Google Cloud等)來存儲和處理數(shù)據(jù)。邊緣計算服務器概念于2015年孵化,近年來已出現(xiàn)諸如AWS Greengrass、谷歌GMEC等邊緣計算平臺。隨著越來越多的設備(如可穿戴設備和智能家居設備)連接到互聯(lián)網(wǎng),邊緣計算技術(shù)的需求也日益增長。最后,AI服務器是為人工智能和機器學習工作量身定制的,其硬件架構(gòu)更加適合對訓練算力的需求。隨著人工智能的應用變得越來越廣泛,AI服務器的需求也在增加。


三、云計算服務器:大規(guī)模數(shù)據(jù)處理需求下的商業(yè)模式變革


云計算服務器的出現(xiàn)是為了滿足數(shù)據(jù)量激增所帶來的高性能計算需求。傳統(tǒng)通用服務器通過提高硬件指標提升性能,但隨著CPU工藝和單個CPU核心數(shù)量接近極限,無法滿足數(shù)據(jù)量激增的性能需求。相比之下,云計算服務器采用虛擬化技術(shù),將計算和存儲資源進行池化,把原本物理隔離的單臺計算資源進行虛擬化和集中化處理,并以集群化處理來達到單臺服務器所難以實現(xiàn)的高性能計算。此外,云計算服務器的計算能力可以通過增加虛擬化服務器的數(shù)量來進行擴展,突破單個服務器硬件限制,應對數(shù)據(jù)量激增所帶來的性能需求。


云計算服務器實際上節(jié)約了部分硬件成本,并降低了算力采購門檻。在過去,大規(guī)模數(shù)據(jù)處理成本極高,主要因為通用服務器的購置和運維成本居高不下。而傳統(tǒng)服務器通常包含處理器摸塊、存儲模塊、網(wǎng)絡模塊、電源、風扇等全套設備。云計算服務器體系結(jié)構(gòu)精簡,省去重復的模塊,提高了利用率。此外,云計算服務器針對節(jié)能需求,將存儲模塊進行虛擬化,并去除了主板上的非必要硬件,降低了整體計算成本。另外,流量計費模式也有助于許多廠商負擔算力開支,降低了算力采購門檻。


四、邊緣服務器:高數(shù)據(jù)密度和帶寬限制下保證低時延


邊緣計算是一種在云計算基礎之上引入邊緣層的計算模式。它位于靠近物或數(shù)據(jù)源頭的網(wǎng)絡邊緣,通過提供計算、存儲和網(wǎng)絡等資源來協(xié)助應用程序。邊緣計算基于一個新的體系架構(gòu),引入了邊緣層,使得云服務可以擴展到網(wǎng)絡邊緣。在這個體系架構(gòu)中,終端層由物聯(lián)網(wǎng)設備組成,這些設備位于最靠近用戶的地方,負責收集原始數(shù)據(jù)并上傳至上層進行計算;邊緣層則由路由器、網(wǎng)關(guān)、邊緣服務器等設備組成,這些設備由于距離用戶較近,可以運行延遲敏感型應用程序,滿足用戶對低時延的要求;云層則由高性能服務器等設備組成,可以處理復雜的計算任務。


圖片

邊緣計算架構(gòu)


邊緣計算相對于云計算具有實時性、低成本和安全性等優(yōu)勢。它將計算任務從云計算中心部分或全部遷移到離用戶更近的網(wǎng)絡邊緣進行處理,從而提高了數(shù)據(jù)傳輸性能和處理的實時性。同時,邊緣計算還可以避免遠距離傳輸數(shù)據(jù)帶來的成本問題,并降低云計算中心的計算負載。此外,邊緣計算將大部分數(shù)據(jù)在本地設備和邊緣層設備中處理,減少上傳至云端的數(shù)據(jù)量,降低了數(shù)據(jù)泄露的風險,因此具備更高的安全性。


五、AI服務器:更適合深度學習等AI訓練場景


在現(xiàn)代AI領(lǐng)域中,由于大規(guī)模的計算需求,普通的CPU服務器已經(jīng)不能滿足需求。相較于CPU,GPU(圖形處理單元)具備更適合進行大規(guī)模并行計算的架構(gòu)設計,因此AI服務器采用GPU架構(gòu)來提高計算性能。


與通用服務器不同的是,AI服務器為異構(gòu)服務器。意味著它可以使用不同的組合方式來提高計算性能,例如使用CPUGPU、CPUTPU、CPU其他加速卡等,但是以GPU提供計算能力為主要方式。


以ChatGPT模型為例,它采用了并行計算的方式。相比于RNN模型,它能夠為輸入序列中的任何字符提供上下文,從而不僅精度更高,而且可以一次處理所有輸入,而不是一次只處理一個詞。


從GPU的計算方式來看,GPU架構(gòu)采用了大量的計算單元和超長的流水線,因此與CPU相比,可以進行大吞吐量的并行計算。這種計算能力特別適合進行大規(guī)模AI并行計算。


圖片


深度學習主要進行矩陣向量計算,AI服務器處理效率更高。從ChatGPT模型結(jié)構(gòu)來看,基于Transformer架構(gòu),ChatGPT模型采用注意力機制進行文本單詞權(quán)重賦值,并向前饋神經(jīng)網(wǎng)絡輸出數(shù)值結(jié)果,這一過程需要進行大量向量及張量運算。而AI服務器中往往集成多個AI GPU,AI GPU通常支持多重矩陣運算,例如卷積、池化和激活函數(shù),以加速深度學習算法的運算。因此在人工智能場景下,AI服務器往往較GPU服務器計算效率更高,具備一定應用優(yōu)勢。


六、ChatGPT需要的芯片:CPU+GPU、FPGA、ASIC


GPT模型訓練需要大算力支持,或?qū)鞟I服務器建設需求。我們認為,隨著國內(nèi)廠商陸續(xù)布局ChatGPT類似產(chǎn)品,GPT大模型預訓練、調(diào)優(yōu)及日常運營或?qū)泶罅克懔π枨?,進而帶動國內(nèi)AI服務器市場放量。以GPT-3 175B模型預訓練過程為例,據(jù)OpenAI,進行一次GPT-3 175B模型的預訓練需要的算力約3640 PFlop/s-day。我們假設以浪潮信息目前算力最強的AI服務器NF5688M6(PFlop/s)進行計算,在預訓練期限分別為3、5、10天的假設下,單一廠商需采購的AI服務器數(shù)量分別為243、146、73臺。


圖片

圖片

AI大模型訓練需求火熱,智能算力規(guī)模增長有望帶動AI服務器放量。據(jù)IDC數(shù)據(jù),以半精度(FP16)運算能力換算,2021年中國智能算力規(guī)模約155.2EFLOPS。隨著AI模型日益復雜、計算數(shù)據(jù)量快速增長、人工智能應用場景不斷深化,未來國內(nèi)智能算力規(guī)模有望實現(xiàn)快速增長。IDC預計2022年國內(nèi)智能算力規(guī)模將同比增長72.7%至268.0 EFLOPS,預計2026年智能算力規(guī)模將達1271.4 EFLOPS,2022-2026年算力規(guī)模CAGR將達69.2%。我們認為,AI服務器作為承載智能算力運算的主要基礎設施,有望受益于下游需求放量。


總結(jié)

ChatGPT是一個高性能的文件傳輸協(xié)議,需要一個可持續(xù)的服務器端架構(gòu)來支持它的持續(xù)發(fā)展。以下是一個簡單的指南:


一、了解客戶需求


在構(gòu)建任何服務器端架構(gòu)之前,需要知道客戶的需求。你需要考慮的問題包括:

1、用戶數(shù)量:預計有多少用戶使用服務?

2、數(shù)據(jù)量:每個用戶將存儲多少數(shù)據(jù)?預計服務將處理多少數(shù)據(jù)?

3、設備類型和平臺:用戶將使用哪些設備和平臺來訪問服務?

二、選擇正確的基礎架構(gòu)


選擇正確的基礎架構(gòu)對于構(gòu)建可持續(xù)的服務器端架構(gòu)至關(guān)重要。其中一些常見的選擇包括:

1、物理服務器:這是在本地運行服務器的經(jīng)典方式。這需要購買服務器硬件和管理基礎架構(gòu)。

2、虛擬專用服務器(VPS):VPS是在共享物理服務器上運行的虛擬服務器。大多數(shù)云服務商都提供VPS。

3、云計算:云計算允許你根據(jù)實際使用情況逐步擴展和縮小基礎架構(gòu)。其中一些提供商包括Amazon Web Services(AWS)、Microsoft Azure和Google Cloud Platform(GCP)。


三、設計可擴展的架構(gòu)


在設計你的服務器端架構(gòu)時,你需要考慮如何擴展它以處理更多的流量和用戶。其中一些關(guān)鍵考慮因素包括:

1、橫向擴展:這是向系統(tǒng)添加更多服務器以處理更多流量和用戶的過程。

2、縱向擴展:這是將相同的服務器升級以處理更多流量和用戶的過程。

3、負載均衡:這是將請求分配給多個服務器以減輕負載的過程。

4、緩存:這是將請求的結(jié)果存儲在內(nèi)存中以提高響應速度的過程。


四、確保安全和可靠性


在構(gòu)建任何服務器端架構(gòu)時,安全和可靠性都是至關(guān)重要的。這意味著你需要考慮以下事項:

1、數(shù)據(jù)備份和恢復:你需要定期備份數(shù)據(jù),以防止數(shù)據(jù)丟失,并在必要時能夠快速恢復數(shù)據(jù)。

2、安全性:你需要確保你的服務器端架構(gòu)是安全的,包括使用安全的傳輸協(xié)議、對數(shù)據(jù)進行加密等。

3、監(jiān)控和警報:你需要設置監(jiān)控和警報系統(tǒng),以便在服務器出現(xiàn)問題時及時得到通知。


可持續(xù)的ChatGPT高性能服務器端架構(gòu)需要考慮多個因素,包括用戶需求、基礎架構(gòu)選擇、可擴展性設計以及安全和可靠性保障。通過綜合評估這些要素并采取相應的措施。


21.8182
0
關(guān)注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子