邊緣計算 | 液冷服務(wù)器 | GPT-4

深度學(xué)習(xí) | AI服務(wù)器 | ChatGPT

一、ChatGPT現(xiàn)階段所面臨的很多問題在工程上都有相對簡單的解決方案。例如：

1、解決“hallucination”問題（ChatGPT偏向于產(chǎn)生不準(zhǔn)確的輸出）可以通過優(yōu)化準(zhǔn)確度和引入搜索數(shù)據(jù)來做矯正，而且人類可以參與判斷過程以增加準(zhǔn)確度。此外，在應(yīng)用ChatGPT時，可以先在人類確定好壞的場景下進行輔助性判斷。

2、對于ChatGPT的記憶力有限問題，可以使用OpenAI提供的開放接口來解決。特別的，現(xiàn)有的解決方法非常神奇，只需要在提示ChatGPT回答之前，向它說明所提供的內(nèi)容僅是全部信息的一部分，并要求其在聽完后再回答。

3、ChatGPT的自我審查能力不僅僅基于規(guī)則，更基于理解，這種基于理解的自我審查能力實際上更加可調(diào)節(jié)。OpenAI也提出了讓ChatGPT在尊重基本規(guī)則的前提下，發(fā)言尺度可以根據(jù)需求進行調(diào)節(jié)的愿景。

二、模型參數(shù)的增加需要強大的工程能力，同時也需要讓大模型能夠有效地學(xué)習(xí)到大數(shù)據(jù)中的知識，如何調(diào)教模型產(chǎn)出人類需要的輸出這些問題在OpenAI的博客中都被強調(diào)了。需要具備“原理性”思考習(xí)慣的工程師參與突破這些工程瓶頸。據(jù)悉，OpenAI超高的人才密度成功突破了許多工程瓶頸。因此，需要在上一步工程突破的基礎(chǔ)上進行下一步工程積累。

ChatGPT的DAU增長現(xiàn)象級，用戶反饋也表現(xiàn)出其異常實用。雖然ChatGPT具有極高的娛樂價值想象，但其顯著提升生產(chǎn)力的能力則更為突出。對話和閱讀實際上是一種較高門檻的娛樂方式，多數(shù)情況下，豐富性和深度并非是娛樂價值的主要決定因素。因此，我們建議在使用ChatGPT時多著眼于提升生產(chǎn)力上。

此外，需要記住，ChatGPT是一種顛覆式的產(chǎn)品，而不是漸進式的改進。對于科技的早期采用者而言，可能已經(jīng)無法離開ChatGPT，但對于大眾而言，打開搜索引擎進行搜索甚至已不是普遍習(xí)慣，使用清晰合理的提示與ChatGPT進行對話的程度更是偏低。因此，在未來幾年內(nèi)，ChatGPT取代的更多是各種SaaS、云、效率工具，如搜索引擎等。

在實際場景應(yīng)用中，我們應(yīng)該遵循兩個原則：對癥下藥和擇善而從。ChatGPT不等同于搜索引擎和程序，我們應(yīng)該讓它發(fā)揮其所長，而不是去試圖替代其他更為高效的工具或服務(wù)。此外，考慮到當(dāng)前ChatGPT存在明顯的幻覺問題，我們應(yīng)該保持警惕，不在所有場合盲目相信ChatGPT的結(jié)論，而是在需要人工判斷的情況下使用ChatGPT，并由人來審視其結(jié)論的真實性。

由于腦科學(xué)和神經(jīng)科學(xué)發(fā)展尚不夠成熟，我們只能從哲學(xué)的角度探究人類和ChatGPT這兩者在本質(zhì)上的不同與相同。

一、從判斷力的角度來看，ChatGPT只能從虛擬數(shù)字中吸取數(shù)字信號，無法與現(xiàn)實世界進行真實交互。只有躬行實踐，才能建立判斷力的根基。

二、如果只基于數(shù)字信號進行推測，ChatGPT很可能會得出錯誤的結(jié)論。例如牛頓發(fā)現(xiàn)萬有引力的過程，是基于看到蘋果落地從而預(yù)測星星運動的。而當(dāng)時很多人都認(rèn)為太陽是繞著地球轉(zhuǎn)的，如果有一個ChatGPT，很可能會得出錯誤的結(jié)論。因此，在日常生活中，識別思維能力，例如“靈感并發(fā)、靈光一現(xiàn)”的瞬間，也是很有意義的。

三、如果只是歸納現(xiàn)有知識，ChatGPT很可能比人類做得更好。但是創(chuàng)造互聯(lián)網(wǎng)上不存在的新知識，才是ChatGPT做不到的。

四、從理解人的角度來看，人類能夠理解人性，而不需要通過調(diào)研、問卷和網(wǎng)絡(luò)資料。同時，通過現(xiàn)實世界的實踐，人類能夠帶來關(guān)于人性的增量理解。這是ChatGPT所無法達到的。這暗示著，在真正理解人類時，要去真實世界進行實踐，而不是去人云亦云地重復(fù)套路。

AI模型對算力的需求主要體現(xiàn)在訓(xùn)練和推理兩個層面。當(dāng)前主流的人工智能算法通常可分為“訓(xùn)練”和“推理”兩個階段。賽迪數(shù)據(jù)顯示，2022年中國數(shù)字經(jīng)濟爆發(fā)強大的增長動能，比上年增長20.7%，較2021年提高2.9個百分點，遠超世界平均水平，數(shù)字經(jīng)濟規(guī)模達到45.5萬億元，規(guī)模超排名第三的德國一倍有余，數(shù)字經(jīng)濟發(fā)展水平穩(wěn)居全球第二位，數(shù)字經(jīng)濟規(guī)模超過彰顯出數(shù)字經(jīng)濟大國姿態(tài)。近年來中國也在積極推動數(shù)字產(chǎn)業(yè)創(chuàng)新能力加快提升，推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型提檔加速，與美國在數(shù)字經(jīng)濟競爭力上的差距也逐漸縮小。

ChatGPT的算力需求場景可以根據(jù)實際應(yīng)用進一步拆分為預(yù)訓(xùn)練、Finetune和日常運營三個階段。預(yù)訓(xùn)練階段通過大量無標(biāo)注的文本數(shù)據(jù)來訓(xùn)練模型的基礎(chǔ)語言能力，得到基礎(chǔ)大模型，例如GPT-1、GPT-2和GPT-3。Finetune階段在基礎(chǔ)大模型的基礎(chǔ)上，進行監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)和遷移學(xué)習(xí)等二次或多次訓(xùn)練，以優(yōu)化調(diào)整模型參數(shù)量。日常運營階段基于用戶輸入信息，加載模型參數(shù)進行推理計算，并實現(xiàn)最終結(jié)果的反饋輸出。

預(yù)訓(xùn)練階段：單次算力需求取決于模型參數(shù)量，最高可達3640 PFlop/s-day

ChatGPT是一個語言模型，其架構(gòu)基于Transformer。Transformer架構(gòu)由編碼和解碼模塊組成，其中GPT只使用解碼模塊。 此外，Transformer還包含三個層級：前饋神經(jīng)網(wǎng)絡(luò)，自注意力機制層和自注意力掩碼層，這些層級都相互作用，以實現(xiàn)模型的高效性。

自注意力機制是Transformer中最重要的部分之一，其主要作用是計算某個單詞對于所有單詞的權(quán)重（即Attention）。通過這種方式，模型能夠更好地理解文本內(nèi)在關(guān)系，以及對輸入之間的關(guān)系實現(xiàn)高效學(xué)習(xí)。自注意力機制層還允許模型進行更大規(guī)模的并行計算，這使得計算效率得到了大大的提升。

前饋神經(jīng)網(wǎng)絡(luò)層提供高效的數(shù)據(jù)信息存儲和檢索。在這個層面上，模型能夠有效地處理大規(guī)模的數(shù)據(jù)集并實現(xiàn)高效計算。

掩碼層是為了在自注意力機制中過濾右側(cè)未出現(xiàn)的單詞。 這種遮蔽允許模型只能注意到文本中已經(jīng)展示的內(nèi)容，從而保證了計算的準(zhǔn)確性。

與之前的深度學(xué)習(xí)框架相比，Transformer架構(gòu)具有明顯的優(yōu)勢。Transformer架構(gòu)的并行計算能力更強，能夠大大提高計算效率。這使得GPT可以訓(xùn)練更大更復(fù)雜的語言模型，并且可以更好地解決語言處理問題。

Transformer解碼模塊拆解

根據(jù)先前的數(shù)據(jù)，預(yù)計日常運營每月需要約7034.7 PFlop/s-day的算力。用戶交互也需要算力支持，每次互動成本約0.01美元。根據(jù)ChatGPT官網(wǎng)近一個月（2023年1月17日至2月17日）總訪問量達8.89億次，因此2023年1月OpenAI為ChatGPT支付的運營算力成本約為890萬美元。另外，Lambda表示，訓(xùn)練一次1746億參數(shù)的GPT-3模型所需的算力成本超過460萬美元；而OpenAI表示，訓(xùn)練一次1746億參數(shù)的GPT-3模型所需的算力約為3640 PFlop/s-day。我們假設(shè)單位算力成本不變，因此ChatGPT單月運營所需的算力約為7034.7PFlop/s-day。

Finetune階段：預(yù)計ChatGPT單月Finetune的算力需求至少為1350.4PFlop/s-day

ChatGPT是一種需要不斷進行Finetune模型調(diào)優(yōu)的模型，以確保它處于最佳應(yīng)用狀態(tài)。這個調(diào)優(yōu)的過程需要開發(fā)者對模型參數(shù)進行調(diào)整，以確保輸出內(nèi)容不是有害和失真的，并基于用戶反饋和PPO策略對模型進行大規(guī)?；蛐∫?guī)模的迭代訓(xùn)練。這一過程中需要的算力將為OpenAI帶來成本，具體的算力需求和成本金額取決于模型的迭代速度。

預(yù)計ChatGPT單月Finetune算力需求至少為1350.4PFlop/s-day。根據(jù)IDC的預(yù)測，在2022年中國人工智能服務(wù)器負(fù)載中，推理和訓(xùn)練的比例分別為58.5%和41.5%。如果假設(shè)ChatGPT對推理和訓(xùn)練的算力需求分布與之保持一致，且已知單月運營需要算力7034.7 PFlop/s-day、一次預(yù)訓(xùn)練需要算力3640 PFlop/s-day，那么我們可以進一步假設(shè)每月最多進行一次預(yù)訓(xùn)練。由此我們計算得ChatGPT單月Finetune算力成本至少為1350.4PFlop/s-day。

從 GPT-1 的 1.17 億到 GPT-2 的 15 億，超 10 倍的參數(shù)差距帶來了性能上的飛躍。這似乎意味著，隨著容量和參數(shù)量的增多，模型性能還有更大的潛力——因此，2020 年 GPT-3 的參數(shù)量翻了 100 倍：1750 億，其預(yù)訓(xùn)練數(shù)據(jù)量也高達 45TB（GPT-2 是 40GB，GPT-1 約 5 GB）。事實證明，海量參數(shù)確實讓 GPT-3 具備了更強大的性能，它在下游任務(wù)表現(xiàn)的非常好。即便是復(fù)雜的 NLP 任務(wù)，GPT-3 也表現(xiàn)驚艷：可以模仿人類寫作，編寫 SQL 查詢語句、React 或 JavaScript 代碼等。回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展，許多人對 GPT-4 寄予厚望，甚至還有傳言稱 GPT-4 的參數(shù)量將高達 100 萬億。

鑒于人類反饋機制下，模型需要不斷獲得人類指導(dǎo)以實現(xiàn)參數(shù)調(diào)優(yōu)，所以模型調(diào)整可能會多次進行。這需要的算力成本將會更高。

一、中國服務(wù)器發(fā)展現(xiàn)狀

各國加快提升數(shù)字經(jīng)濟發(fā)展水平，傳統(tǒng)行業(yè)的數(shù)字化進程加速，企業(yè)的數(shù)字化智慧化需求旺盛，尤其是5G、大數(shù)據(jù)、人工智能等新興技術(shù)領(lǐng)域快速發(fā)展，持續(xù)賦能服務(wù)器行業(yè)。

1、高算力需求帶動服務(wù)器行業(yè)迎來發(fā)展新機遇

算力作為一種核心生產(chǎn)力，應(yīng)用在互聯(lián)網(wǎng)、政務(wù)、金融等各領(lǐng)域場景隨著元宇宙、Web3.0等新概念的出現(xiàn)，更復(fù)雜的計算場景產(chǎn)生高算力需求。推動服務(wù)器產(chǎn)品向更高計算性能方向升級。

2、大型數(shù)據(jù)中心建設(shè)加快服務(wù)器市場規(guī)模增長

大規(guī)模數(shù)據(jù)中心建設(shè)是全球服務(wù)器市場增長的主要動力、北美、亞大西歐等全球大部分地區(qū)的數(shù)據(jù)中心服務(wù)器采購持續(xù)增長。

二、ChatGPT需要的服務(wù)器：AI訓(xùn)練型服務(wù)器+AI推理型服務(wù)器

邊緣計算需要大量機器處理高負(fù)載請求，而傳統(tǒng)的CS模式已經(jīng)無法滿足這一需求。當(dāng)前的互聯(lián)網(wǎng)架構(gòu)正在向以CDN服務(wù)為核心的CES模式轉(zhuǎn)變，但CES模式在邊緣上處理非結(jié)構(gòu)化數(shù)據(jù)存儲和處理的需求方面存在局限性。因此，引入Edge端以解決無法處理業(yè)務(wù)的問題。在AI訓(xùn)練場景下，由于計算量和數(shù)據(jù)類型的變化，C-E-S也無法滿足需求，因此計算架構(gòu)在回歸到C-S，并朝向高效率并行計算的方向演變。

計算架構(gòu)演變過程

作為硬件核心，服務(wù)器面對不同的計算場景，而計算架構(gòu)變化是服務(wù)器技術(shù)演進的關(guān)鍵。隨著云計算、邊緣計算和AI訓(xùn)練等計算架構(gòu)的出現(xiàn)，服務(wù)器需求也在不斷變化。單一服務(wù)器更加關(guān)注個體性能，而云數(shù)據(jù)中心服務(wù)器更關(guān)注整體性能。邊緣計算對數(shù)據(jù)交互實時性的要求更高，并需要更多的服務(wù)器設(shè)施。AI服務(wù)器主要用于人工智能訓(xùn)練，使用向量/張量數(shù)據(jù)類型，并通過大規(guī)模并行計算來提高效率。

同一技術(shù)路線下，服務(wù)器面向數(shù)據(jù)處理需求持續(xù)迭代。復(fù)盤主流服務(wù)器發(fā)展歷程來看，隨著數(shù)據(jù)量激增、數(shù)據(jù)場景復(fù)雜化，不同類型服務(wù)器發(fā)展驅(qū)動力也有所差異。具體來看：

傳統(tǒng)的通用服務(wù)器發(fā)展較為緩慢，主要是通過處理器時鐘頻率、指令集并行度、核數(shù)等硬件指標(biāo)的提升來優(yōu)化其性能。相比之下，云計算服務(wù)器快速發(fā)展成熟，這一過程始于20世紀(jì)80年代，隨后在VMware Workstation、亞馬遜AWS等產(chǎn)品的推出，以及OpenStack開源項目的出現(xiàn)下加速了。目前，云計算在全球范圍內(nèi)已經(jīng)比較普及，許多公司都使用流行的云服務(wù)提供商（如AWS、Azure、Google Cloud等）來存儲和處理數(shù)據(jù)。邊緣計算服務(wù)器概念于2015年孵化，近年來已出現(xiàn)諸如AWS Greengrass、谷歌GMEC等邊緣計算平臺。隨著越來越多的設(shè)備（如可穿戴設(shè)備和智能家居設(shè)備）連接到互聯(lián)網(wǎng)，邊緣計算技術(shù)的需求也日益增長。最后，AI服務(wù)器是為人工智能和機器學(xué)習(xí)工作量身定制的，其硬件架構(gòu)更加適合對訓(xùn)練算力的需求。隨著人工智能的應(yīng)用變得越來越廣泛，AI服務(wù)器的需求也在增加。

三、云計算服務(wù)器：大規(guī)模數(shù)據(jù)處理需求下的商業(yè)模式變革

云計算服務(wù)器的出現(xiàn)是為了滿足數(shù)據(jù)量激增所帶來的高性能計算需求。傳統(tǒng)通用服務(wù)器通過提高硬件指標(biāo)提升性能，但隨著CPU工藝和單個CPU核心數(shù)量接近極限，無法滿足數(shù)據(jù)量激增的性能需求。相比之下，云計算服務(wù)器采用虛擬化技術(shù)，將計算和存儲資源進行池化，把原本物理隔離的單臺計算資源進行虛擬化和集中化處理，并以集群化處理來達到單臺服務(wù)器所難以實現(xiàn)的高性能計算。此外，云計算服務(wù)器的計算能力可以通過增加虛擬化服務(wù)器的數(shù)量來進行擴展，突破單個服務(wù)器硬件限制，應(yīng)對數(shù)據(jù)量激增所帶來的性能需求。

云計算服務(wù)器實際上節(jié)約了部分硬件成本，并降低了算力采購門檻。在過去，大規(guī)模數(shù)據(jù)處理成本極高，主要因為通用服務(wù)器的購置和運維成本居高不下。而傳統(tǒng)服務(wù)器通常包含處理器摸塊、存儲模塊、網(wǎng)絡(luò)模塊、電源、風(fēng)扇等全套設(shè)備。云計算服務(wù)器體系結(jié)構(gòu)精簡，省去重復(fù)的模塊，提高了利用率。此外，云計算服務(wù)器針對節(jié)能需求，將存儲模塊進行虛擬化，并去除了主板上的非必要硬件，降低了整體計算成本。另外，流量計費模式也有助于許多廠商負(fù)擔(dān)算力開支，降低了算力采購門檻。

四、邊緣服務(wù)器：高數(shù)據(jù)密度和帶寬限制下保證低時延

邊緣計算是一種在云計算基礎(chǔ)之上引入邊緣層的計算模式。它位于靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣，通過提供計算、存儲和網(wǎng)絡(luò)等資源來協(xié)助應(yīng)用程序。邊緣計算基于一個新的體系架構(gòu)，引入了邊緣層，使得云服務(wù)可以擴展到網(wǎng)絡(luò)邊緣。在這個體系架構(gòu)中，終端層由物聯(lián)網(wǎng)設(shè)備組成，這些設(shè)備位于最靠近用戶的地方，負(fù)責(zé)收集原始數(shù)據(jù)并上傳至上層進行計算；邊緣層則由路由器、網(wǎng)關(guān)、邊緣服務(wù)器等設(shè)備組成，這些設(shè)備由于距離用戶較近，可以運行延遲敏感型應(yīng)用程序，滿足用戶對低時延的要求；云層則由高性能服務(wù)器等設(shè)備組成，可以處理復(fù)雜的計算任務(wù)。

邊緣計算架構(gòu)

邊緣計算相對于云計算具有實時性、低成本和安全性等優(yōu)勢。它將計算任務(wù)從云計算中心部分或全部遷移到離用戶更近的網(wǎng)絡(luò)邊緣進行處理，從而提高了數(shù)據(jù)傳輸性能和處理的實時性。同時，邊緣計算還可以避免遠距離傳輸數(shù)據(jù)帶來的成本問題，并降低云計算中心的計算負(fù)載。此外，邊緣計算將大部分?jǐn)?shù)據(jù)在本地設(shè)備和邊緣層設(shè)備中處理，減少上傳至云端的數(shù)據(jù)量，降低了數(shù)據(jù)泄露的風(fēng)險，因此具備更高的安全性。

五、AI服務(wù)器：更適合深度學(xué)習(xí)等AI訓(xùn)練場景

在現(xiàn)代AI領(lǐng)域中，由于大規(guī)模的計算需求，普通的CPU服務(wù)器已經(jīng)不能滿足需求。相較于CPU，GPU（圖形處理單元）具備更適合進行大規(guī)模并行計算的架構(gòu)設(shè)計，因此AI服務(wù)器采用GPU架構(gòu)來提高計算性能。

與通用服務(wù)器不同的是，AI服務(wù)器為異構(gòu)服務(wù)器。意味著它可以使用不同的組合方式來提高計算性能，例如使用CPUGPU、CPUTPU、CPU其他加速卡等，但是以GPU提供計算能力為主要方式。

以ChatGPT模型為例，它采用了并行計算的方式。相比于RNN模型，它能夠為輸入序列中的任何字符提供上下文，從而不僅精度更高，而且可以一次處理所有輸入，而不是一次只處理一個詞。

從GPU的計算方式來看，GPU架構(gòu)采用了大量的計算單元和超長的流水線，因此與CPU相比，可以進行大吞吐量的并行計算。這種計算能力特別適合進行大規(guī)模AI并行計算。

深度學(xué)習(xí)主要進行矩陣向量計算，AI服務(wù)器處理效率更高。從ChatGPT模型結(jié)構(gòu)來看，基于Transformer架構(gòu)，ChatGPT模型采用注意力機制進行文本單詞權(quán)重賦值，并向前饋神經(jīng)網(wǎng)絡(luò)輸出數(shù)值結(jié)果，這一過程需要進行大量向量及張量運算。而AI服務(wù)器中往往集成多個AI GPU，AI GPU通常支持多重矩陣運算，例如卷積、池化和激活函數(shù)，以加速深度學(xué)習(xí)算法的運算。因此在人工智能場景下，AI服務(wù)器往往較GPU服務(wù)器計算效率更高，具備一定應(yīng)用優(yōu)勢。

六、ChatGPT需要的芯片：CPU+GPU、FPGA、ASIC

GPT模型訓(xùn)練需要大算力支持，或?qū)鞟I服務(wù)器建設(shè)需求。我們認(rèn)為，隨著國內(nèi)廠商陸續(xù)布局ChatGPT類似產(chǎn)品，GPT大模型預(yù)訓(xùn)練、調(diào)優(yōu)及日常運營或?qū)泶罅克懔π枨?，進而帶動國內(nèi)AI服務(wù)器市場放量。以GPT-3 175B模型預(yù)訓(xùn)練過程為例，據(jù)OpenAI，進行一次GPT-3 175B模型的預(yù)訓(xùn)練需要的算力約3640 PFlop/s-day。我們假設(shè)以浪潮信息目前算力最強的AI服務(wù)器NF5688M6（PFlop/s）進行計算，在預(yù)訓(xùn)練期限分別為3、5、10天的假設(shè)下，單一廠商需采購的AI服務(wù)器數(shù)量分別為243、146、73臺。

AI大模型訓(xùn)練需求火熱，智能算力規(guī)模增長有望帶動AI服務(wù)器放量。據(jù)IDC數(shù)據(jù)，以半精度（FP16）運算能力換算，2021年中國智能算力規(guī)模約155.2EFLOPS。隨著AI模型日益復(fù)雜、計算數(shù)據(jù)量快速增長、人工智能應(yīng)用場景不斷深化，未來國內(nèi)智能算力規(guī)模有望實現(xiàn)快速增長。IDC預(yù)計2022年國內(nèi)智能算力規(guī)模將同比增長72.7%至268.0 EFLOPS，預(yù)計2026年智能算力規(guī)模將達1271.4 EFLOPS，2022-2026年算力規(guī)模CAGR將達69.2%。我們認(rèn)為，AI服務(wù)器作為承載智能算力運算的主要基礎(chǔ)設(shè)施，有望受益于下游需求放量。

ChatGPT是一個高性能的文件傳輸協(xié)議，需要一個可持續(xù)的服務(wù)器端架構(gòu)來支持它的持續(xù)發(fā)展。以下是一個簡單的指南：