?？低?AR 數(shù)字工廠示意圖

2）旅游景區(qū)：AI機(jī)器視覺(jué)助力實(shí)現(xiàn)客流管理、智能運(yùn)維、火災(zāi)預(yù)警和環(huán)境動(dòng)植物監(jiān)測(cè)?；谥悄軝z測(cè)終端、智能網(wǎng)絡(luò)、物聯(lián)網(wǎng)技術(shù)和移動(dòng)應(yīng)用，人工智能機(jī)器視覺(jué)可實(shí)現(xiàn)景區(qū)地理、自然資源、基礎(chǔ)設(shè)施和景區(qū)管理的數(shù)字化和可視化；完善旅游景區(qū)車輛、人員、資產(chǎn)和事件的安全管理。同時(shí)，通過(guò)智能分析和數(shù)據(jù)應(yīng)用，增強(qiáng)景區(qū)安全，優(yōu)化景區(qū)管理，豐富游客服務(wù)，助力景區(qū)環(huán)境和經(jīng)濟(jì)可持續(xù)發(fā)展。目前，大華股份的旅游景區(qū)解決方案已應(yīng)用于四川大邑縣、福建清源山景區(qū)等地的全域旅游項(xiàng)目。

大華股份智慧景區(qū)項(xiàng)目展示

2、AIGC技術(shù)方興未艾，基于NLP技術(shù)未來(lái)有望創(chuàng)新內(nèi)容創(chuàng)作方式

AIGC是一種利用AI技術(shù)自動(dòng)生成內(nèi)容的生產(chǎn)方式，包括文本、圖片、視頻等多種形式的內(nèi)容。AIGC 是基于人工智能的內(nèi)容生產(chǎn)，一般來(lái)說(shuō)，使用形式是將需要生成的內(nèi)容通過(guò)句子以一定的格式描述出來(lái)，然后讓AI系統(tǒng)自動(dòng)生成文字/圖片/視頻等。目前，國(guó)內(nèi)外已有多家廠商在AIGC領(lǐng)域布局，比如國(guó)內(nèi)的 AI 小說(shuō)續(xù)寫(xiě)軟件彩云小夢(mèng)、OpenAI 推出的 AI 繪畫(huà) 模型 Dall-E、知名 AI 繪畫(huà)網(wǎng)站 midjourney 等。

AIGC 應(yīng)用領(lǐng)域一覽

NLP 能力決定了 AIGC 應(yīng)用對(duì)用戶意圖的理解力，是生產(chǎn)力的重要組成部分，ChatGPT 的到來(lái)有望加速其技術(shù)迭代。由于目前 AIGC 的生產(chǎn)模式，是通過(guò)語(yǔ)言文字的方式輸入 用戶需求，所以，如何理解用戶所描述的內(nèi)容，就成為決定成品效果的重要因素。而 NLP 技術(shù)，正是理解用戶意圖的關(guān)鍵所在。ChatGPT 作為當(dāng)前效果最好的對(duì)話式 NLP 模型之 一，它的出現(xiàn)有望提升 AI 理解人類意圖的水平，從而加速 AIGC 技術(shù)的迭代。

作為一種人工智能模型，ChatGPT 的訓(xùn)練和推理需要大量的計(jì)算資源。與 CPU 相比，GPU 具有更高的并行性和處理能力，因此常常被用來(lái)加速深度學(xué)習(xí)任務(wù)的運(yùn)算。因此，ChatGPT 的訓(xùn)練和推理通常會(huì)利用 GPU 來(lái)加速計(jì)算。

在訓(xùn)練過(guò)程中，ChatGPT 的架構(gòu)可以采用分布式訓(xùn)練的方式，使用多個(gè) GPU 并行計(jì)算，以加速訓(xùn)練過(guò)程。在推理階段，ChatGPT 可以使用 GPU 進(jìn)行加速，以實(shí)現(xiàn)更快的響應(yīng)時(shí)間和更高的吞吐量。

對(duì)于 GPU 的選擇，一般來(lái)說(shuō)，需要考慮 GPU 的計(jì)算能力、內(nèi)存大小、功耗、價(jià)格等因素。同時(shí)，也需要考慮 GPU 的架構(gòu)是否與 ChatGPT 的計(jì)算需求相匹配，以獲得最佳的性能和效率。例如，NVIDIA 的 Volta、Turing 和 Ampere 架構(gòu)都被廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域，包括 ChatGPT 的訓(xùn)練和推理。

GPU的核心競(jìng)爭(zhēng)力在于架構(gòu)等因素決定的性能先進(jìn)性和計(jì)算生態(tài)壁壘。國(guó)內(nèi)GPU廠商紛紛大力投入研發(fā)快速迭代架構(gòu)，推動(dòng)產(chǎn)業(yè)開(kāi)放構(gòu)建自主生態(tài)，加速追趕全球頭部企業(yè)。國(guó)產(chǎn)替代需求持續(xù)釋放疊加國(guó)際局勢(shì)不確定性加劇， AI、數(shù)據(jù)中心、智能汽車、游戲等GPU需求有望高增，國(guó)產(chǎn)GPU迎來(lái)發(fā)展黃金期，我們看好國(guó)產(chǎn)GPU公司的發(fā)展與投資機(jī)遇。

一、如何理解GPU的架構(gòu)

為了充分理解GPU的架構(gòu)，讓我們?cè)俜祷貋?lái)看下第一張圖，一個(gè)顯卡中絕大多數(shù)都是計(jì)算核心core組成的海洋。在圖像縮放的例子中，core與core之間不需要任何協(xié)作，因?yàn)樗麄兊娜蝿?wù)是完全獨(dú)立的，然而，GPU解決的問(wèn)題不一定這么簡(jiǎn)單，讓我們來(lái)舉個(gè)例子。

假設(shè)我們需要對(duì)一個(gè)數(shù)組里的數(shù)進(jìn)行求和，這樣的運(yùn)算屬于reductuin family類型，因?yàn)檫@樣的運(yùn)算試圖將一個(gè)序列“reduce”簡(jiǎn)化為一個(gè)數(shù)。計(jì)算數(shù)組的元素總和的操作看起來(lái)是順序的，我們只需要獲取第一個(gè)元素，求和到第二個(gè)元素中，獲取結(jié)果，再將結(jié)果求和到第三個(gè)元素，以此類推。

令人驚訝的是，一些看起來(lái)本質(zhì)是順序的運(yùn)算，其實(shí)可以再并行算法中轉(zhuǎn)化。假設(shè)一個(gè)長(zhǎng)度為8的數(shù)組，在第一步中完全可以并行執(zhí)行兩個(gè)元素和兩個(gè)元素的求和，從而同時(shí)獲得四個(gè)元素，兩兩相加的結(jié)果，以此類推，通過(guò)并行的方式加速數(shù)組求和的運(yùn)算速度。具體的操作如下圖所示，

如上圖計(jì)算方式，如果是長(zhǎng)度為8的數(shù)組兩兩并行求和計(jì)算，那么只需要三次就可以計(jì)算出結(jié)果。如果是順序計(jì)算需要8次。如果按照兩兩并行相加的算法，N個(gè)數(shù)字相加，那么僅需要log2（N）次就可以完成計(jì)算。

從GPU的角度來(lái)講，只需要四個(gè)core就可以完成長(zhǎng)度為8的數(shù)組求和算法，我們將四個(gè)core編號(hào)為0，1，2，3。

那么第一個(gè)時(shí)鐘下，兩兩相加的結(jié)果通過(guò)0號(hào)core計(jì)算，放入了0號(hào)core可以訪問(wèn)到的內(nèi)存中，另外兩兩對(duì)分別由1號(hào)2號(hào)3號(hào)core來(lái)計(jì)算，第二個(gè)個(gè)時(shí)鐘繼續(xù)按照之前的算法計(jì)算，只需要0號(hào)和1號(hào)兩個(gè)core即可完成，以此類推，最終的結(jié)果將在第三個(gè)時(shí)鐘由0號(hào)core計(jì)算完成，并儲(chǔ)存在0號(hào)core可以訪問(wèn)到的內(nèi)存中。這樣實(shí)際三次就能完成長(zhǎng)度為8的數(shù)組求和計(jì)算。

如果GPU想要完成上述的推理計(jì)算過(guò)程，顯然，多個(gè)core之間要可以共享一段內(nèi)存空間以此來(lái)完成數(shù)據(jù)之間的交互，需要多個(gè)core可以在共享的內(nèi)存空間中完成讀/寫(xiě)的操作。我們希望每個(gè)Cores都有交互數(shù)據(jù)的能力，但是不幸的是，一個(gè)GPU里面可以包含數(shù)以千計(jì)的core，如果使得這些core都可以訪問(wèn)共享的內(nèi)存段是非常困難和昂貴的。出于成本的考慮，折中的解決方案是將各類GPU的core分類為多個(gè)組，形成多個(gè)流處理器(Streaming Multiprocessors )或者簡(jiǎn)稱為SMs。

二、最終的GPU架構(gòu)

上圖的綠色部分意味著Core計(jì)算單元，綠色的塊就是上文談到的Streaming Multiprocessors，理解為Core的集合。黃色的部分名為RT COREs畫(huà)的離SMs非常近。單個(gè)SM的圖靈架構(gòu)如下圖所示

在SM的圖靈結(jié)構(gòu)中，綠色的部分CORE相關(guān)的，我們進(jìn)一步區(qū)分了不同類型的CORE。主要分為INT32,FP32，TENSOR CORES。FP32 Cores，執(zhí)行單進(jìn)度浮點(diǎn)運(yùn)算，在TU102卡中，每個(gè)SM由64個(gè)FP32核，TU120由72個(gè)SMs因此，F(xiàn)P32 Core的數(shù)量是 72 * 64。

FP64 Cores. 實(shí)際上每個(gè)SM都包含了2個(gè)64位浮點(diǎn)計(jì)算核心FP64 Cores，用來(lái)計(jì)算雙精度浮點(diǎn)運(yùn)算，雖然上圖沒(méi)有畫(huà)出，但是實(shí)際是存在的。Integer Cores，這些core執(zhí)行一些對(duì)整數(shù)的操作，例如地址計(jì)算，可以和浮點(diǎn)運(yùn)算同時(shí)執(zhí)行指令。在前幾代GPU中，執(zhí)行這些整型操作指令都會(huì)使得浮點(diǎn)運(yùn)算的管道停止工作。TU102總共有4608個(gè)Integer Cores，每個(gè)SM有64個(gè)SM。

Tensor Cores，張量core是FP16單元的變種，認(rèn)為是半精度單元，致力于張量積算加速常見(jiàn)的深度學(xué)習(xí)操作。圖靈張量Core還可以執(zhí)行INT8和INT4精度的操作，用于可以接受量化而且不需要FP16精度的應(yīng)用場(chǎng)景，在TU102中，我們每個(gè)SM有8個(gè)張量Cores，一共有8 * 72個(gè)Tensor Cores。

在大致描述了GPU的執(zhí)行部分之后，讓我們回到上文提出的問(wèn)題，各個(gè)核心之間如何完成彼此的協(xié)作？

在四個(gè)SM塊的底部有一個(gè)96KB的L1 Cache，用淺藍(lán)色標(biāo)注的。這個(gè)cache段是允許各個(gè)Core都可以訪問(wèn)的段，在L1 Cache中每個(gè)SM都有一塊專用的共享內(nèi)存。作為芯片上的L1 cache的大小是有限的，但它非常快，肯定比訪問(wèn)GMEM快得多。

實(shí)際上L1 CACHE擁有兩個(gè)功能，一個(gè)是用于SM上Core之間相互共享內(nèi)存，另一個(gè)則是普通的cache功能。當(dāng)Core需要協(xié)同工作，并且彼此交換結(jié)果的時(shí)候，編譯器編譯后的指令會(huì)將部分結(jié)果儲(chǔ)存在共享內(nèi)存中，以便于不同的core獲取到對(duì)應(yīng)數(shù)據(jù)。當(dāng)用作普通cache功能的時(shí)候，當(dāng)core需要訪問(wèn)GMEM數(shù)據(jù)的時(shí)候，首先會(huì)在L1中查找，如果沒(méi)找到，則回去L2 cache中尋找，如果L2 cache也沒(méi)有，則會(huì)從GMEM中獲取數(shù)據(jù)，L1訪問(wèn)最快 L2 以及GMEM遞減。緩存中的數(shù)據(jù)將會(huì)持續(xù)存在，除非出現(xiàn)新的數(shù)據(jù)做替換。從這個(gè)角度來(lái)看，如果Core需要從GMEM中多次訪問(wèn)數(shù)據(jù)，那么編程者應(yīng)該將這塊數(shù)據(jù)放入功能內(nèi)存中，以加快他們的獲取速度。其實(shí)可以將共享內(nèi)存理解為一段受控制的cache，事實(shí)上L1 cache和共享內(nèi)存是同一塊電路中實(shí)現(xiàn)的。編程者有權(quán)決定L1 的內(nèi)存多少是用作cache多少是用作共享內(nèi)存。

最后，也是比較重要的是，可以儲(chǔ)存各個(gè)core的計(jì)算中間結(jié)果，用于各個(gè)核心之間共享的內(nèi)存段不僅僅可以是共享內(nèi)存L1，也可以是寄存器，寄存器是離core最近的內(nèi)存段，但是也非常小。最底層的思想是每個(gè)線程都可以擁有一個(gè)寄存器來(lái)儲(chǔ)存中間結(jié)果，每個(gè)寄存器只能由相同的一個(gè)線程來(lái)訪問(wèn)，或者由相同的warp或者組的線程訪問(wèn)。

三、海外復(fù)盤(pán)：NVIDIA與AMD（ATI）的競(jìng)爭(zhēng)貫穿GPU發(fā)展歷程，架構(gòu)創(chuàng)新升級(jí)和新興AI等領(lǐng)域前瞻探索是領(lǐng)跑的關(guān)鍵

1、NVIDIA長(zhǎng)期居于GPU市場(chǎng)領(lǐng)導(dǎo)地位，近年AMD憑借RDNA架構(gòu)在游戲市場(chǎng)強(qiáng)勢(shì)崛起。Verified Market Research數(shù)據(jù)顯示，2022年全球獨(dú)立GPU市場(chǎng)規(guī)模約448.3億美元，NVIDIA和AMD的市場(chǎng)份額占比約為8:2。根據(jù)JPR數(shù)據(jù)，NVIDIA憑借自身性能領(lǐng)先和CUDA生態(tài)優(yōu)勢(shì)性 始終占有GPU領(lǐng)域超50%的市場(chǎng)份額，數(shù)據(jù)中心業(yè)務(wù)更是全面領(lǐng)先，在游戲顯卡領(lǐng)域，近年AMD憑借RDNA系列架構(gòu)強(qiáng)勢(shì)崛起。

2、NVIDIA先后與AMD等企業(yè)在性能方面競(jìng)爭(zhēng)博弈，架構(gòu)創(chuàng)新升級(jí)和新興領(lǐng)域前瞻探索是領(lǐng)跑GPU行業(yè)的關(guān)鍵。NVIDIA憑借性能領(lǐng)先長(zhǎng)期占據(jù)超五成市場(chǎng)份額，AMD（ATI）也曾因架構(gòu)出色、性能驚艷實(shí)現(xiàn)反超。同時(shí)NVIDIA早在2006年前瞻性布局通用計(jì)算、構(gòu)建CUDA生態(tài)，為如今AI&數(shù)據(jù)中心領(lǐng)域的全面領(lǐng)先構(gòu)筑牢固的壁壘。NVIDIA積極布局異構(gòu)芯片、汽車、元宇宙等新市場(chǎng)，尋找新的強(qiáng)有力業(yè)務(wù)增長(zhǎng)點(diǎn)。

四、國(guó)內(nèi)GPU市場(chǎng)：各應(yīng)用場(chǎng)景市場(chǎng)廣闊，國(guó)內(nèi)廠商大有可為

1、GPU市場(chǎng)空間廣闊，國(guó)內(nèi)企業(yè)規(guī)模逐步起量

2022年全球GPU市場(chǎng)規(guī)模達(dá)到448.3億美元，國(guó)內(nèi)外市場(chǎng)空間正高速增長(zhǎng)，年復(fù)合增長(zhǎng)率達(dá)到32.8% ，Verified Market Research 數(shù)據(jù)顯示，2020年，全球GPU市場(chǎng)規(guī)模為254.1億美元，且該機(jī)構(gòu)預(yù)計(jì)2028年市場(chǎng)規(guī)模將達(dá)到2465.1億美元， 對(duì)應(yīng)年復(fù)合增長(zhǎng)率達(dá)32.8%。

國(guó)際獨(dú)立GPU市場(chǎng)由Nvidia、AMD八二分成，國(guó)內(nèi)市場(chǎng)中國(guó)企業(yè)體量快速增長(zhǎng)國(guó)際市場(chǎng)上，英偉達(dá)、AMD瓜分市場(chǎng)，Jon Peddie Research數(shù)據(jù)顯示2022Q1英偉達(dá)占據(jù)79%市場(chǎng)份額，AMD占據(jù)21%。英偉達(dá)在獨(dú)立GPU領(lǐng)域一枝獨(dú)秀，AMD在集成GPU領(lǐng)域可與英偉達(dá)競(jìng)爭(zhēng)。根據(jù)各公司財(cái)報(bào)，國(guó)內(nèi)GPU龍頭企業(yè)景嘉微2022年上半年?duì)I業(yè)收入5.44億人民幣，2021年?duì)I業(yè)收入10.93億人民幣；2022年上半年海光信息營(yíng)業(yè)收入為25.3億元，而英偉達(dá)2022Q2營(yíng)收為67億美元，2021年NVIDIA中國(guó)區(qū)的營(yíng)收約為71億美元。相比之下，國(guó)產(chǎn)廠商相對(duì)規(guī)模暫時(shí)較小，未來(lái)成長(zhǎng)空間廣闊。

2、國(guó)內(nèi)市場(chǎng)：GPU應(yīng)用市場(chǎng)可劃分為—AI和數(shù)據(jù)中心、智能汽車、游戲

1）需求端1—AI

2022年11月人工智能實(shí)驗(yàn)室 OpenAI 推出了一款A(yù)I對(duì)話系統(tǒng)—ChatGPT，ChatGPT模型從 GPT-3.5 系列中的一個(gè)模型微調(diào)而成，并在 Azure AI 超級(jí)計(jì)算基礎(chǔ)設(shè)施上進(jìn)行訓(xùn)練，能夠進(jìn)行有邏輯的對(duì)話、撰寫(xiě)代碼、撰寫(xiě)劇本、糾正錯(cuò)誤、拒絕不正當(dāng)?shù)恼?qǐng)求等，效果超越大眾預(yù)期。這標(biāo)志著對(duì)話類人工智能可以在大范圍、細(xì)節(jié)問(wèn)題上給出較合理準(zhǔn)確的答案，并根據(jù)上下文形成一定像人類一樣有邏輯且有創(chuàng) 造力的回答。ChatGPT的優(yōu)化主要來(lái)自模型的增大，以及因此帶來(lái)的算力增加。GPT、GPT-2和GPT-3（當(dāng)前開(kāi)放的版本為GPT-3.5）的參數(shù)量從1.17 億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練單次的成本就高達(dá)460萬(wàn)美元。

大模型算力

2）需求端2—汽車：汽車智能化浪潮下控制器GPU市場(chǎng)前景廣闊。自動(dòng)駕駛和智能座艙是智能汽車中具有廣闊前景的方向。蓋世汽車數(shù)據(jù)預(yù)計(jì)，2025年自動(dòng)駕駛域控制器出貨量將達(dá)到432萬(wàn)臺(tái)，每臺(tái)自動(dòng)駕駛域控制器配備1-4片高性能計(jì)算GPU；智能座艙域控制器出貨量達(dá)到528萬(wàn)臺(tái)，絕大多數(shù)智能座艙域控制器配備1片GPU。自動(dòng)駕駛技術(shù)進(jìn)一步智能化拉動(dòng)汽車GPU市場(chǎng)規(guī)模快速擴(kuò)張。

3）需求端3—游戲：游戲玩家人數(shù)持續(xù)增長(zhǎng)，游戲GPU市場(chǎng)穩(wěn)中有升。Newzoo Expert數(shù)據(jù)顯示全球游戲玩家人數(shù)在2021年已達(dá)到30.57億人，且預(yù)計(jì)2020-2025年全球游戲玩家人數(shù)復(fù)合年增率為4.2%；游戲市場(chǎng)內(nèi)，游戲機(jī)和PC兩大主體出貨量再創(chuàng)新高，游戲機(jī)三大巨頭2021年出貨量高達(dá)4008萬(wàn)臺(tái)；2021年Q4全球PC GPU出貨量（包括集成和獨(dú)立顯卡）高達(dá)11000萬(wàn)片。

3、國(guó)內(nèi)GPU發(fā)展現(xiàn)狀

數(shù)字中國(guó)建設(shè)是中國(guó)國(guó)家發(fā)展戰(zhàn)略的一部分，旨在推動(dòng)數(shù)字化、信息化和網(wǎng)絡(luò)化的全面發(fā)展，提高數(shù)字經(jīng)濟(jì)的貢獻(xiàn)率，構(gòu)建數(shù)字社會(huì)和數(shù)字政府，加強(qiáng)國(guó)家信息安全和網(wǎng)絡(luò)安全等。數(shù)字中國(guó)建設(shè)的整體布局規(guī)劃應(yīng)該包括以下幾個(gè)方面：

通過(guò)數(shù)字中國(guó)建設(shè)的整體布局規(guī)劃，可以實(shí)現(xiàn)數(shù)字化、信息化和網(wǎng)絡(luò)化的全面發(fā)展，加速數(shù)字經(jīng)濟(jì)的發(fā)展，提高社會(huì)生產(chǎn)力和國(guó)家綜合實(shí)力。此外，ChatGPT可以通過(guò)學(xué)習(xí)數(shù)字中國(guó)建設(shè)的整體布局規(guī)劃，深入了解數(shù)字技術(shù)在國(guó)家戰(zhàn)略和社會(huì)發(fā)展中的應(yīng)用，從而提高對(duì)數(shù)字經(jīng)濟(jì)、數(shù)字社會(huì)、數(shù)字政府等領(lǐng)域的理解和認(rèn)知，為未來(lái)發(fā)展提供更加全面和深入的思路和支持。