在輕薄本上跑 Stable Diffusion 和端側(cè)大模型?英特爾說沒問題
不管被動(dòng)還是主動(dòng),大模型,AIGC,ChatGPT,Stable Diffusion,MidJourney 等等名詞在大家的新聞列表里狂轟濫炸,經(jīng)歷了上半年的驚喜、恐慌、期待和擔(dān)憂之后,AIGC 現(xiàn)今已不是天降福音或者天網(wǎng)再臨,人們開始正視它,理解它,適度利用它。
(資料圖)
當(dāng)然,這一輪 AIGC 浪潮主要發(fā)生在云端,無(wú)論是 ChatGPT,還是文心一言,通義千問這類大語(yǔ)言模型應(yīng)用,亦或是 MidJourney 這類 AI 生成圖片的應(yīng)用,還有不少像 Runway 這樣 AI 生成視頻的應(yīng)用,都需要聯(lián)網(wǎng),因?yàn)?AI 計(jì)算都發(fā)生在千里之外的云端服務(wù)器上。
畢竟一般而言,服務(wù)器端能夠提供的算力和存儲(chǔ),要遠(yuǎn)大于電腦端和手機(jī)端,但情況也并非絕對(duì),響應(yīng)快,無(wú)需聯(lián)網(wǎng)的端側(cè) AI 毫無(wú)疑問是另一個(gè)趨勢(shì),和云端 AI 能夠相互互補(bǔ)。
在前不久的小米年度演講中,小米創(chuàng)始人雷軍表示,小米 AI 大模型最新一個(gè) 13 億參數(shù)大模型已經(jīng)成功在手機(jī)本地跑通,部分場(chǎng)景可以媲美 60 億參數(shù)模型在云端運(yùn)行結(jié)果。
雖然參數(shù)量不太大,但說明了大模型在端側(cè)的可行性和潛力。
在算力大得多的 PC 端,是否也有端側(cè)大模型等 AIGC 運(yùn)用的可行性和潛力呢?8 月 18 日,英特爾舉辦了一場(chǎng)技術(shù)分享會(huì),著重分享了 2 個(gè)方面的信息:英特爾銳炫顯卡 DX11 性能更新,并推出全新英特爾 PresentMon Beta 工具,以及展示英特爾在 AIGC 領(lǐng)域的進(jìn)展。
去年英特爾銳炫臺(tái)式機(jī)產(chǎn)品發(fā)布時(shí),就承諾過英特爾銳炫顯卡會(huì)持續(xù)優(yōu)化升級(jí),帶來(lái)更出色的體驗(yàn)。
通過最新 Game On 驅(qū)動(dòng)的發(fā)布,英特爾銳炫顯卡在運(yùn)行一系列 DX11 游戲的時(shí)候,能夠獲得 19% 的幀率提升,以及平均約 20% 的99th Percentile幀率流暢度提升(相較于首個(gè)驅(qū)動(dòng)版本)。此前購(gòu)買使用過英特爾銳炫 A750 顯卡的用戶,可以直接下載最新驅(qū)動(dòng),在《守望先鋒 2》、《DOTA 2》、《Apex Legends》等游戲中獲得體驗(yàn)升級(jí)。
對(duì)于在顯卡選擇上有點(diǎn)猶豫的用戶來(lái)說,1700 元檔位上的銳炫 A750 顯卡也成為了頗有競(jìng)爭(zhēng)力的選擇。
PresentMon Beta 則是英特爾推出的圖形性能分析工具,提供了 Overlay(疊加視圖)等功能,可以在運(yùn)行游戲時(shí)在屏幕上顯示性能數(shù)據(jù),幫助玩家實(shí)時(shí)遙測(cè) GPU 的電壓和溫度等,實(shí)時(shí)分析大量信息。同時(shí)也可以查看 99th Percentile 幀時(shí)間與 GPU 占用率圖表。
另外,PresentMon Beta 也帶來(lái)了名為「GPU Busy」的全新指標(biāo)。這里可以解釋一下,用戶通過它可以看到 GPU 實(shí)際使用了多少時(shí)間進(jìn)行實(shí)際渲染而不是處于等待狀態(tài),或者在運(yùn)行游戲的 PC 是否處于 CPU 和 GPU 平衡。
游戲是 PC 永恒的主題,而 AI 則是新晉的主題。
實(shí)際上,這一輪 AIGC 浪潮發(fā)生的主陣地設(shè)備,就是 PC,無(wú)論是 ChatGPT,還是 MidJourney,或者 Stable Diffusion 等等應(yīng)用,包括基于大模型的微軟 Office Copilot,亦或是金山辦公的 WPS AI,都是在 PC 上才可以獲得更好的體驗(yàn)。
但 PC 相較于其他設(shè)備,諸如手機(jī),平板和優(yōu)勢(shì),不僅在于屏幕更大,交互輸入更高效,還在于芯片性能。
在英特爾談 PC 上的 AIGC 之前,我們關(guān)注到 PC 端側(cè)跑 AIGC,往往就是用高性能游戲本去跑圖,但輕薄本往往被排除在外。
現(xiàn)在,英特爾明確表示了,基于英特爾處理器的輕薄本能跑大模型,也可以跑大模型和 Stable Diffusion。
英特爾基于 OpenVINO PyTorch (英特爾推出的一個(gè)開放源碼工具包,旨在優(yōu)化深度學(xué)習(xí)模型的推理性能,并將其部署到不同的硬件平臺(tái)上)后端的方案,通過 Pytorch API 讓社區(qū)開源模型能夠很好地運(yùn)行在英特爾的客戶端處理器、集成顯卡、獨(dú)立顯卡和專用 AI 引擎上。
比如開源的圖像生成模型 Stable Diffusion (具體講,是 Automatic1111 WebUI)就可以通過這種方式,在英特爾 CPU 和 GPU(包括集成顯卡和獨(dú)立顯卡)上運(yùn)行 FP16 精度的模型,用戶實(shí)現(xiàn)文字生成圖片、圖片生成圖片以及局部修復(fù)等功能。
(圖片來(lái)自:愛極物)
比如這張 512 x 512 分辨率的蜂蜜薄餅圖在英特爾處理器輕薄本(只用 i7-13700H 的核顯)上,只需要十幾秒就可以生成出來(lái)。
這主要得益于 13 代酷睿處理器在核心數(shù)、性能、功耗比還有圖形性能上的進(jìn)步,以 14 核心 20 線程的 i7-13700H 處理器為例,它的 TDP 達(dá)到了 45W,集成的 Intel Iris Xe Graphics (96EU) 顯卡也不容小覷。
作為目前最高規(guī)格的核顯之一,Intel Iris Xe Graphics (96EU) 相較于 Iris Plus 核顯最高 64EU,基本規(guī)格提升明顯,F(xiàn)P16、FP32 浮點(diǎn)性能提升幅度高達(dá) 84%,還引入了 INT8 整數(shù)計(jì)算能力 ,這些都加強(qiáng)了它的 AI 圖形計(jì)算能力,也是英特爾輕薄本能夠很好支持 Stable Diffusion 的主要原因。
在以往,TDP 45W 左右的英特爾處理器很難裝進(jìn)輕薄本,不過到了 13 代酷睿,已經(jīng)出現(xiàn)了一大批在 1.4KG 左右的輕薄本把 14 核心 20 線程的 i7-13700H 處理器乃至性能更高的 i7-13900H 處理器塞了進(jìn)去,所以,在筆記本上跑 Stable Diffusion 快速出圖已經(jīng)不是高性能獨(dú)顯游戲本的專屬,今后輕薄本同樣能夠勝任這項(xiàng)工作。
當(dāng)然,Stable Diffusion 本身主要跑在本地,輕薄本通過芯片性能的提升和優(yōu)化來(lái)運(yùn)行合乎邏輯,不過本地的端側(cè)大模型則屬于較為新生的事物。
通過通過模型優(yōu)化,降低了模型對(duì)硬件資源的需求,進(jìn)而提升了模型的推理速度,英特爾讓一些社區(qū)開源模型能夠很好地運(yùn)行在個(gè)人電腦上。
以大語(yǔ)言模型為例,英特爾通過第 13 代英特爾酷睿處理器 XPU 的加速、low-bit 量化以及其它軟件層面的優(yōu)化,讓最高達(dá) 160 億參數(shù)的大語(yǔ)言模型,通過 BigDL-LLM 框架運(yùn)行在 16GB 及以上內(nèi)存容量的個(gè)人電腦上。
雖然離 ChatGPT3.5 的 1750 億參數(shù)有量級(jí)差距,但畢竟 ChatGPT3.5 是跑在一萬(wàn)顆英偉達(dá) V100 芯片構(gòu)建的 AGI 網(wǎng)絡(luò)集群上。而這通過 BigDL-LLM 框架運(yùn)行 160 億參數(shù)大模型是跑在英特爾酷睿 i7-13700H 或 i7-13900H 這樣為高性能輕薄本打造的處理器上。
不過這里也可以看到,PC 端側(cè)的大語(yǔ)言模型,也比手機(jī)端側(cè)的大語(yǔ)言模型高一個(gè)量級(jí)。
出現(xiàn)了數(shù)十年的 PC,并非運(yùn)行云端大模型的工具人,得益于硬件進(jìn)步,英特爾處理器支持的 PC 已經(jīng)能夠快速對(duì)接新興模型,兼容 HuggingFace 上的 Transformers 模型,目前已經(jīng)驗(yàn)證過的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等。
(圖片來(lái)自:愛極物)
在技術(shù)分享會(huì)現(xiàn)場(chǎng),英特爾演示了基于酷睿 i7-13700H 設(shè)備跑大模型的表現(xiàn):ChatGLM-6b 可以做到首個(gè) token 生成 first latency 241.7ms,后續(xù) token 平均生成率為 55.63ms/token。在在自然語(yǔ)言處理領(lǐng)域,「token」 是指文本中的一個(gè)基本單元,可以是一個(gè)單詞、一個(gè)字、一個(gè)子詞(subword)、一個(gè)標(biāo)點(diǎn)符號(hào),或者其他可以進(jìn)行語(yǔ)義處理的最小單元??梢钥吹?,這個(gè)處理器速度相當(dāng)不錯(cuò)。
目前還可以得到的消息是,英特爾的下一代處理器 Meteor Lake 具備獨(dú)特的分離式模塊架構(gòu)的優(yōu)勢(shì),更好地為 AI 服務(wù),包括像 Adobe Premiere Pro 中的自動(dòng)重新構(gòu)圖和場(chǎng)景編輯檢測(cè)等多媒體功能,并實(shí)現(xiàn)更有效的機(jī)器學(xué)習(xí)加速。
雖然 AIGC 是 2023 年的一個(gè)關(guān)鍵詞,但是 AI 并不新鮮,而且也是英特爾這幾年來(lái)經(jīng)常掛在嘴邊的關(guān)鍵詞。
更早之前的 AI 視頻通話降噪,AI 視頻通話背景降噪等等,其實(shí)都是 AI 的應(yīng)用。
可以看到,未來(lái)處理器的競(jìng)爭(zhēng)力,將不局限于核心數(shù)、線程數(shù)、主頻這些,能否更好地驅(qū)動(dòng) AI 功能,將成為愈發(fā)重要的維度,也會(huì)是今后消費(fèi)者選購(gòu)產(chǎn)品會(huì)考慮的因素之一。
關(guān)鍵詞:
您可能也感興趣:
今日熱點(diǎn)
為您推薦
連續(xù)作戰(zhàn)!衡山公安抓獲多名“幫信”犯罪嫌疑人
熱門車訊比亞迪L3超A跑車長(zhǎng)春車展上市
再見哈登!5換1重量級(jí)交易方案曝光!恩比德或聯(lián)手水花,勇士穩(wěn)了
排行
最近更新
- 在輕薄本上跑 Stable Diffusion 和端側(cè)大模型?英特爾說沒問題
- AI透過胸片估測(cè)患者年齡 可揭示其患慢性病風(fēng)險(xiǎn)
- 滄州海洋館門票多少錢?(附購(gòu)票入口)
- 科技賦能+綜合治理 旱堿地里種好中國(guó)糧
- 臨港在建最高標(biāo)志性建筑迎新進(jìn)展:西島金融中心主樓核心筒 9...
- 23日將迎本年度第二次水星逆行
- 中年“預(yù)”失業(yè),該何去何從?
- 第四批銀齡教師支援西部計(jì)劃啟動(dòng)
- 韓國(guó)民間團(tuán)體集會(huì)抗議韓美聯(lián)合軍演
- 柬埔寨國(guó)民議會(huì)投票選舉洪瑪奈為新首相
- "電風(fēng)扇"行情來(lái)襲,如何應(yīng)對(duì)?基金經(jīng)理發(fā)聲:長(zhǎng)期的收益來(lái)自時(shí)間
- 國(guó)家統(tǒng)計(jì)局:2022年我國(guó)經(jīng)濟(jì)發(fā)展新動(dòng)能指數(shù)比上年增長(zhǎng)28.4%
- 2023暑期檔票房破190億
- 社保斷交一個(gè)月生育津貼有影響嗎?一文講清楚
- 2023年中國(guó)IGBT行業(yè)發(fā)展現(xiàn)狀及趨勢(shì)預(yù)測(cè)
- 行駛記錄儀應(yīng)用場(chǎng)景更加多樣化 未來(lái)智能行車記錄儀市場(chǎng)規(guī)模...
- 零碳“加速度”!寧德時(shí)代首個(gè)儲(chǔ)能電池為主的零碳工廠正式誕生
- NYMEX原油上看82.28美元
- 建安區(qū)教體局做好“雙減”工作 提升班主任素質(zhì)
- 《暗黑破壞神4》戰(zhàn)利品過濾器功能有望實(shí)現(xiàn)
- 上海臨港新片區(qū)高質(zhì)量發(fā)展邁出新步伐
- 為什么5年期房貸利率下降落空?因?yàn)檫€有更重要的事情
- 紫荊觀察丨多元消費(fèi)“點(diǎn)燃”夏日經(jīng)濟(jì)活力
- 古人的文具
- 外媒:柬埔寨國(guó)民議會(huì)投票選舉洪瑪奈為新首相
- “文化周末”奏響惠州
- 歐足聯(lián)官網(wǎng)盤點(diǎn)梅西上賽季最出彩的三場(chǎng)比賽,戰(zhàn)馬卡比2球2助
- 宏創(chuàng)控股:8月21日獲融資買入151.01萬(wàn)元
- 悅達(dá)起亞智跑
- 法國(guó)蘭蔻官方網(wǎng)(法國(guó)蘭蔻官網(wǎng)中文官網(wǎng))
今日要聞
- 在輕薄本上跑 Stable Diffusion 和端側(cè)大模型?英特爾說沒問題
- 甘州區(qū)東街街道交通巷社區(qū)開展“樹誠(chéng)信新風(fēng)氣 做文明好市民”宣傳活動(dòng)
- 長(zhǎng)興路街道銀河社區(qū):運(yùn)動(dòng)悅童心 一起來(lái)健身
- 競(jìng)業(yè)達(dá)漲停 教育ETF早盤強(qiáng)勢(shì)、交投活躍
- 華民股份:控股子公司簽訂《單晶硅片購(gòu)銷框架合同》
- 金山海事局制定錯(cuò)時(shí)延時(shí)檢查制度 實(shí)現(xiàn)到港適檢船舶科學(xué)化管理
- 8月降息,為啥房貸利率不降?
- 連續(xù)10年居世界首位!我國(guó)工業(yè)機(jī)器人銷量已占全球一半以上
- “扭扭車男孩”已在合肥結(jié)束康復(fù)治療 或?qū)⒔邮芏啻问中g(shù)
- 廣東瑞浦蘭鈞,二期項(xiàng)目總投資70億元,設(shè)計(jì)年產(chǎn)能16GWh