作者 | 金旺

來源 | 科技行者

在大模型繼續(xù)上新的這個年底，12月18日，字節(jié)跳動火山引擎的豆包系列大模型也迎來了再次更新，一口氣上新了15款大模型產(chǎn)品。

這其中，尤以豆包視覺理解模型最為亮眼，不僅擁有內(nèi)容識別、理解推理、視覺描述等能力，還將價格再次打到了每千tokens 0.003元。

視覺大模型由此也或?qū)⒂瓉碛忠淮未蠓秶钠占皯?yīng)用。

就接下來的大模型產(chǎn)業(yè)落地來看，模型推理正在被提升到一個新高度，這對異構(gòu)算力提出了更高要求。

在豆包系列大模型冬季發(fā)布會上，火山引擎聯(lián)合英特爾展示了雙方的合作成果，我們看到了基于AI PC的“扣子”，看到了企業(yè)級的AI方案。

我們也看到了，火山引擎聯(lián)合英特爾對外發(fā)布了基于英特爾至強(qiáng)6性能核處理器的火山引擎第四代通用計(jì)算型實(shí)例g4il。

在英特爾至強(qiáng)6性能核處理器加持下，火山引擎的g4il云實(shí)例，也將再次降低大模型的應(yīng)用門檻，為AI時代下的云服務(wù)提供了一個新選擇。

01 火山引擎g4il實(shí)例，要降低大模型使用門檻

中國信通院《2024全球數(shù)字經(jīng)濟(jì)白皮書》統(tǒng)計(jì)數(shù)據(jù)顯示，截至今年一季度，全球人工智能核心企業(yè)約有3萬家，全球AI獨(dú)角獸達(dá)到了234家，其中，中國則涌現(xiàn)出了71家AI獨(dú)角獸企業(yè)。

就大模型而言，全球人工智能大模型數(shù)量為1328個，中國占比高達(dá)36%。

作為國內(nèi)大模型領(lǐng)域的核心玩家，字節(jié)跳動先是在2023年8月上線了云雀大模型，后又在2024年5月正式推出了多模態(tài)大模型豆包，而如今的豆包已經(jīng)成了日均調(diào)用量高達(dá)4萬億次的主流模型。

大模型的發(fā)展，進(jìn)一步催生了對算力的高需求，尤其是在當(dāng)下大模型進(jìn)入產(chǎn)業(yè)落地階段時，對于高性能異構(gòu)算力也提出了更高的需求。

英特爾公司市場營銷集團(tuán)副總裁、中國區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理梁雅莉指出，“英特爾至強(qiáng)6處理器正是為了適配數(shù)據(jù)中心異構(gòu)多元算力需求而生。”

在大模型進(jìn)入到應(yīng)用落地階段后，越來越多企業(yè)有了嘗鮮大模型的想法和需求，為了滿足這樣的大模型測試、預(yù)研和輕量級大模型應(yīng)用開發(fā)需求，火山引擎的g4il實(shí)例應(yīng)運(yùn)而生。

g4il實(shí)際上已經(jīng)是火山引擎第四代通用計(jì)算型實(shí)例。

據(jù)火山引擎計(jì)算產(chǎn)品負(fù)責(zé)人王睿介紹，“g4il搭載了最新的英特爾至強(qiáng)6性能核處理器和火山引擎自研的DPU，實(shí)現(xiàn)了計(jì)算、存儲和網(wǎng)絡(luò)性能的全面升級，相比上一代產(chǎn)品，g4il在視頻轉(zhuǎn)碼、Web應(yīng)用、和數(shù)據(jù)庫應(yīng)用方面分別實(shí)現(xiàn)了17%、19%和20%的性能提升。”

此外，g4il還在以下幾個方面得到了進(jìn)一步提升：

首先，得益于英特爾至強(qiáng)6性能核處理器在CPU核數(shù)上的突破，g4il的單機(jī)CPU核密度相比上一代產(chǎn)品有了翻倍的提升，在算力的性價比上也有了很大的提升；

其次，通過采用火山引擎雙單路創(chuàng)新服務(wù)器架構(gòu)，g4il再次降低了整體的爆炸半徑，有力地保障了產(chǎn)品穩(wěn)定性；

第三，通過新增大包傳輸能力（Jumbo Frame）、機(jī)密計(jì)算能力（TDX），以及支撐最新云盤吞吐類型SSD，火山引擎進(jìn)一步豐富了g4il實(shí)例的功能。

王睿指出，“英特爾在英特爾至強(qiáng)6性能核處理器上引入了MRDIMM技術(shù)，并新增支持AMX FP16指令集，更大的內(nèi)存帶寬和更強(qiáng)的矩陣運(yùn)算能力，為AI推理加速提供了更優(yōu)的底層基礎(chǔ)環(huán)境。”

火山引擎的實(shí)測數(shù)據(jù)顯示，相較于英特爾EMR CPU+DDR5內(nèi)存，基于英特爾至強(qiáng)6性能核的g4il吞吐性能最高提升了80%，相較于單卡的A10和L20 GPU也有不小的優(yōu)勢。

在火山引擎FORCE原動力大會現(xiàn)場，我們在英特爾展區(qū)也看到了基于g4il實(shí)例的文生文的大模型演示，在現(xiàn)場演示過程中，當(dāng)向PC上的大模型提問“什么是AMX時”，它可以在用戶界面流暢地生成對應(yīng)的答案。

據(jù)現(xiàn)場工作人員介紹，“這其實(shí)是在g4il實(shí)例上基于16個虛擬CPU核做7B模型的推理效果，這樣的配置已經(jīng)基本可以滿足用戶量較小、請求并發(fā)度較低的使用場景。”

在大模型成為全球焦點(diǎn)時，GPU開始被視為大模型的標(biāo)配產(chǎn)品，實(shí)際上，作為通用算力的CPU依然可以滿足不少大模型使用場景的需求。

據(jù)現(xiàn)場工作人員介紹，“基于g4il實(shí)例，企業(yè)用戶只需要16個虛擬CPU核就可以做7B左右模型的推理驗(yàn)證工作，而當(dāng)企業(yè)最終將這樣的產(chǎn)品轉(zhuǎn)化為真實(shí)落地產(chǎn)品時，可以再基于這一模型最終的用戶數(shù)、并發(fā)量選配更高配的硬件規(guī)格，由此就可以降低用戶使用門檻。”

對于一個百人規(guī)模的中小型公司，當(dāng)需要在公司內(nèi)部自研一個知識庫問答系統(tǒng)時，甚至完全可以基于CPU、在g4il實(shí)例上來實(shí)現(xiàn)，這也將極大降低企業(yè)的大模型使用門檻。

而在生成式AI成為云時代標(biāo)配，越來越多企業(yè)結(jié)合內(nèi)部數(shù)據(jù)嘗試使用大模型時，數(shù)據(jù)安全性也變得越來越重要。

對此，作為算力供應(yīng)商的英特爾和火山引擎也深有體會。

02 如何消除大模型的數(shù)據(jù)安全隱憂？

2024年6月，在今年的WWDC2024上，蘋果終于發(fā)布了他們的Apple Intelligence，高度重視隱私安全的蘋果在WWDC2024上多次強(qiáng)調(diào)了用戶隱私安全的重要性，并采用端云結(jié)合模式打造了Apple Intelligence。

數(shù)據(jù)安全問題并非只是大模型遇到的問題，相應(yīng)的隱私計(jì)算技術(shù)也已經(jīng)在近些年逐漸成熟。

如今成熟的隱私計(jì)算技術(shù)大致可以分為兩個流派：

第一個流派是基于密碼學(xué)的同態(tài)加密、多方安全計(jì)算、差分隱私、零知識證明等技術(shù)，這些技術(shù)完全依賴密碼學(xué)方式實(shí)現(xiàn)數(shù)據(jù)可用不可見的保護(hù)。

不過，基于密碼學(xué)的技術(shù)如今存在一個普遍問題，那就是會為企業(yè)帶來較高的計(jì)算和通訊開銷。

第二個流派是基于硬件、芯片構(gòu)建數(shù)據(jù)安全處理的可信執(zhí)行環(huán)境，此類技術(shù)又被稱為機(jī)密計(jì)算。

據(jù)英特爾技術(shù)專家介紹，“機(jī)密計(jì)算得益于更低的損耗、更高的性能，更符合如今云計(jì)算時代的部署要求，正在成為云計(jì)算中構(gòu)建數(shù)據(jù)可用而不可見的保護(hù)策略的主流技術(shù)方式。”

2019年，Linux基金會成立了機(jī)密計(jì)算聯(lián)盟，該聯(lián)盟的目標(biāo)旨在定義機(jī)密計(jì)算標(biāo)準(zhǔn)，支持和推廣開源機(jī)密計(jì)算工具和框架的開發(fā)，聯(lián)盟創(chuàng)始成員包括英特爾、AMD、Arm、谷歌、紅帽、阿里、華為、騰訊等來自全球的科技公司。

面對當(dāng)下數(shù)據(jù)應(yīng)用環(huán)境，機(jī)密計(jì)算主要致力于解決三大問題：

第一，數(shù)據(jù)機(jī)密性，確保用戶數(shù)據(jù)在處理和使用過程中不外泄；

第二，數(shù)據(jù)完整性，確保待處理數(shù)據(jù)安全可靠、未發(fā)生篡改，確保計(jì)算結(jié)果的安全性和可信性；

第三，代碼完整性，確保用戶數(shù)據(jù)的程序代碼安全可靠，未被植入惡意代碼。

作為機(jī)密計(jì)算的創(chuàng)始成員之一，英特爾在機(jī)密計(jì)算領(lǐng)域一直都在進(jìn)行著技術(shù)研發(fā)，并在將這些技術(shù)應(yīng)用到至強(qiáng)處理器中。

英特爾最早是在第三代英特爾至強(qiáng)可擴(kuò)展處理器中應(yīng)用了SGX技術(shù)，后又在第四代和第五代英特爾至強(qiáng)可擴(kuò)展處理器中應(yīng)用了TDX技術(shù)。

英特爾技術(shù)專家指出，“TDX技術(shù)構(gòu)建的可信執(zhí)行環(huán)境可以承載完整的用戶虛擬化實(shí)例，只要用戶的程序能跑在虛擬化環(huán)境里，都可以直接遷移到機(jī)密計(jì)算解決方案。”

而隨著機(jī)器學(xué)習(xí)、大模型應(yīng)用等高算力場景的不斷涌現(xiàn)，用戶數(shù)據(jù)有了在通用處理器和異構(gòu)加速器之間進(jìn)行協(xié)同計(jì)算的需求，英特爾又進(jìn)一步推出了TDX Connect技術(shù)，這項(xiàng)技術(shù)可以使用戶數(shù)據(jù)在異構(gòu)加速場景中的計(jì)算得到機(jī)密性保護(hù)。

以大模型核心應(yīng)用場景之一RAG為例。

RAG是檢索增強(qiáng)生成模型，本質(zhì)上是基于知識庫、數(shù)據(jù)庫的內(nèi)容檢索，大模型在生成內(nèi)容時，參照數(shù)據(jù)庫有針對性地增強(qiáng)生成結(jié)果，從而提升生成結(jié)果質(zhì)量和準(zhǔn)確性。

在這一應(yīng)用場景中，由于行業(yè)知識庫或企業(yè)知識庫一定含有企業(yè)敏感信息，例如行業(yè)流程、企業(yè)流程，乃至技術(shù)文檔。

用戶在部署RAG服務(wù)時，對其是否會被竊取會存有疑慮，基于英特爾TDX構(gòu)建的機(jī)密虛擬化實(shí)例，無論是RAG應(yīng)用中的信息提取、數(shù)據(jù)庫應(yīng)用，還是模型生成流程，都可以在不改變應(yīng)用程序中間框架前提下直接訪問機(jī)密虛擬機(jī)，從而實(shí)現(xiàn)在云中隔離和保護(hù)用戶在使用RAG部署過程中的數(shù)據(jù)安全。

實(shí)際上，火山引擎最近就基于英特爾TDX技術(shù)，推出了g3ilt TDX機(jī)密計(jì)算實(shí)例，這一云實(shí)例可以為云上AI場景構(gòu)建端到端的機(jī)密計(jì)算方案。

我們在大會現(xiàn)場，也看到了g3ilt TDX機(jī)密計(jì)算實(shí)例的現(xiàn)場展示。

當(dāng)然，基于英特爾至強(qiáng)6性能核處理器的火山引擎第四代通用計(jì)算型實(shí)例g4il同樣支持TDX機(jī)密虛擬機(jī)，與此同時，針對云上AI場景，火山引擎打造了端到端安全解決方案。

王睿在大會上介紹稱，“基于CPU和GPU硬件機(jī)密計(jì)算能力，火山引擎在固件、內(nèi)核、虛擬化以及操作系統(tǒng)等方面做了深度調(diào)優(yōu)，在機(jī)密計(jì)算云服務(wù)器上，火山引擎提供了機(jī)密容器、密鑰管理、基線管理、遠(yuǎn)程證明和安全RAG等豐富的安全能力和服務(wù)，為AI應(yīng)用當(dāng)中的訓(xùn)練推理，前后端數(shù)據(jù)處理全場景提供安全保障。”