——亞馬遜云科技數(shù)據(jù)庫、數(shù)據(jù)分析和機器學習全球副總裁Swami Sivasubramanian

(資料圖)

采用機器學習的新范式賦能業(yè)務(wù)不斷探索已經(jīng)播種了幾十年。但隨著足夠的可伸縮算力的就位、海量數(shù)據(jù)的爆炸，以及機器學習技術(shù)的快速進步，各行各業(yè)的客戶開始對業(yè)務(wù)進行重塑。最近，像ChatGPT這樣的生成式AI應(yīng)用引起了廣泛的關(guān)注，引發(fā)了諸多想象。我們正處在一個令人激動的機器學習被大規(guī)模采用的轉(zhuǎn)折點上，我們也相信生成式AI將會重塑大量客戶體驗和應(yīng)用程序。

20多年來，人工智能和機器學習一直是亞馬遜關(guān)注的焦點。亞馬遜提供給客戶的很多功能都是由機器學習驅(qū)動的，例如我們的電商推薦引擎、運營中心撿貨機器人的路徑選擇，以及我們的供應(yīng)鏈、預(yù)測和產(chǎn)能規(guī)劃。Prime Air（亞馬遜無人機）和Amazon Go（亞馬遜線下無人零售實體店，消費者可以自選商品后直接離開，無需現(xiàn)場排隊付款結(jié)算）中的計算機視覺技術(shù)都使用了深度學習。Alexa每周回應(yīng)客戶數(shù)十億次關(guān)于管理智能家居、購物、獲取信息和娛樂的請求，這也得益于來自?30?多種不同的機器學習系統(tǒng)的支持。亞馬遜有數(shù)千名工程師專注于機器學習研究，這既是我們的寶貴資產(chǎn)，也是我們現(xiàn)在最關(guān)注的理念，和面向未來的實力之所在。

在亞馬遜云科技，我們致力于不斷降低機器學習的使用門檻。我們已經(jīng)幫助超過10萬家來自各行各業(yè)的不同規(guī)模的客戶使用機器學習進行創(chuàng)新。我們在人工智能和機器學習堆棧的三個層級都擁有至深至廣的產(chǎn)品組合。長期以來，我們不斷投入、持續(xù)創(chuàng)新，為機器學習提供高性能、可伸縮的基礎(chǔ)設(shè)施，和極具性價比的機器學習訓練和推理；我們研發(fā)了Amazon SageMaker，為所有開發(fā)人員構(gòu)建、訓練和部署模型提供最大的便利；我們還推出了大量服務(wù)，使客戶通過簡單的API調(diào)用就可添加AI功能到應(yīng)用程序中，如圖像識別、預(yù)測和智能搜索。得益于此，Intuit、湯森路透、阿斯利康、法拉利、德甲聯(lián)賽、3M和寶馬等客戶，以及全球數(shù)千家初創(chuàng)企業(yè)和政府機構(gòu)正在通過機器學習進行數(shù)字化轉(zhuǎn)型，帶動產(chǎn)業(yè)升級，重新定義機器學習的使命。我們同樣致力于推動生成式AI技術(shù)的普惠化：我們將這些技術(shù)從研究和實驗領(lǐng)域釋放出來，不只是少數(shù)初創(chuàng)公司和資金雄厚的大型科技公司，而是讓更多公司都能從中受益。因此，我今天非常興奮宣布數(shù)項創(chuàng)新，幫助我們的客戶更簡單、更容易地在業(yè)務(wù)中使用生成式AI。

生成式AI和基礎(chǔ)模型

生成式AI是人工智能的一種，能夠創(chuàng)造新內(nèi)容和想法，包括對話、故事、圖像、視頻和音樂。與所有人工智能技術(shù)一樣，生成式AI的能力由機器學習模型提供。這些模型是基于大量數(shù)據(jù)進行預(yù)先訓練的大模型，通常被稱為基礎(chǔ)模型（Foundation Models）。機器學習的最新進展（特別是基于transformer的神經(jīng)網(wǎng)絡(luò)架構(gòu)的發(fā)明）直接帶來這一類模型的爆發(fā)式增長，這類模型通常包含數(shù)十億個參數(shù)或變量。2019年最大的預(yù)訓練模型是3.3億個參數(shù)?，F(xiàn)在，最大的模型包含的參數(shù)超過5千億個，相當于幾年間增加了1600倍。如今的基礎(chǔ)模型，例如大型語言模型GPT3.5或BLOOM，以及由Stability AI開發(fā)的文生圖模型Stable Diffusion，可以執(zhí)行跨多個領(lǐng)域的多種任務(wù)，例如撰寫博客文章、生成圖像、解決算術(shù)問題、對話聊天，基于文檔回答問題等?；A(chǔ)模型的規(guī)模和面向通用場景的性質(zhì)使其不同于傳統(tǒng)的機器學習模型，后者通常僅執(zhí)行特定的任務(wù)，例如分析文本觀點、分類圖像和預(yù)測趨勢等。

基礎(chǔ)模型包含大量參數(shù)，能夠?qū)W習復(fù)雜的概念，因此可以執(zhí)行更多任務(wù)。通過基于互聯(lián)網(wǎng)規(guī)模的、各種形式和模態(tài)的海量數(shù)據(jù)進行預(yù)先訓練，基礎(chǔ)模型學會在各種語境中應(yīng)用所習得的知識。盡管預(yù)訓練基礎(chǔ)模型所帶來的功能和可能性已足夠令人驚嘆，而真正讓客戶為此興奮不已的是，這些通用模型也可以被定制化加工，執(zhí)行專屬于其業(yè)務(wù)領(lǐng)域的特定功能，幫助業(yè)務(wù)建立差異化競爭優(yōu)勢，與從零開始訓練模型相比，僅需使用一小部分數(shù)據(jù)和計算資源。定制化的基礎(chǔ)模型可以帶來獨有的顧客體驗，體現(xiàn)公司的觀點、風格和服務(wù)，適用于眾多消費者行業(yè)，如金融銀行、旅行和醫(yī)療等。例如，一家金融公司如果需要使用所有相關(guān)交易自動生成活動日報以供內(nèi)部流通，它可以使用包括既往報告在內(nèi)的專有數(shù)據(jù)來定制模型，以便基礎(chǔ)模型了解如何閱讀報告和使用哪些數(shù)據(jù)來生成日報。

基礎(chǔ)模型擁有巨大的潛力，但我們?nèi)蕴幵诔跫夒A段。ChatGPT率先吸引了客戶對生成式AI的關(guān)注。對生成式AI展開研究的人很快意識到，多家公司已經(jīng)在基礎(chǔ)模型上耕耘多年，可用的基礎(chǔ)模型也有很多，且各有各的優(yōu)勢和特點。在過去的數(shù)年間，我們都親歷了技術(shù)的快速發(fā)展，機器學習的演進也是日新月異。我們期待未來會涌現(xiàn)全新的體系和架構(gòu)，而基礎(chǔ)模型的多樣化會推動新一波的創(chuàng)新浪潮。此前聞所未聞的新應(yīng)用體驗在今天已經(jīng)成為現(xiàn)實。很多客戶都在詢問我們，如何快速利用當今以及未來可能出現(xiàn)的技術(shù)，如何快速使用基礎(chǔ)模型和生成式AI立刻為公司業(yè)務(wù)大幅提升生產(chǎn)效率和變革產(chǎn)品與服務(wù)。

推出Amazon Bedrock和Amazon Titan模型：借助基礎(chǔ)模型構(gòu)建和擴展生成式AI應(yīng)用程序的最簡單途徑

客戶向我們講述了他們現(xiàn)在的主要需求。首先，他們需要能直接找到并訪問高性能基礎(chǔ)模型，這些模型需要能夠給出最匹配業(yè)務(wù)場景的優(yōu)秀反饋結(jié)果。其次，客戶希望無縫與應(yīng)用程序集成，且無需管理大量基礎(chǔ)設(shè)施集群，也不會增加過高的成本。最后，客戶希望能夠輕松上手，基于基礎(chǔ)模型，利用自己的數(shù)據(jù)（可多可少）構(gòu)建差異化的應(yīng)用程序。由于客戶進行定制化的數(shù)據(jù)是非常有價值的?IP，因此需要在處理過程中確保數(shù)據(jù)安全和隱私保護。同時，客戶還希望能控制數(shù)據(jù)共享和使用。

聽取了客戶的所有反饋，今天我們很高興宣布推出Amazon Bedrock。這項新服務(wù)允許用戶通過API訪問來自AI21 Labs、Anthropic、Stability AI和亞馬遜的基礎(chǔ)模型。Bedrock是客戶使用基礎(chǔ)模型構(gòu)建和擴展生成式AI應(yīng)用程序的最簡單方法，為所有開發(fā)者降低使用門檻。在Bedrock上，用戶可以通過可擴展、可靠且安全的亞馬遜云科技托管服務(wù)，訪問從文本到圖像的一系列強大的基礎(chǔ)模型，以及我們今天發(fā)布的Amazon Titan基礎(chǔ)模型。Amazon Titan基礎(chǔ)模型目前包括了兩個全新的大語言模型。憑借Bedrock所帶來的無服務(wù)器體驗，客戶可以輕松找到適合自身業(yè)務(wù)的模型，快速上手，在確保數(shù)據(jù)安全和隱私保護的前提下，使用自有數(shù)據(jù)基于基礎(chǔ)模型進行定制，并使用他們已經(jīng)熟悉的亞馬遜云科技工具和能力，將定制化模型集成并部署到他們的應(yīng)用程序中，同時無需管理任何基礎(chǔ)設(shè)施。比如，客戶可以將基礎(chǔ)模型與Amazon SageMaker機器學習功能集成，使用Experiments測試不同模型和使用Pipelines大規(guī)模管理基礎(chǔ)模型等。

客戶也可使用Bedrock訪問一些當前最領(lǐng)先的可用基礎(chǔ)模型。這將包括AI21 Labs開發(fā)的Jurassic-2多語種大語言模型系列，能夠根據(jù)自然語言指令生成文本內(nèi)容，目前支持西班牙語、法語、德語、葡萄牙語、意大利語和荷蘭語。還有Anthropic開發(fā)的大語言模型Claude，它是基于Anthropic對于訓練誠實和負責任的AI（responsible AI）系統(tǒng)的大量研究，能夠執(zhí)行多種對話和文本處理任務(wù)?？蛻暨€可以通過Bedrock輕松訪問Stability AI開發(fā)的文生圖基礎(chǔ)模型Stable Diffusion，這是文生圖領(lǐng)域目前最流行的模型，能夠生成獨特、寫實、高清的圖像、藝術(shù)作品、商標和其它設(shè)計圖。

Bedrock最重要的能力之一是極其容易定制模型?？蛻糁恍柘駼edrock展示Amazon S3中的幾個標注好的數(shù)據(jù)示例，Bedrock就可以針對特定任務(wù)微調(diào)模型，最少僅需20個示例即可，而無需標注大量數(shù)據(jù)。假設(shè)一位時裝零售行業(yè)的內(nèi)容營銷經(jīng)理，想為即將推出的手提包新品系列開發(fā)新的、針對目標用戶的廣告創(chuàng)意。他向Bedrock提供了一些標注過的表現(xiàn)最佳的既往營銷廣告示例，以及新品的相關(guān)描述，Bedrock將能自動為這些新品生成有效的社交媒體推文內(nèi)容、展示廣告和產(chǎn)品網(wǎng)頁。沒有任何客戶數(shù)據(jù)被用于訓練底層模型。所有數(shù)據(jù)都進行了加密，且不會離開客戶的虛擬私有網(wǎng)絡(luò)（VPC），因此客戶完全可以確信獲得數(shù)據(jù)安全和隱私保護。

Bedrock目前提供有限預(yù)覽，Coda等客戶的開發(fā)團隊對使用Bedrock充滿期待。Coda的聯(lián)合創(chuàng)始人兼CEO?Shishir Mehrotra表示：“作為亞馬遜云科技的長期客戶，我們對Amazon Bedrock帶來的高品質(zhì)、可擴展性和性能充滿期待。我們所有的據(jù)已經(jīng)存儲在亞馬遜云科技上，我們能夠利用Bedrock快速采用生成式AI，并能充分保證我們數(shù)據(jù)的安全和隱私。目前，包括Uber、紐約時報、Square在內(nèi)的成千上萬個團隊都在采用Coda，因此，可靠性與可擴展性十分重要?！?/p>

一些客戶已經(jīng)預(yù)覽了亞馬遜全新的Titan基礎(chǔ)模型，在未來幾個月內(nèi)，我們會進一步擴展其可用范圍。我們將首先發(fā)布兩個Titan模型。第一個是針對總結(jié)、文本生成（如原創(chuàng)博客）、分類、開放式問答和信息提取等任務(wù)的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠?qū)⑽谋据斎耄ㄗ衷~、短語甚至是大篇幅文章）翻譯成包含語義的數(shù)字表達（即embeddings?嵌入編碼）。雖然這種大語言模型不生成文本，但對個性化推薦和搜索等應(yīng)用程序卻大有裨益，因為相對于匹配文字，對比編碼可以幫助模型反饋更相關(guān)、更符合情境的結(jié)果。實際上，Amazon.com的產(chǎn)品搜索能力就是采用了類似的文本嵌入模型，能夠幫助客戶更好地查找所需的商品。為了持續(xù)推動使用負責任AI的最佳實踐，Titan基礎(chǔ)模型可以識別和刪除客戶提交給定制模型的數(shù)據(jù)中的有害內(nèi)容，拒絕用戶輸入不當內(nèi)容，過濾模型中包含不當內(nèi)容的輸出結(jié)果，如仇恨言論、臟話和語言暴力。

任何規(guī)模的企業(yè)都可以通過Bedrock訪問基礎(chǔ)模型，加速機器學習在組織內(nèi)部的應(yīng)用，并憑借其輕松上手的特性，構(gòu)建自己的生成式AI應(yīng)用程序。我們相信，Bedrock將是基礎(chǔ)模型普惠化進程中的一大步。埃森哲、德勤、Infosys和Slalom等合作伙伴都在構(gòu)建最佳實踐，幫助企業(yè)借助生成式AI實現(xiàn)快速發(fā)展。C3AI和Pega等獨立軟件開發(fā)商（ISV）對于利用Bedrock輕松訪問大量基礎(chǔ)模型，兼具安全性、隱私性和可靠性充滿期待。

宣布Amazon EC2?Trn1n和Amazon EC2?Inf2實例正式可用：最具成本效益的生成式AI云基礎(chǔ)設(shè)施

無論運行、構(gòu)建還是定制基礎(chǔ)模型，客戶都需要高性能、低成本且為機器學習專門構(gòu)建的基礎(chǔ)設(shè)施。過去五年，亞馬遜云科技持續(xù)加大在自研芯片方面的投入，不斷突破性能和價格的極限，以支持對此有極高要求的機器學習訓練與推理等工作負載。亞馬遜云科技Trainium和Inferentia芯片可以提供在云上訓練模型和運行推理的最低成本。正是因為我們在成本和性能方面的優(yōu)勢，像?AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI?等領(lǐng)先的AI初創(chuàng)公司都選擇運行在亞馬遜云科技上。

由Trainium支持的Trn1計算實例與其他任何EC2實例相比，都可以節(jié)省高達50%的訓練成本，并經(jīng)過優(yōu)化，可以在與高達800Gbps的第二代EFA（彈性結(jié)構(gòu)適配器）網(wǎng)絡(luò)相連的多個服務(wù)器上分發(fā)訓練任務(wù)。客戶可以在超大規(guī)模集群（UltraClusters）中部署Trn1實例，數(shù)量可以擴展到在同一可用區(qū)中3萬個Trainium芯片，相當于超過6 exaflops的計算能力，并具有PB級網(wǎng)絡(luò)。許多亞馬遜云科技客戶，包括Helixon、Money Forward和亞馬遜的搜索團隊，都使用Trn1實例將訓練最大規(guī)模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，并且降低了成本。800 Gbps的帶寬已經(jīng)很大，但我們?nèi)圆粩鄤?chuàng)新、拓展帶寬。今天我們宣布全新的、網(wǎng)絡(luò)優(yōu)化型Trn1n實例正式可用，它可以提供1600 Gbps的網(wǎng)絡(luò)帶寬，專為大型網(wǎng)絡(luò)密集型模型設(shè)計，其性能比Trn1高出20%。

今天，基礎(chǔ)模型花費的時間和金錢主要用于訓練，這是因為許多客戶才剛剛開始將基礎(chǔ)模型部署到生產(chǎn)中。但是，未來，當基礎(chǔ)模型進入大規(guī)模部署時，大部分成本將用于運行模型和進行推理。客戶通常會定期訓練模型，于是生產(chǎn)應(yīng)用程序會不斷生成預(yù)測（稱為推理）——每小時可能生成數(shù)百萬預(yù)測。而且這些預(yù)測需要實時發(fā)生，這就需要極低延遲和高吞吐量的網(wǎng)絡(luò)。Alexa就是一個典型的例子，它每分鐘都會接受數(shù)百萬次請求，處理這些請求占所有計算成本的40%。

我們相信，未來大部分機器學習成本將來自運行推理。因而，幾年之前，當我們開始研發(fā)新型芯片時，就已經(jīng)將推理優(yōu)化型芯片置于首位。2018年，我們發(fā)布了首款推理專用芯片Inferentia。每年，亞馬遜都運用Inferentia運行數(shù)萬億次推理，并節(jié)省數(shù)億美元成本。這是十分顯著的成果，繼續(xù)創(chuàng)新的空間依然巨大，因為隨著越來越多的客戶將生成式AI集成到他們的應(yīng)用程序中，工作負載的規(guī)模和復(fù)雜性只會越來越大。

因此，我們今天宣布由Amazon Inferentia2提供支持的Inf2實例正式可用，這些實例專門針對運行數(shù)千億個參數(shù)模型的大規(guī)模生成式AI應(yīng)用程序進行了優(yōu)化。與上一代相比，Inf2實例不僅吞吐量提高了4倍，延遲降低了10倍，還可實現(xiàn)加速器之間的超高速連接以支持大規(guī)模分布式推理。與同類Amazon EC2實例相比，這些能力將推理性價比提高了40%，并把云中的推理成本降到最低。與同類Amazon EC2實例相比，Runway等客戶有望利用Inf2將部分模型的吞吐量提升至原來的兩倍。受益于高性能和低成本的推理，Runway能夠引入更多功能，部署更復(fù)雜的模型，并最終為自己的數(shù)百萬用戶交付更優(yōu)質(zhì)的體驗。

宣布Amazon CodeWhisperer正式可用，并面向個人開發(fā)者免費開放

我們深知，對客戶而言，利用正確的基礎(chǔ)模型進行構(gòu)建，并在最優(yōu)性能的云基礎(chǔ)設(shè)施上大規(guī)模運行生成式AI應(yīng)用程序?qū)眍嵏残宰兏铩Ｍ瑫r，這也將帶來革命性的全新用戶體驗。當應(yīng)用程序或系統(tǒng)具備內(nèi)置的生成式AI能力時，用戶可以獲得更自然、更流暢的交互體驗。這就如同今天手機的人臉識別解鎖功能，我們無需了解這一功能背后強大的機器學習模型，卻可以做到看一眼手機就解鎖了。

我們預(yù)見到，編程將是生成式AI技術(shù)得到快速應(yīng)用的領(lǐng)域之一。今天，軟件開發(fā)者需要花費大量時間編寫相當淺顯和無差別的代碼。他們還需要花費不少時間學習復(fù)雜的新工具和技術(shù)，而這些工具和技術(shù)總在不斷演進。因此，開發(fā)者真正用于開發(fā)創(chuàng)新的功能與服務(wù)的時間少之又少。為應(yīng)對這一難題，開發(fā)者會嘗試從網(wǎng)上復(fù)制代碼片段再進行修改，但可能無意中就復(fù)制了無效代碼，有安全隱患的代碼，或?qū)﹂_源代碼的使用沒有進行有效的追溯。而且這種搜索和復(fù)制的方式也浪費了開發(fā)者用于業(yè)務(wù)構(gòu)建的時間。

生成式?AI?可以通過“編寫”大部分無差別的代碼來大大減少這種繁重的工作，讓開發(fā)人員能夠更快地編寫代碼，同時讓他們有時間專注在更具創(chuàng)造性的編程工作上。?因此，我們?nèi)ツ晷纪瞥隽?Amazon CodeWhisperer?預(yù)覽版，這是一款?AI?編程助手，通過內(nèi)嵌的基礎(chǔ)模型，可以根據(jù)開發(fā)者用自然語言描述的注釋和集成開發(fā)環(huán)境（IDE）中的既有代碼實時生成代碼建議，從而提升開發(fā)者的生產(chǎn)效率。開發(fā)人員只需要向?CodeWhisperer?提出任務(wù)命令，例如“解析一個含有歌曲信息的?CSV?字符串”，并要求它返回一個基于藝術(shù)家、標題和排行榜最高排名等數(shù)據(jù)的結(jié)構(gòu)化列表，CodeWhisperer?就可以解析字符串并返回指定的列表，從而極大提升工作效率。CodeWhisperer?預(yù)覽版發(fā)布后得到了開發(fā)者們的熱烈響應(yīng)。我們始終相信，幫助開發(fā)人員編寫代碼可能成為未來幾年生成式?AI?可以發(fā)揮巨大效力的應(yīng)用場景之一。?在預(yù)覽期間，我們還進行了一項生產(chǎn)力測試，與未使用?CodeWhisperer?的參與者相比，使用?CodeWhisperer?的參與者完成任務(wù)的速度平均快57%，成功率高?27%。這是開發(fā)人員生產(chǎn)力的巨大飛躍，而我們相信這才僅僅是個開始。

今天，我們很高興宣布?Amazon CodeWhisperer正式可用，在適用?Python、Java、JavaScript、TypeScript?和?C#之外，新增支持Go、Kotlin、Rust、PHP?和?SQL等10?種開發(fā)語言。開發(fā)者可以通過在VS Code、IntelliJ IDEA、Amazon Cloud9等集成開發(fā)環(huán)境中的Amazon Toolkit?插件訪問?CodeWhisperer。CodeWhisperer?也可在Amazon Lambda控制臺中使用。除了從數(shù)十億行公開代碼中學習之外，CodeWhisperer?也基于亞馬遜的代碼進行了訓練。?我們相信?CodeWhisperer?是目前為亞馬遜云服務(wù)（包括?Amazon EC2、Amazon Lambda和Amazon S3）生成代碼的最準確、最快和最安全的方式。

如果生成式?AI?工具建議的代碼包含隱藏的安全漏洞或未能負責任地處理開源代碼，開發(fā)人員則無法真正提高工作效率。CodeWhisperer是唯一具有內(nèi)置安全掃描功能（通過自動推理實現(xiàn)）的?AI?編程助手，用于查找難以檢測的漏洞并提出補救建議，例如十大開放式Web應(yīng)用程序安全項目(OWASP)中的漏洞以及不符合加密庫最佳實踐的漏洞等。為了幫助開發(fā)人員以負責任的方式開發(fā)代碼，CodeWhisperer會過濾掉可能被認為有偏見或不公平的代碼建議，同時，由于客戶可能需要對開源代碼源進行參考或獲得其使用許可，CodeWhisperer?還是唯一可以對疑似開源代碼建議進行過濾和標記的編程助手。

我們相信生成式AI將改變開發(fā)者的游戲規(guī)則，因此希望它能為盡可能多的人所用。?所以，CodeWhisperer對所有個人用戶免費，并不設(shè)任何資質(zhì)或使用時長的限制！任何人都可以通過郵箱賬戶在幾分鐘內(nèi)注冊?CodeWhisperer進行使用，而無需亞馬遜云服務(wù)賬號。對于企業(yè)客戶，我們則提供了CodeWhisperer?專業(yè)版，其中包括更多高級管理功能，如集成了身份與訪問管理服務(wù)(IAM)的單點登錄?(SSO)，以及使用更高限額的安全掃描。

構(gòu)建像?CodeWhisperer?這樣強大的應(yīng)用程序?qū)﹂_發(fā)人員和我們所有的客戶來說都是變革性的。我們還有更多創(chuàng)新性的產(chǎn)品在規(guī)劃中，也期待更多的客戶和開發(fā)者在亞馬遜云服務(wù)上構(gòu)建更加創(chuàng)新和顛覆性的生成式AI應(yīng)用。我們的使命是，讓各種技能水平的開發(fā)人員和各種規(guī)模的組織都有機會使用生成式AI進行創(chuàng)新。我們相信，新一波機器學習技術(shù)創(chuàng)新才剛剛開始、方興未艾，未來還有無限可能。

關(guān)鍵詞：