Amazon SageMaker Role Manager讓管理員可以更輕松地控制訪問和定義權(quán)限，提升機器學習治理水平

【資料圖】

Amazon SageMaker Model Cards可以更方便地在整個機器學習生命周期中記錄和審查模型信息

Amazon SageMaker Model Dashboard?提供了集中界面來跟蹤模型、監(jiān)控性能和查看歷史行為

Amazon SageMaker Studio Notebook提供全新數(shù)據(jù)準備功能，幫助客戶直觀地通過幾次點擊檢查和解決數(shù)據(jù)質(zhì)量問題

數(shù)據(jù)科學團隊現(xiàn)在可以在Amazon SageMaker Studio Notebook?內(nèi)實時協(xié)作

客戶現(xiàn)在可以將Notebook代碼自動轉(zhuǎn)換為生產(chǎn)就緒的作業(yè)

自動模型驗證功能讓客戶使用實時推理請求測試新模型

對地理空間數(shù)據(jù)的支持讓客戶能夠更輕松地為氣候科學、城市規(guī)劃、災難響應、零售規(guī)劃、精準農(nóng)業(yè)等行業(yè)開發(fā)機器學習模型

亞馬遜云科技在2022 re:Invent全球大會上宣布，為端到端機器學習服務Amazon SageMaker?推出八項新功能。眾多開發(fā)人員、數(shù)據(jù)科學家和業(yè)務分析師使用 Amazon SageMaker 提供的全托管基礎(chǔ)設(shè)施、工具和工作流，輕松快速地構(gòu)建、訓練和部署機器學習模型?？蛻羰褂脵C器學習不斷創(chuàng)新，他們創(chuàng)建的模型比以往任何時候都多，因此，他們需要高級功能來有效管理模型的開發(fā)、使用和性能。本次發(fā)布包括新的 Amazon SageMaker 治理功能，它可以在整個機器學習生命周期中提供對模型性能的可見性。新的 Amazon SageMaker Studio Notebook 功能提供了增強的Notebook體驗，讓客戶只需點擊幾下即可檢查和解決數(shù)據(jù)質(zhì)量問題，促進數(shù)據(jù)科學團隊之間的實時協(xié)作，通過將Notebook代碼轉(zhuǎn)變到自動化作業(yè)加速機器學習實驗到生產(chǎn)的過程。最后，Amazon SageMaker新功能可自動執(zhí)行模型驗證，并且讓地理空間數(shù)據(jù)處理變得更容易。要開始使用 Amazon SageMaker，請訪問?aws.amazon.com/sagemaker。

"當前，數(shù)以萬計各種規(guī)模和各行各業(yè)的客戶都在使用?Amazon SageMaker。亞馬遜云科技客戶每個月都在構(gòu)建數(shù)百萬個模型、訓練數(shù)十億參數(shù)規(guī)模的模型、生成數(shù)萬億個預測。?許多客戶正在以幾年前聞所未聞的規(guī)模使用機器學習。"亞馬遜云科技人工智能和機器學習副總裁Bratin Saha表示，?"今天發(fā)布的Amazon SageMaker新功能讓團隊能夠更輕松地加快機器學習模型的端到端開發(fā)和部署。?從專門構(gòu)建的治理工具到下一代Notebook體驗和簡化的模型測試，再到對地理空間數(shù)據(jù)的增強支持，我們在?Amazon SageMaker 的基礎(chǔ)上不斷創(chuàng)新，幫助客戶大規(guī)模利用機器學習。"

對很多用戶而言，云計算讓機器學習觸手可及。但直到幾年前，構(gòu)建、訓練和部署模型的過程仍然是艱苦而乏味的，人手不多的數(shù)據(jù)科學家團隊需要進行為期數(shù)周或數(shù)月的持續(xù)迭代，才能使模型達到生產(chǎn)水平。亞馬遜云科技在五年前推出?Amazon SageMaker以應對這些挑戰(zhàn)，此后陸續(xù)增加了250 多項新特性和功能，讓客戶能夠更輕松地在多項業(yè)務中使用機器學習。當前，一些客戶聘請了數(shù)百名專業(yè)人員，他們使用?Amazon SageMaker 做出預測，用以在改善客戶體驗、優(yōu)化業(yè)務流程和加速新產(chǎn)品和服務開發(fā)等方面幫助解決最嚴峻的挑戰(zhàn)。隨著機器學習應用的增長，客戶想要使用的數(shù)據(jù)類型不斷增加，客戶需要的治理、自動化和質(zhì)量保證水平也與日俱增，以期實現(xiàn)對機器學習負責任的應用。Amazon SageMaker一向致力于為全球所有技能水平的專業(yè)人員提供支持，此次發(fā)布也秉承了這一創(chuàng)新傳統(tǒng)。

Amazon SageMaker?機器學習治理新功能

Amazon SageMaker新功能可以幫助客戶更輕松地在機器學習模型生命周期中擴大治理規(guī)模。?隨著企業(yè)內(nèi)模型和用戶數(shù)量的增長，設(shè)置最低權(quán)限的訪問控制和創(chuàng)建治理流程以記錄模型信息（如輸入數(shù)據(jù)集、訓練環(huán)境信息、模型使用描述和風險評級）都變得愈發(fā)困難。模型部署后，客戶還需要監(jiān)測偏差和特征偏移，從而確保模型按預期運行。

Amazon SageMaker Role Manager?可以更輕松地控制訪問和權(quán)限：適當?shù)挠脩粼L問控制是治理的基石，它保護數(shù)據(jù)隱私，防止信息泄露，確保專業(yè)人員可以訪問他們完成工作所需的工具。但一旦數(shù)據(jù)科學團隊增加到數(shù)十甚至數(shù)百人，實施這些控制就會變得越來越復雜。機器學習管理員（創(chuàng)建和監(jiān)控組織內(nèi)機器學習系統(tǒng)的人）必須平衡對簡化開發(fā)的需求和對管控機器學習工作流內(nèi)任務、資源和數(shù)據(jù)訪問的需求。當前，管理員通常創(chuàng)建電子表格或使用臨時列表導覽數(shù)十種不同活動（如數(shù)據(jù)準備和訓練）和角色（如機器學習工程師和數(shù)據(jù)科學家）所需的訪問策略。這些工具需要手動維護，而且可能需要數(shù)周時間才能明確新用戶有效完成工作所需的具體任務。Amazon SageMaker Role Manager 讓管理員可以更輕松地控制訪問并為用戶定義權(quán)限。管理員可以根據(jù)不同的用戶角色和職責選擇和編輯預建模板。之后，該工具會在幾分鐘內(nèi)自動創(chuàng)建具有必要權(quán)限的訪問策略，持續(xù)降低添加和管理用戶所投入的時間和精力。

Amazon SageMaker Model Cards簡化模型信息收集：當前，大多數(shù)專業(yè)人員依靠不同的工具（如電子郵件、電子表格和文本文件）記錄模型開發(fā)和評估期間的業(yè)務需求、關(guān)鍵決策和觀察結(jié)果。專業(yè)人員需要用這些信息支持審批工作流、注冊、審計、客戶查詢和監(jiān)控，但要為每個模型都收集這些詳細信息則需要幾個月的時間。一些專業(yè)人員試圖通過構(gòu)建復雜的記錄保存系統(tǒng)來解決問題，但這樣的系統(tǒng)需要手動操作、耗時且容易出錯。Amazon SageMaker Model Cards在亞馬遜云科技控制臺提供了單獨的位置存儲模型信息，從而在整個模型生命周期中簡化文檔管理。新功能會自動將輸入數(shù)據(jù)集、訓練環(huán)境和訓練結(jié)果等詳細的訓練信息直接輸入到?Amazon SageMaker Model Cards。用戶還可以使用自助問卷的形式保存模型信息（如精度目標、風險評級）、訓練和驗證結(jié)果（如偏差或精準度指標）以及供將來參考的觀察結(jié)果，用以進一步提升治理水平、支持負責任地使用機器學習。

Amazon SageMaker Model Dashboard?提供集中界面以跟蹤機器學習模型：模型部署到生產(chǎn)環(huán)境后，專業(yè)人員希望不斷跟蹤模型以了解其性能、識別潛在問題。這一任務通常針對每個模型單獨完成。但當組織開始部署數(shù)千個模型時，這種方式會變得越來越復雜，需要大量的時間和資源。?Amazon SageMaker Model Dashboard 可以全面概覽已部署的模型和端點，讓專業(yè)人員只需在一個地方就可以跟蹤資源和模型行為。通過模型看板，客戶還可以使用內(nèi)置集成的Amazon SageMaker Model Monitor（具備模型與數(shù)據(jù)偏移監(jiān)控功能）和Amazon SageMaker Clarify（具備機器學習偏差檢測功能）。這種對模型行為和性能的端到端可見性為簡化機器學習治理流程、快速解決模型問題提供了必備的信息。

要了解有關(guān)?Amazon SageMaker 治理功能的更多信息，請訪問?aws.amazon.com/sagemaker/ml-governance。

下一代Notebook

Amazon SageMaker Studio Notebook 為專業(yè)人員提供了從數(shù)據(jù)探索到部署的全托管Notebook體驗。?隨著團隊規(guī)模和復雜性的增加，可能有數(shù)十名專業(yè)人員需要使用Notebook協(xié)作開發(fā)模型。亞馬遜云科技推出三項新功能幫助客戶協(xié)調(diào)和自動化Notebook代碼，進一步為用戶提供最佳Notebook體驗。

簡化數(shù)據(jù)準備：專業(yè)人員在準備訓練數(shù)據(jù)時希望直接在Notebook中探索數(shù)據(jù)集，以發(fā)現(xiàn)和糾正潛在的數(shù)據(jù)質(zhì)量問題（如信息缺失、極值、數(shù)據(jù)集失真和偏差）。專業(yè)人員可能要花費數(shù)月時間編寫樣板代碼將數(shù)據(jù)集的不同部分可視化，檢查數(shù)據(jù)集，以期識別和修復問題。Amazon SageMaker Studio Notebook提供內(nèi)置的數(shù)據(jù)準備功能，讓專業(yè)人員只需點擊幾下即可直觀地查看數(shù)據(jù)特征、修復數(shù)據(jù)質(zhì)量問題，所有這一切都直接在Notebook環(huán)境中進行。當用戶在Notebook中顯示data frame（即數(shù)據(jù)的表格形式）時，Amazon SageMaker Studio Notebook 會自動生成圖表幫助用戶識別數(shù)據(jù)質(zhì)量問題，提供數(shù)據(jù)轉(zhuǎn)換建議幫助解決常見問題。專業(yè)人員選擇數(shù)據(jù)轉(zhuǎn)換后，Amazon SageMaker Studio Notebook 會在Notebook中生成相應代碼，可供每次運行Notebook時重復應用。

加速整個數(shù)據(jù)科學團隊的協(xié)作：準備好數(shù)據(jù)后，專業(yè)人員就可以開始開發(fā)模型。這是一個迭代過程，可能需要團隊成員在同一個Notebook中進行協(xié)作。當前，團隊必須通過電子郵件或聊天應用交換Notebook和其它資產(chǎn)（如模型和數(shù)據(jù)集），以便在Notebook上實時協(xié)作，這會導致溝通疲勞、反饋遲滯和版本不統(tǒng)一等問題。?Amazon SageMaker 現(xiàn)在為團隊提供了一個工作區(qū)，成員可以在其中實時閱讀、編輯和運行Notebook，簡化協(xié)作和溝通。團隊成員可以一起查看Notebook結(jié)果，立即了解模型性能，無需反復傳遞信息。Amazon SageMaker Studio Notebook支持?BitBucket 和?Amazon CodeCommit 等服務，團隊可以輕松管理不同的Notebook版本，比較版本變更。實驗和機器學習模型這樣的附加資源也會自動保存，讓團隊工作井井有條。

Notebook代碼自動轉(zhuǎn)換為生產(chǎn)就緒作業(yè)：當專業(yè)人員要將訓練完成的機器學習模型用到生產(chǎn)中時，他們通常將代碼片段從Notebook復制到一個腳本，再將腳本及其所有的依賴項打包到容器，最后調(diào)度容器運行。要在日程表上重復運行該作業(yè)，他們必須搭建、配置和管理持續(xù)集成和持續(xù)交付?（CI/CD）管道，才能實現(xiàn)自動化部署。搭建所有必要的基礎(chǔ)設(shè)施可能需要數(shù)周時間，這會占用核心的機器學習開發(fā)活動時間。Amazon SageMaker Studio Notebook 現(xiàn)在讓專業(yè)人員可以選擇一個Notebook，將其自動化為可以在生產(chǎn)環(huán)境運行的作業(yè)。Notebook選擇完成后，Amazon SageMaker Studio Notebook 會建立整個Notebook的快照，將其依賴項打包到容器，構(gòu)建基礎(chǔ)設(shè)施，按照專業(yè)人員設(shè)定的時間表將Notebook作為自動化作業(yè)運行，當作業(yè)完成時釋放基礎(chǔ)設(shè)施，如此可以將Notebook投入生產(chǎn)所需的時間從數(shù)周縮短到數(shù)小時。

要開始使用下一代?Amazon SageMaker Studio Notebook和這些新功能，請訪問?aws.amazon.com/sagemaker/notebooks。

使用實時推理請求自動驗證新模型

在部署到生產(chǎn)環(huán)境之前，專業(yè)人員會測試和驗證每個模型，檢查模型性能、識別可能對業(yè)務產(chǎn)生負面影響的錯誤。專業(yè)人員通常使用過去的推理請求數(shù)據(jù)測試新模型的性能，但這些數(shù)據(jù)有時無法代表當前的真實推理請求。例如，用于規(guī)劃最快路線的機器學習模型的歷史數(shù)據(jù)可能無法代表交通事故或突然關(guān)閉道路時交通流量的顯著改變。為了解決這個問題，專業(yè)人員將發(fā)送到生產(chǎn)模型的推理請求副本路由到他們想要測試的新模型。他們需要花費數(shù)周時間構(gòu)建這樣的測試基礎(chǔ)設(shè)施、鏡像推理請求、比較新模型在關(guān)鍵指標（如延遲和吞吐量）上的表現(xiàn)。雖然這讓專業(yè)人員對模型的執(zhí)行情況更有信心，但為數(shù)百以至數(shù)千個模型實施這些解決方案的成本和復雜性太高，使其無法規(guī)模化。

Amazon SageMaker Inference 現(xiàn)在提供了一種功能，讓專業(yè)人員可以更輕松地實時使用相同的真實推理請求數(shù)據(jù)，將新模型的性能與生產(chǎn)模型的性能進行比較?，F(xiàn)在，他們可以輕松地將測試同時擴展到數(shù)千個新模型，無需構(gòu)建自己的測試基礎(chǔ)設(shè)施。首先，客戶選擇想要測試的生產(chǎn)模型，Amazon SageMaker Inference 隨后會將新模型部署到具有完全相同條件的托管環(huán)境。Amazon SageMaker 將生產(chǎn)模型收到的推理請求副本路由到新模型，并創(chuàng)建控制面板顯示關(guān)鍵指標之間的性能差異，客戶便可以實時了解每個模型的不同之處?？蛻粢坏炞C了新模型的性能并確信它沒有潛在錯誤，就可以安全地部署它。要了解有關(guān)?Amazon SageMaker Inference 的更多信息，請訪問?aws.amazon.com/sagemaker/shadow-testing。

Amazon SageMaker全新的地理空間功能讓客戶可以更輕松地使用衛(wèi)星和位置數(shù)據(jù)進行預測

當前，大部分收集到的數(shù)據(jù)都包含地理空間信息（如位置坐標、天氣圖和交通數(shù)據(jù)）。但是，已經(jīng)用于機器學習的只有一小部分，原因是地理空間數(shù)據(jù)集很難處理，通常達到PB 級的規(guī)模，且跨越整個城市或數(shù)百公里土地。要開始構(gòu)建地理空間模型，客戶通常會采購衛(wèi)星圖像或地圖數(shù)據(jù)等第三方數(shù)據(jù)源以補充其專有數(shù)據(jù)。由于地理空間數(shù)據(jù)規(guī)模龐大，專業(yè)人員需要合并這些數(shù)據(jù)，準備數(shù)據(jù)用于訓練，并編寫代碼將數(shù)據(jù)集劃分為可管理的子集。當客戶準備部署訓練好的模型時，他們必須編寫更多代碼以重新組合多個數(shù)據(jù)集，將數(shù)據(jù)和機器學習模型預測關(guān)聯(lián)起來。為了從完成的模型中提取預測結(jié)果，專業(yè)人員需要花費數(shù)天時間使用開源的可視化工具在地圖上做渲染。從數(shù)據(jù)改進到可視化，整個過程可能需要幾個月的時間，這使得客戶很難利用地理空間數(shù)據(jù)及時產(chǎn)生機器學習預測。

Amazon SageMaker將客戶豐富數(shù)據(jù)集、訓練地理空間模型并將結(jié)果可視化的時間從數(shù)月縮短到數(shù)小時，從而加速和簡化地理空間機器學習預測的生成。客戶只需幾次點擊或使用?API就可以使用?Amazon SageMaker訪問各種地理空間數(shù)據(jù)源，例如亞馬遜云科技的位置服務Amazon Location Service、開放數(shù)據(jù)集Amazon Open Data、客戶自有數(shù)據(jù)和來自Planet Labs等第三方供應商的數(shù)據(jù)。當專業(yè)人員選擇了想要使用的數(shù)據(jù)集，他們可以利用內(nèi)置的運算器將這些數(shù)據(jù)集與自己的專有數(shù)據(jù)合并起來。為了加快模型開發(fā)，Amazon SageMaker 提供了預訓練的深度學習模型，其支持的用例包括通過精準農(nóng)業(yè)提高作物產(chǎn)量、監(jiān)測自然災害后區(qū)域恢復以及改善城市規(guī)劃等。訓練完成后，內(nèi)置的可視化工具在地圖上顯示數(shù)據(jù)，揭示新的預測。要進一步了解有關(guān)?Amazon SageMaker 全新的地理空間功能，請訪問?aws.amazon.com/sagemaker/geospatial。

Capitec Bank 是南非最大的數(shù)字銀行，擁有超過?1000 萬數(shù)字客戶。?"在?Capitec，我們在各個產(chǎn)品線都擁有大批數(shù)據(jù)科學家，他們構(gòu)建不同的機器學習解決方案。"Capitec Bank 機器學習工程師?Dean Matter表示，"我們的機器學習工程師管理著一個基于?Amazon SageMaker 構(gòu)建的集中式建模平臺，支持所有這些機器學習解決方案的開發(fā)和部署。在沒有任何內(nèi)置工具的情況下，跟蹤建模工作往往發(fā)生文檔脫節(jié)，模型缺乏可見性。借助?Amazon SageMaker Model Cards，我們可以在統(tǒng)一環(huán)境中跟蹤大量的模型元數(shù)據(jù)。而Amazon SageMaker Model Dashboard 提供了對每個模型性能的可見性。此外，Amazon SageMaker Role Manager 簡化了對不同產(chǎn)品線數(shù)據(jù)科學家進行的訪問管理。每一項功能都有助于我們的模型治理，足以保證客戶對我們作為金融服務提供商的信任。"

EarthOptics 是一家土壤數(shù)據(jù)測量和制圖公司，利用專有傳感器技術(shù)和數(shù)據(jù)分析精確測量土壤健康狀況和土壤結(jié)構(gòu)。?"我們希望使用機器學習幫助客戶利用經(jīng)濟實惠的土壤地圖提高農(nóng)業(yè)產(chǎn)量。"?EarthOptics 首席執(zhí)行官?Lars Dyrud 表示，"Amazon SageMaker 的地理空間機器學習功能使我們能夠使用多個數(shù)據(jù)源快速構(gòu)建算法原型，并且將研究和部署生產(chǎn)?API 之間的時間縮短到只有一個月。?得益于?Amazon SageMaker，我們?yōu)槊绹鞯氐霓r(nóng)場和牧場部署了用于土壤固碳的地理空間解決方案。"

HERE Technologies 是一個領(lǐng)先的位置數(shù)據(jù)和技術(shù)平臺，可幫助客戶創(chuàng)建自定義地圖和基于高精度位置數(shù)據(jù)的位置體驗。?"我們的客戶需要實時情境信息，利用空間模式和趨勢洞察做出業(yè)務決策。"HERE Technologies 首席產(chǎn)品和技術(shù)官?Giovanni Lanfranchi 表示，"我們依靠機器學習自動從不同數(shù)據(jù)源獲取位置數(shù)據(jù)，增強數(shù)據(jù)的情境信息，加速數(shù)據(jù)分析。Amazon SageMaker 的測試新功能讓我們能夠在生產(chǎn)中更嚴格、更主動地測試機器學習模型，避免對客戶造成不利影響或者因為部署的模型出錯導致任何中斷。?這對我們至關(guān)重要，因為客戶期待我們根據(jù)瞬息萬變的實時位置數(shù)據(jù)提供及時的見解。"

Intuit 是全球性金融技術(shù)平臺，通過 TurboTax、Credit Karma、QuickBooks 和 Mailchimp等產(chǎn)品支持全球超過 1 億客戶的繁榮發(fā)展。?"我們正在釋放數(shù)據(jù)的力量，給我們平臺上的消費者、個體經(jīng)營者和小型企業(yè)帶來金融變革。"Intuit 工程和產(chǎn)品開發(fā)總監(jiān)?Brett Hollman?表示，"為了進一步提高團隊效率、將 AI 驅(qū)動的產(chǎn)品快速推向市場，我們與亞馬遜云科技密切合作，設(shè)計了 SageMaker Studio Notebook 中全新的團隊協(xié)作功能。我們成功實現(xiàn)了簡化溝通和協(xié)作，讓我們的團隊能夠使用 Amazon SageMaker Studio 將機器學習開發(fā)規(guī)?；?

關(guān)鍵詞： 機器學習 專業(yè)人員 基礎(chǔ)設(shè)施 空間數(shù)據(jù) 質(zhì)量問題