人工智能的兩個基本要素是訓練和推理

許多人已經(jīng)觀察到，我們正處于下一次工業(yè)革命的曙光：人工智能(AI)革命。這場智能革命帶來的好處將是很多的：在醫(yī)學，改進的診斷和精確治療，更好的天氣預報以及自動駕駛汽車等方面。但是，這場革命的成本之一將是為它供電的數(shù)據(jù)中心增加電力消耗。數(shù)據(jù)中心的電力使用量預計將在未來10年內翻一番，并有望在2030年之前消耗全球11%的電力。除了采用AI外，這一趨勢的其他驅動因素還包括向云的遷移以及CPU，GPU的電力使用量的增加。和其他服務器組件，它們變得越來越強大和智能。

人工智能的兩個基本要素，即訓練和推理，各自消耗的能量不同。訓練涉及對非常大的數(shù)據(jù)集進行計算密集型矩陣運算，這些數(shù)據(jù)集通常以TB到PB為單位。這些數(shù)據(jù)集的示例范圍從在線銷售數(shù)據(jù)到捕獲的視頻提要，再到腫瘤的超高分辨率圖像。從本質上講，AI推理在計算上要輕得多，但是可以無限期地作為服務運行，當遇到大量請求時，它會消耗大量能量?？紤]一下用于辦公樓安全性的面部識別應用程序。它會連續(xù)運行，但會在人們上班和上班時在8:00 am和5:00 pm再次占用計算和存儲資源。

但是，很難掌握AI中的功耗。能耗不是作業(yè)計劃程序跟蹤的標準指標的一部分，雖然可以設置，但它很復雜且依賴于供應商。這意味著，大多數(shù)用戶在能源使用方面都是“盲目”。

為了制定AI能源需求，Miro Hodak博士領導了一個由Lenovo工程師和研究人員組成的團隊，研究了經(jīng)常使用的AI工作負載的能源成本。數(shù)據(jù)中心硬件深度學習中的功率效率研究，(需要注冊)最近在2019 IEEE國際大數(shù)據(jù)會議上發(fā)表，并在會議記錄中發(fā)表。這項工作著眼于在配備4個Nvidia V100 GPU的Lenovo ThinkSystem SR670服務器上使用ImageNet數(shù)據(jù)集(包含130萬張圖像)訓練ResNet50神經(jīng)網(wǎng)絡的能源成本。服務器電源的AC數(shù)據(jù)表明，完全訓練此AI模型需要6.3 kWh的能量，足以為一個普通家庭供電6個小時。在實踐中，類似的訓練會重復多次以調整生成的模型，從而導致能源成本實際上高出幾倍。

該研究將總能量分解成其各個分量，如圖1所示。正如預期的那樣，GPU消耗了大部分能量。但是，考慮到GPU可以處理所有計算密集型部分，因此65%的能量份額低于預期。這表明僅使用GPU功率對AI能源成本的簡單估算是不準確的，并且錯過了系統(tǒng)其余部分的重大貢獻。除GPU外，CPU和內存占能源使用量的近四分之一，而9%的能量用于交流到直流電源轉換(這在SR670 PSU的80 PLUS白金認證范圍內)。