IBM推出用于AI推理數(shù)據(jù)管理的Power Server

IBM今天發(fā)布了基于Power9的推理服務(wù)器IC922，該服務(wù)器具有多達(dá)六個(gè)Nvidia T4 GPU，PCIe Gen 4和OpenCAPI連接，并且可以以2U尺寸容納多達(dá)24個(gè)SFF驅(qū)動(dòng)器。IBM說，與使用Nvidia V100 GPU的IBM AC922搭配使用，IBM表示，它現(xiàn)在為AI工作負(fù)載提供了一個(gè)完整的解決方案，包括數(shù)據(jù)管理，培訓(xùn)和推理。IBM還表示，新的IC922的價(jià)格為同等價(jià)格，或者比基于x86的同類產(chǎn)品更高。

T4 GPU 的使用 充分利用了Turing Tensor內(nèi)核的多種混合精度功能(FP32，F(xiàn)P16，INT8，INT4)，最適合推理和T4的較低成本。兩者合計(jì)，這將有助于IBM攻擊分析師認(rèn)為是增長(zhǎng)最快的AI市場(chǎng)細(xì)分市場(chǎng)，并且有可能成為銷量最大的細(xì)分市場(chǎng)。相比之下，AC922利用Nvidia V100 GPU，它們更適合于傳統(tǒng)的HPC和AI培訓(xùn)工作負(fù)載，并且成本更高。AC922采用與Summit超級(jí)計(jì)算機(jī)相同的體系結(jié)構(gòu)進(jìn)行建造，該超級(jí)計(jì)算機(jī)目前在世界500強(qiáng)排行榜(2019年11月)中名列世界上最快的超級(jí)計(jì)算機(jī)。

IBM提供管理，認(rèn)知和橫向擴(kuò)展系統(tǒng)的總監(jiān)Dylan Boday在與HPCwire進(jìn)行了簡(jiǎn)要介紹后說：“ IC922專注于數(shù)據(jù)，推理和云 。” “我們將能夠驅(qū)動(dòng)多達(dá)24個(gè)小型驅(qū)動(dòng)器，并在不久的將來包括24個(gè)NVMe驅(qū)動(dòng)器。當(dāng)您將24個(gè)NVMe驅(qū)動(dòng)器和PCIe Gen 4組合到您的網(wǎng)絡(luò)中時(shí)，從平衡的角度來看，您將擁有一個(gè)非常強(qiáng)大的故事。

“在機(jī)架級(jí)別，您可以獲得非常高的吞吐量。對(duì)于AI而言，這很有趣，因?yàn)樵S多人開始關(guān)注存儲(chǔ)部署及其層級(jí)層次結(jié)構(gòu)。您需要對(duì)某些存儲(chǔ)功能的“熱”或低延遲訪問。其次，最多可搭載六個(gè)T4 Nvidia GPU來啟動(dòng)它，從而為客戶提供靈活性[并且]在不久的將來，我們將采用八個(gè)[T4]，這將使您的GPU密度比HP或Dell高33%服務(wù)器將能夠在2U服務(wù)器中運(yùn)行。”

IBM還認(rèn)為，它能夠在總體上以及在容器性能方面利用其每核線程數(shù)的優(yōu)勢(shì)。

新系統(tǒng)將于2月7日上市。IBM報(bào)告稱，它仍“正在研究將IC922擴(kuò)展到IBM公共云中。” Linux Infrastructure首席產(chǎn)品經(jīng)理Grace Liu今天在博客中 (通過推理完成您的AI難題)正式宣布了IC922 。

IBM一直承諾將重新推出AI產(chǎn)品，而IC922可能只是第一款產(chǎn)品。Boday說：“我們的Linux重點(diǎn)市場(chǎng)是為AI時(shí)代提供(一個(gè))投資組合的市場(chǎng)。” 他認(rèn)為，許多AI項(xiàng)目都失敗了，原因之一是難以從受控的訓(xùn)練環(huán)境過渡到計(jì)算需求和技能不同的更加混亂的數(shù)據(jù)攝取和推斷環(huán)境。他說，IC922已針對(duì)推理和數(shù)據(jù)管理進(jìn)行了優(yōu)化，并將使過渡更加容易。它的模塊化設(shè)計(jì)使組織可以擴(kuò)展基礎(chǔ)架構(gòu)，以滿足內(nèi)部或私有云環(huán)境中的需求。

當(dāng)然，軟件是另一個(gè)關(guān)鍵。在SC19上，IBM推廣了其貝葉斯軟件專業(yè)知識(shí)作為AI支持者。Boday在發(fā)布IC922的同時(shí)表示：“我們將推出一個(gè)推理軟件，它基本上可以使您進(jìn)行推理操作。” 簡(jiǎn)報(bào)中討論的細(xì)節(jié)很少，在回答有關(guān)這些計(jì)劃的電子郵件問題時(shí)，IBM回答說：“ IBM相信，就像訓(xùn)練需要專門的軟件一樣，AI推理也是如此。我們的Watson Machine Learning Accelerator產(chǎn)品系列將繼續(xù)發(fā)展，以利用IBM Power Systems的AI最新功能，并且我們希望這種推理將繼續(xù)下去。”

這聽起來像是一個(gè)敬請(qǐng)期待的消息。下面顯示的是官方公告的重點(diǎn)項(xiàng)目符號(hào)：

盡管IC922的重點(diǎn)是使用T4，但I(xiàn)BM指出了支持其他加速器類型的計(jì)劃。

Boday說：“我不會(huì)討論所有細(xì)節(jié)。” “隨著Xilinx和其他ASIC功能向FPGAe的發(fā)展，已經(jīng)有一些關(guān)于FPGA方向的陳述，如果這些設(shè)備希望開始利用FPGA作為推論，那么這就是一個(gè)面向未來的盒子。甚至是訓(xùn)練器材 市場(chǎng)上有數(shù)百種不同的加速功能迅速進(jìn)入市場(chǎng)。該系統(tǒng)應(yīng)該能夠捕獲它們。隨著客戶需求的增加，我們能夠以敏捷的方法進(jìn)行響應(yīng)，將其添加到我們的服務(wù)器中，并為這些類型的加速功能提供同類最佳的解決方案。”

與提供用于CPU-GPU通訊的NVlink的AC922不同，LC922使用PCIe4。“在AC922中，我們具有NVlink –這是因?yàn)橥庑魏蚇vidia Volta內(nèi)置的功能。這些類型的[培訓(xùn)系統(tǒng)]對(duì)整體吞吐量的需求較少，” Boday說。IBM選擇利用IC922的PCIe密度優(yōu)勢(shì)，并為未來的設(shè)備提供OpenCAPI功能。在最近幾個(gè)月中，圍繞OpenCAPI 和 由英特爾牽頭的最新CXL標(biāo)準(zhǔn)進(jìn)行了大量討論， 并 猜測(cè)如何在兩者之間實(shí)現(xiàn)兼容性。

Boday說：“目前，CXL并非商業(yè)可行的技術(shù)。我要說的是CXL絕對(duì)在我們的雷達(dá)范圍內(nèi)。我們?cè)贑XL基金會(huì)中有一個(gè)董事會(huì)席位。因此，隨著這種吸引力越來越大，我們將在那里產(chǎn)生重大影響力。我認(rèn)為，幾年前IBM與CAPI和OpenCAPI一起促進(jìn)了加速發(fā)展。說到此框，它將具有OpenCAPI功能。實(shí)際上，這是第一個(gè)具有OpenCAPI功能的商用產(chǎn)品，我們將看到開發(fā)人員能夠開始為所有新設(shè)備利用一致的，高吞吐量，低延遲的接口。”

IBM報(bào)告稱它將很快有一個(gè)開發(fā)者委員會(huì)。“我們要做的第一件事就是使用基于Bittware FPGA的卡為市場(chǎng)提供 支持。它也將在不久的將來可用。這樣一來，開發(fā)人員就可以利用低延遲/高吞吐量的優(yōu)勢(shì)，然后我們甚至將擁有一張卡，供他們?cè)诓痪玫膶硪查_始對(duì)此進(jìn)行探索。”

IBM首席執(zhí)行官Dave Turek在SC19提出的新產(chǎn)品如何適應(yīng)更廣泛的AI進(jìn)入市場(chǎng)策略尚不清楚。他提出了一種戰(zhàn)略，其中IBM將提供較小的AI系統(tǒng)，這些系統(tǒng)能夠利用客戶的現(xiàn)有基礎(chǔ)架構(gòu)來改善系統(tǒng)和應(yīng)用程序性能。(有關(guān)更多信息，請(qǐng)參閱 HPCwire 文章 SC19：IBM更改其HPC-AI游戲計(jì)劃)。

Liu在她的博客中寫道：“為了展示IC922如何適合AI難題，美國(guó)國(guó)防部高性能計(jì)算現(xiàn)代化計(jì)劃(HPCMP)最近展示了如何將IC922和AC922組合到模塊化計(jì)算平臺(tái)中，從而創(chuàng)建了IBM POWER9集裝箱中的基于超級(jí)計(jì)算機(jī)的超級(jí)計(jì)算機(jī)。這種模塊化計(jì)算功能最初安裝在美國(guó)陸軍作戰(zhàn)能力發(fā)展司令部的陸軍研究實(shí)驗(yàn)室DoD超級(jí)計(jì)算資源中心，它將使DoD重新定義“邊緣”一詞，以包括在世界任何地方(包括戰(zhàn)場(chǎng))部署AI超級(jí)計(jì)算能力。”

從某種意義上說，對(duì)邊緣的使用可以涵蓋類似于Turek所建議的部署，在該部署中，IBM引入了一個(gè)AI集群(最小到單個(gè)節(jié)點(diǎn))，以增強(qiáng)已經(jīng)存在的基礎(chǔ)架構(gòu)的性能。他還暗示IBM將提供圍繞特定功能(例如安全性和系統(tǒng)管理)專門化的AI系統(tǒng)。下一步可能是下一步，提供AC922-IC922組合以“增強(qiáng)”現(xiàn)有基礎(chǔ)設(shè)施。