華為云助推資源利用率最優(yōu)化

一年一度的年中電商大促——618購物節(jié)已經(jīng)開啟，由于2020年以來的疫情影響，導(dǎo)致近半年的國內(nèi)消費需求被抑制，可以預(yù)見，此次電商購物節(jié)將迎來一輪消費市場的集中爆發(fā)，尤其在當前全行業(yè)都在努力拉動消費回升、促進經(jīng)濟恢復(fù)的時間節(jié)點下。

對于電商行業(yè)而言，爆發(fā)性的消費需求無疑將產(chǎn)生巨大的流量，雖說流量的背后意味著收益，但同時電商平臺也為此付出著巨大的IT成本。舉例來說，平時滿足100個人的在線購物需求，購物節(jié)則至少要準備保障1000人正常購物的IT資源。

擴容帶寬、CDN，增加計算資源、存儲資源……這一切都是附著在高流量背后的高成本。其中，傳統(tǒng)的存算一體架構(gòu)就是較高的成本來源之一，計算和存儲一體造成了資源的大量冗余，利用率偏低，尤其對于電商業(yè)來說更為明顯。

領(lǐng)先的電商企業(yè)正在利用云計算優(yōu)勢，采用存算分離，使得存儲和計算可以靈活配置，單獨按需擴縮容，進而達到提升計算資源利用率、降低成本的目的。

存算分離：降本增效利器

一直以來，Hadoop架構(gòu)以及大部分商用大數(shù)據(jù)軟件均采用存算一體，即存儲與計算是一體融合的，那么，為什么說“約定成俗”的存算一體帶給了電商行業(yè)尤為高企的成本?

眾所周知，電商具備流量波峰波谷的行業(yè)特點，在擴容時，就必須按照波峰去進行計算、存儲的一體擴容，這顯然對于資源的平均利用率造成浪費;另外數(shù)據(jù)會持續(xù)增長，但是計算能力不需要同步等比例增長。而傳統(tǒng)存算一體上計算和存儲資源的配比相對固定，也就意味著每提升多少存儲容量，同時也要提升多少算力。

這種緊密綁定的模式，注定有一種資源是浪費的。根據(jù)數(shù)據(jù)統(tǒng)計，在計算存儲合一的情況下，計算資源的平均利用率不到50%，本地HDFS一般采用三副本冗余機制使得存儲的利用率不到33%。此外，這種封閉的架構(gòu)難以向數(shù)據(jù)湖和大數(shù)據(jù)云化的方向演進，也就無法發(fā)揮數(shù)據(jù)的最大價值。

存算分離則打破了這一瓶頸，實質(zhì)就是Hadoop計算組件部署與HDFS存儲池解耦部署，計算組件的擴容和存儲池的擴容無需耦合，從而極大的提升了大數(shù)據(jù)擴容的靈活性。數(shù)據(jù)湖存儲采用先進的存儲冗余機制，最大程度的提升了存儲磁盤的利用率。

降本增效，存算分離后帶來的好處十分明顯：

計算和存儲按需擴展，計算不足擴計算，存儲不足擴存儲，可以很大程度上避免資源浪費;存算分離后，計算和存儲還可以分別云化，實現(xiàn)資源的動態(tài)分配;一些專業(yè)存儲更是可以借助多租戶能力，以統(tǒng)一的存儲資源池支持多個大數(shù)據(jù)平臺，實現(xiàn)多平臺數(shù)據(jù)的高效共享。

華為云助推資源利用率最優(yōu)化

由于存算分離架構(gòu)帶來的獨特優(yōu)勢，它也正成為包括電商行業(yè)在內(nèi)的眾多行業(yè)企業(yè)建設(shè)大數(shù)據(jù)平臺的新趨勢。為此，華為云推出了基于云服務(wù)存算分離架構(gòu)的大數(shù)據(jù)解決方案，讓存儲和計算資源可以靈活配置，綜合分析成本最高可降低50%，目前已獲得眾多大型企業(yè)的青睞，并得到部署。

為什么華為云存算分離大數(shù)據(jù)解決方案能帶來如此大幅的成本節(jié)省，又有哪些優(yōu)勢?從兩個方面來說明。

首先，在存儲層，華為云存算分離大數(shù)據(jù)解決方案以高性能、高可靠的OBS對象存儲服務(wù)作為統(tǒng)一的數(shù)據(jù)湖存儲底座。其創(chuàng)新性的提供了Data Multi-Protocol功能，支持HDFS、POSIX、S3等多種協(xié)議，實現(xiàn)用一份數(shù)據(jù)直接對接多種類型的計算引擎、AI平臺，數(shù)據(jù)0搬移0拷貝，大幅節(jié)約存儲空間，降低成本。同時OBS數(shù)據(jù)湖還具備EB級容量支持、單桶千億對象數(shù)據(jù)管理能力和10TB級IO帶寬能力、以及智能全局緩存加速能力，為大數(shù)據(jù)、AI訓(xùn)練等海量數(shù)據(jù)、批量計算場景提供高性能存儲保證。

其次，在計算層，華為云存算分離大數(shù)據(jù)解決方案以鯤鵬高效算力作為計算底座，具備強大的多核處理優(yōu)勢，結(jié)合華為云在任務(wù)調(diào)度上的算法優(yōu)化，使得CPU具有更高的并發(fā)能力，可為大數(shù)據(jù)和分布式應(yīng)用場景帶來20%的性能提升，實現(xiàn)相比業(yè)界通用架構(gòu)平臺更優(yōu)的性價比。基于鯤鵬處理器，華為云提供了包括裸金屬服務(wù)器、云服務(wù)器、容器和Serverless在內(nèi)的多種粒度的算力支持，應(yīng)對客戶不同的場景需求。同時結(jié)合前述OBS數(shù)據(jù)湖存儲方案，大數(shù)據(jù)平臺的計算資源也變得“無狀態(tài)”，從而帶來了更加極致的按需使用、彈性擴縮容體驗，進一步降本增效。

最后，在服務(wù)層面，華為云基于上述存儲和計算基礎(chǔ)架構(gòu)的之上，進行了深度整合和優(yōu)化，提供了基于存算分離架構(gòu)的一系列大數(shù)據(jù)服務(wù)，包括MRS、DLI、CSS等一眾服務(wù)都支持存算分離架構(gòu)，這些大數(shù)據(jù)服務(wù)可以提供比自建更加靈活的彈性擴縮容、極簡運維等優(yōu)勢。

以某Top社區(qū)電商為例，原本客戶采用ES+Clickhouse+Hive分別滿足用戶行為日志詳單查詢、交互式分析、ETL等業(yè)務(wù)，多份數(shù)據(jù)產(chǎn)生“數(shù)據(jù)孤島”，而且存算一體可擴展性差，成本居高不下。后來該社區(qū)電商采用了華為云存算分離+MRS CarbonData構(gòu)建全場景數(shù)據(jù)湖解決方案，一份數(shù)據(jù)同時滿足快速詳單查詢+交互式分析+ETL，PB級別數(shù)據(jù)詳單查詢秒級響應(yīng)，交互式分析30秒內(nèi)響應(yīng)，ETL加速2倍。同時由于計算存儲解耦，計算節(jié)點可隨時按需快速擴縮容，最終整體成本下降超過50%。

從存算分離到智能數(shù)據(jù)湖，釋放數(shù)據(jù)價值

數(shù)據(jù)越來越成為企業(yè)的核心資產(chǎn)，需要強調(diào)的是，華為云在存算分離架構(gòu)之上形成的大數(shù)據(jù)解決方案為企業(yè)帶來的不僅是性價比的提升，更為提升企業(yè)數(shù)據(jù)價值發(fā)揮作用。

傳統(tǒng)來說，企業(yè)在挖掘數(shù)據(jù)價值上除了面臨存算一體造成資源大量冗余的挑戰(zhàn)外，還包括缺乏一個統(tǒng)一系統(tǒng)支撐所有數(shù)據(jù)分析導(dǎo)致的數(shù)據(jù)孤島，以及隨著數(shù)據(jù)規(guī)模的越來越大導(dǎo)致的數(shù)據(jù)運維和管理困難等挑戰(zhàn)。

為此，華為云通過整合所有數(shù)據(jù)層面的能力，打造了智能數(shù)據(jù)湖解決方案，幫助企業(yè)釋放數(shù)據(jù)價值。在統(tǒng)一數(shù)據(jù)存儲層，華為云利用存算分離，實現(xiàn)存儲和計算單獨按需擴縮容，使資源利用率達到最大化;在多元計算層，全棧支持包括一站式大數(shù)據(jù)平臺MRS服務(wù)，批流計算+交互式分析的多模計算DLI服務(wù)，以及增強的企業(yè)級數(shù)據(jù)倉庫DWS服務(wù)等;在數(shù)據(jù)運營層，圍繞數(shù)據(jù)處理過程提供端到端一站式數(shù)據(jù)運營能力，從數(shù)據(jù)集成、規(guī)范設(shè)計、開發(fā)、質(zhì)量管理，到形成數(shù)據(jù)資產(chǎn)，以及對外開放服務(wù)支撐業(yè)務(wù)應(yīng)用。

統(tǒng)一多數(shù)據(jù)源、消除數(shù)據(jù)孤島、統(tǒng)一數(shù)據(jù)規(guī)范、提升數(shù)據(jù)質(zhì)量，華為云智能數(shù)據(jù)湖真正幫助企業(yè)輕松實現(xiàn)“數(shù)據(jù)一盤棋”。圍繞數(shù)據(jù)全生命周期的采、存、算、管、用的全面云化，在華為云企業(yè)智能EI的助力下，最終讓數(shù)據(jù)成功創(chuàng)造價值。