文/大數網 于澤

      關于華為，每個人都有自己的觀察角度，聚焦企業級IT市場，本文講講最近一段時間我看到的華為實力。我的切入點是鯤鵬，更進一步說是華為云最新發布的業界首個鯤鵬大數據解決方案——BigData Pro。

　　先說說鯤鵬，這個最近一段時間華為最頻繁提及的詞匯之一。明白了鯤鵬，對于鯤鵬大數據解決方案也就理解了一大半。

　　“鯤鵬”是什么?

　　可能你已經看到了，華為近期密集地發布了各種帶著鯤鵬字樣的產品、解決方案，包括鯤鵬處理器、鯤鵬云服務，其中就包括本文將重點展開的華為云鯤鵬大數據解決方案——BigData Pro。

　　鯤鵬究竟是什么?

　　簡單理解，鯤鵬是一套基礎架構體系，不僅僅局限于鯤鵬系列服務器芯片，還包含了兼容的服務器軟件，以及建立在新計算架構上的完整軟硬件生態和云計算生態。最初， 鯤鵬指華為在今年1月初發布的一款基于ARM指令集的通用計算芯片鯤鵬920。

　　為什么華為在大力發展鯤鵬?原因有很多，最直接的因素就是必須擁有自己的核心技術。

　　本質原因則是摩爾定律正在失效，計算體系進入百花齊放的時代，鯤鵬的發布，給客戶帶來了更多元的選擇。

　　華為云鯤鵬大數據解決方案(BigData Pro)第一個值得關注的點，正如華為云云存儲服務總經理林超所說，不管是存儲還是計算，都是基于鯤鵬架構實現的。這在業內目前也是獨一份。

　　了解過鯤鵬后，接下來認識一下鯤鵬大數據解決方案的第二個關鍵詞Pro。在消費級產品領域，Pro被用的很多了，字面意思專業版，更直觀的認識，Pro的功能會更強大。

　　那么，華為云鯤鵬大數據的Pro體現在哪些方面?我覺得可以總結為三個維度：

　　“存算分離”——提升資源利用率

　　華為云對傳統的大數據架構進行了升級，推出了基于云服務的存算分離架構。存儲和計算資源可以根據業務需要各自獨立進行彈性擴展，靈活配置，從而使資源匹配更精準、更合理，讓大數據集群資源利用率大幅提升。據介紹，經此創新，綜合分析成本最高可降低50%。

　　至于為什么要這樣做?還得從大數據架構的限制說起。目前，業界使用最多的大數據架構是Hadoop，而當初設計的時候，它基于計算和數據就近處理的原則，采用計算和存儲融合的架構，通俗的理解就是“一體機”。按照一體機的設計，計算和存儲的比例是固定的，這顯然不符合實際業務需求，無形中造成很多浪費。

　　有一組數據供參考，在原有存算一體方案中，計算資源的利用率一般不到50%，存儲空間的利用率一般不到33%。換句話說，大量的計算、存儲資源都被浪費了。

　　而華為云BigData Pro鯤鵬大數據方案能將大數據集群的資源利用率提升75%，成本最高可降低50%。

　　多協議互通數據分析效率大增

　　在鯤鵬大數據解決方案中，華為云使用OBS對象存儲來管理企業海量數據。OBS具備業界領先的性能，支持千萬TPS超高并發，單流2.4Gb/s單流帶寬，超業界3倍，小對象10ms穩定低時延。在此基礎之上，華為云還做了很多創新。

　　比如，OBS對象存儲服務的多協議互通。什么意思?沒有這個能力之前，企業不同格式的數據是存儲在不同存儲系統中的，在進行數據分析時，需要進行協議轉換，影響效率不說，轉換完成后還要另存一份，又造成存儲空間浪費。有了多協議互通，數據可以通過計算、存儲的接口，或者HDFS的接口寫進來，然后再通過另外的協議，包括POSIX等讀出去，相當于一個數據可以用多種語義解讀，省去了轉換過程，效率大增。據測算，單此一項創新就能幫助數據訪問效率提升25%。這是華為云對象存儲服務的一個獨特優勢。

　　再比如，基于對象存儲華為云創新了修改寫和追加寫。原來的修改寫和追加寫，按照傳統廠商們的做法，修改寫相當于先新增一個數據，然后把老數據刪掉，需要兩個步驟。現在華為云可以做到直接修改，對于處理大文件，這項能力尤其有用。

　　其三，華為云在OBS對象存儲上實現了HDFS原生接口。

　　量變產生質變，一點點小的創新積累，使存儲不再是大數據分析過程中的性能瓶頸。所以，同樣是存算分離，可以說華為云比友商多走了半步，能帶給用戶更高的效率，更優的成本。

　　這還不夠，別忘了鯤鵬大數據解決方案還有一個Pro，它與鯤鵬的特性緊密相關，這也是為什么開篇會說，明白了鯤鵬也就了解了鯤鵬大數據解決方案的一大半。究竟是什么?

　　鯤鵬多核從容應對數據高并發

　　首先，就鯤鵬本身而言，多核優勢再加上華為云在任務調度上的算法優化，使得CPU的并發能力很強。另外，CPU內存通道更多，從6個提升到8個，支持的內存速度更高，從2666MHz提升到2933MHz，內存帶寬提升46%，而眾所周知，內存帶寬的提升對于大數據的場景優勢非常明顯。

　　其次，華為云鯤鵬大數據解決方案率先采用鯤鵬云容器技術，并做了很多獨有的創新。比如：

　　華為云對開源k8s進行了深度優化，能夠達到1秒1000個容器發放的彈性能力，特別有利于實時大數據分析對業務浪涌的彈性響應，并且引入Volcano隊列批量調度技術，支持容器的智能拉起等，讓企業大數據分析業務編排更加靈活。

　　更多細節不再一一展開。據悉，華為云鯤鵬容器服務在大數據應用場景下，端到端的性能提升達到40%。也就是說，在存算分離的大框架下，華為云不僅是面向存儲，針對計算同樣也做了很多技術創新。

　　截至當前，BigData Pro大數據解決方案已經在部分頂級互聯網客戶的業務場景得以應用，包括用戶畫像、實時數據分析等，能有效降低35%的大數據分析用時，反饋良好。

　　大數據體系升級，滿足企業多樣化場景需求

　　有了鯤鵬大數據解決方案，華為云也成為業界能提供大數據解決方案最豐富的服務商，從x86到鯤鵬，從容器、云主機到裸金屬，從云計算到云存儲，往上再到EI大數據服務，各種各樣的大數據應用場景需求，華為云都能滿足。

　　事實上，這也正是當前大數據領域的發展趨勢。業界都看到了海量數據帶來的挑戰，特別是隨著5G、IoT、VR/AR、自動駕駛等技術的發展，數據的爆發速度會越來越快。華為曾在GIV 2025報告中指出：“預計到2025年，全球每年新增數據存儲量為180ZB，企業的數據利用率將會達到86%。”如此大的壓力之下，現有大數據分析系統已經難以滿足其增長需求，數據增長和現有IT架構處理能力之間的不平衡只會越來越明顯。業界知名分析機構IDC在最新的報告中就明確指出：企業上云已成必然趨勢。因此，在公有云上部署更靈活高效的大數據分析平臺，將成為企業應對大數據時代的必然選擇。

　　于是，我們也看到所有云服務商都在朝這個方向努力，正在推出更多的產品與解決方案。華為云也是其中的一份子。但有所不同的是，華為云基于華為過去的積累有很多獨有的優勢，包括存儲、計算領域的，而這也將成為其未來重要的競爭力。

　　總結全文，透過華為云鯤鵬大數據解決方案BigData Pro觀察華為云。他們要做的不僅僅是給用戶多一種選擇(鯤鵬)，更是給出一種匹配企業業務需求的最佳方案，這也符合華為以客戶為中心的企業文化。相信華為云未來會有更多基于鯤鵬算力的解決方案問世，為企業客戶的數字化智能轉型帶來切實的效益。