來源:中國電商物流網 發(fā)布時間:2019-8-22 9:19
百度深度學習平臺飛槳(PaddlePaddle)再放大招!端側推理引擎全新升級,重磅發(fā)布Paddle Lite,旨在推動人工智能應用在端側更好落地。該推理引擎在多硬件、多平臺以及硬件混合調度的支持上更加完備,是飛槳在Paddle Mobile的基礎上進行的一次大規(guī)模升級迭代。通過對底層架構設計的改進,拓展性和兼容性等方面實現顯著提升。目前,Paddle Lite已經支持了ARM CPU,Mali GPU,Adreno GPU,華為NPU以及FPGA等諸多硬件平臺,是目前首個支持華為NPU在線編譯的深度學習推理框架。
隨著技術進步,手機等移動設備已成為非常重要的本地深度學習載體,然而日趨異構化的硬件平臺和復雜的終端側的使用狀況,讓端側推理引擎的架構能力頗受挑戰(zhàn)。端側模型的推理往往面臨著算力和內存的限制,為了能夠完整的支持眾多的硬件架構,并且實現在這些硬件之上人工智能應用性能的性能優(yōu)化,百度飛槳基于Paddle Mobile預測庫,融合Anakin等多個相關項目的技術優(yōu)勢,全新發(fā)布端側推理引擎Paddle Lite,通過建模底層計算模式,加強了多種硬件、量化方法、Data Layout 混合調度執(zhí)行的能力,從而保障了宏觀硬件的支持能力,滿足人工智能應用落地移動端的嚴苛要求。
Paddle Lite在架構上全新升級,并重點增加了多種計算模式(硬件、量化方法、Data Layout)混合調度的完備性設計,可以完整承擔深度學習模型在不同硬件平臺上的的推理部署需求,具備高性能、多硬件、多平臺、擴展性強等優(yōu)勢。不同于其他一些獨立的推理引擎,Paddle Lite依托飛槳訓練框架及其對應的豐富完整的算子庫,底層算子計算邏輯與訓練嚴格一致,模型完全兼容無風險,并可快速支持更多模型。
Paddle Lite架構由四層次組成:第一層model 層直接接受Paddle訓練的模型,通過模型優(yōu)化工具轉化為NaiveBuffer特殊格式,以便更好地適應移動端的部署場景;第二層Program層是operator序列構成的執(zhí)行程序;第三層是一個完整的分析模塊,主要包括TypeSystem、SSA Graph和Passes等模塊;第四層是執(zhí)行層,由Kernel序列構成的Runtime Program。
Paddle Lite具有以下重要特性:
與其他端側引擎相比,Paddle Lite擴展性更高,框架層硬件抽象層次的描述能力強,容易對新的硬件進行集成,可以模塊化地對硬件和模型進行更細致的分析和優(yōu)化。
在模型支持方面,Paddle Lite現已支持Paddle圖像分類、檢測、分割及圖像文字識別等領域的模型預測,官方發(fā)布了18個模型的benchmark。此外,可以通過X2Paddle工具將由Caffe和TensorFlow訓練的模型轉換后進行預測。
在硬件支持方面,目前Paddle Lite已支持ARM CPU, ARM GPU、華為NPU和FPGA等硬件平臺,正在優(yōu)化支持的有寒武紀、比特大陸等國產AI芯片,并會兼容支持的Intel、NVIDIA等主流云端芯片,與硬件廠商的廣泛深入合作使得lite具有高性能表現,并可緊跟新硬件發(fā)展步伐提供先于其他框架的性能表現領先優(yōu)勢。
模型支持和硬件平臺支持的廣泛性,整體保證了框架的高通用性
在性能方面,Paddle Lite針對不同微架構,進行了kernel的深度優(yōu)化,支持INT8量化計算,在主流移動端模型上展現出領先的速度優(yōu)勢。值得一提的是,在“國貨”華為 NPU上也具有很好的性能表現。
與此同時,Paddle Lite可針對端側設備特點進行深度定制及優(yōu)化,無第三方庫依賴,讓部署過程更輕量化。整個推理過程分為模型加載解析、計算圖的優(yōu)化分析及設備上的高效運行。移動端可以直接部署經過優(yōu)化分析的圖,執(zhí)行預測。Android平臺上,ARMV7 動態(tài)庫只需要800k,ARMV8動態(tài)庫僅有1.3M,也可以根據需要,進行更深度的剪裁。
此外,還進一步完善提供了Web前端開發(fā)接口,支持javascript調用 GPU,可在網頁端快捷運行深度學習模型。
端側推理引擎在人工智能應用落地環(huán)節(jié)有著重要影響,直接關系到用戶的體驗,在自動駕駛等人工智能應用領域,端側推理引擎甚至關乎用戶的生命財產安全。百度飛槳推出Paddle Lite對端側推理引擎性能進行大幅優(yōu)化提升,對于人能智能應用的落地起到關鍵的推動作用。未來,Paddle Lite將支持更多硬件,覆蓋更廣泛的應用領域。
更多詳情:
歡迎加入官方QQ群:696965088
官網地址:
https://www.paddlepaddle.org.cn
項目地址:
https://github.com/PaddlePaddle/Paddle-Lite