彩票app开发制作 www.skcnxn.com.cn 萊迪思半導體白皮書

 

2019 年 8 月

 

存在檢測和對象計數等網絡邊緣人工智能應用越來越受歡迎,但設計人員越來越多地要求在不影響性能的情況下實現低功耗和小尺寸的網絡邊緣人工智能解決方案。萊迪思的 sensAI 技術集合的最新版本, 適用于 ECP5 和 iCE40 UltraPlus FPGA,為設計人員提供了在網絡邊緣實現低功耗、高性能 AI 所需的硬件平臺、IP、軟件工具、參考設計和設計服務。

 

目錄

 

第 1 章  摘要

 

第 2 章  利用 FPGA 的優勢

 

第 3 章  主要更新

 

第 4 章  sensAI 設計案例

 

第 5 章  結論

 

摘要
低成本、高性能的網絡邊緣解決方案的市場競爭日益激烈。領先的市場研究公司預測,在未來六年內,網絡邊緣解決方案市場將迎來大爆發。IHS 預計到 2025 年,將有超過 400 億臺設備在網絡邊緣運行,而市場情報機構 Tractica 預測,屆時每年將出貨超過 25 億臺網絡邊緣設備。

 

隨著新一代網絡邊緣應用的出現,設計人員越來越傾向于開發結合低功耗和小尺寸而不降低性能的解決方案。推動這些新的 AI 解決方案的是越來越多的網絡邊緣應用,例如家庭控制中智能門鈴和安全攝像頭的存在檢測,零售應用中用于庫存的對象計數,以及工業應用中的物體和存在檢測。一方面,市場要求設計人員開發出性能比以往更高的解決方案。另一方面,延遲、帶寬、隱私、功耗和成本問題限制了他們依賴云的計算資源來執行分析。

 

同時,性能、功耗和成本限制因應用而異。隨著實時在線網絡邊緣應用的數據需求不斷推動對基于云的服務的需求,設計人員必須解決傳統的功耗、電路板面積和成本問題??⑷嗽比綰謂餼魷低扯雜諶找嫜細竦墓模ê鐐嘸叮┖托〕嘰紓? mm2 到 100 mm2)要求。單論各種性能要求就已經很難滿足。

 

利用 FPGA 的優勢

萊迪思的 FPGA 具有獨特的優勢,可以滿足網絡邊緣設備快速變化的市場需求。設計人員可以在不依賴云端的情況下,快速為網絡邊緣設備提供更多計算資源的其中一個方法是使用 FPGA 中本身的并行處理能力來加速神經網絡性能。此外,通過使用針對低功耗運行而優化的低密度、小尺寸封裝 FPGA,設計人員可以滿足新的消費和工業應用對功耗和尺寸的嚴格限制。例如,萊迪思的 iCE40  UltraPlus™和 ECP5™產品系列支持網絡邊緣解決方案的開發,功耗低至 1 mW 到 1 W,硬件平臺尺寸小至 5.5 mm2 到 100  mm2。通過將超低功耗、高性能和高精度與全面的傳統接口支持相結合,這些 FPGA 為網絡邊緣設備開發人員提供了滿足不斷變化的設計要求所需的靈活性。

 

圖 1:萊迪思半導體的低功耗、小尺寸 FPGA 提供適當的性能和功能組合,支持網絡邊緣人工智能應用

 

為了滿足這一需求并加速開發,萊迪思推出了業界第一款技術集合 sensAI™,為設計人員提供了開發智能家居、智能工廠、智能城市和智能汽車中低功耗、高性能網絡邊緣設備所需的所有工具。sensAI 旨在滿足支持 AI 的網絡邊緣設備不斷增長的需求,提供全面的硬件和軟件解決方案,用于在網絡邊緣運行的智能設備中實現低功耗、實時在線的 AI 功能。它于 2018 年推出,旨在無縫創建新設計或更新現有設計,其低功耗 AI 推理針對這些新應用要求進行了優化。

 

這個綜合設計生態系統中有什么?首先,萊迪思的??榛布教?,如帶有 HM01B0    Shield 開發板的 iCE40 UPduino 2.0 和基于 ECP5 的嵌入式視覺開發套件(EVDK),為應用開發提供了堅實的基礎。UPduino 可用于僅需幾毫瓦的 AI 設計,而 EVDK 支持需要更高功耗但通常工作在 1W 以下的應用。

 

軟 IP 可以很容易地實例化到 FPGA 中,以加速神經網絡的開發。因此,sensAI 開發包包括 CNN 加速器 IP, 能讓設計人員在 iCE40 UltraPlus FPGA 中實現深度學習應用。sensAI 還提供完整的 CNN 可設置參數的加速器 IP 核,可以在萊迪思的 ECP5 FPGA 中實現。這些 IP 支持可變量化。這反過來又使設計人員能夠在數據準確性和功耗之間進行權衡。

 

Lattice 的 sensAI 技術集合允許設計人員通過易于使用的工具流程探索設計選項和權衡。設計人員可以使用 Caffe、TensorFlow 和 Keras 等行業標準框架進行網絡訓練??⒒肪郴固峁┥窬綾嘁肫?,將訓練的網絡模型映射為固定點表示,支持權重和激活的可變量化。設計人員可以使用編譯器來幫助分析、仿真和編譯不同類型的網絡,以便在沒有 RTL 經驗的情況下在萊迪思的加速器 IP 核上實現。然后,設計人員可以使用傳統的 FPGA 設計工具,如 Lattice Radiant 和 Diamond 來實現整個 FPGA 設計。

 

為加快設計實現,sensAI 提供了越來越多的參考設計和演示。包括面部識別、手勢檢測、關鍵詞檢測、人員存在檢測、面部跟蹤、對象計數和速度標志檢測。最后,設計團隊通常需要一定的專業知識才能完成設計。為滿足這一需求,萊迪思與全球各地的眾多設計服務合作伙伴建立了合作關系,以便為 AI / ML 專業知識不足的客戶提供支持。

 

圖 2:Lattice senseAI 是一整套硬件和軟件解決方案,適用于網絡邊緣人工智能應用的開發

 

主要更新
為了滿足網絡邊緣 AI 快速增長的性能要求,萊迪思在 2019 年發布 sensAI 更新,增強了其性能并優化了設計流程。更新后的 sensAI 比上一版本的性能提升了 10 倍,這是由多個優化促成的,包括通過更新 CNN IP 和神經網絡編譯器,新增 8 位激活量化、智能層合并以及雙 DSP 引擎等特性,優化了存儲器的訪問。

 

在最新版本中,由于更新了神經網絡編譯器,支持 8 位輸入數據,存儲器訪問序列得到大幅優化。因此不僅外部存儲器的訪問減少了一半,還支持使用更高分辨率的圖像作為數據輸入。使用更高分辨率的圖像, 解決方案自然更為精確。

 

為進一步加速性能,萊迪思優化了 sensAI 神經網絡中的卷積層,減少了卷積計算耗費的時間。萊迪思將器件中的卷積引擎數量翻倍,減少了約 50%的卷積時間。

 

萊迪思在不增加功耗的情況下提升了 sensAI 的性能,設計人員因此可以選擇 ECP5 FPGA 產品系列中門數較少的器件。經優化的演示示例可以幫助實現性能提升。例如,針對低功耗運行進行優化、采用 CMOS 圖像傳感器的人員偵測演示,通過 VGG8 網絡提供 64 x 64 x 3 的分辨率。該系統以每秒 5 幀的速率運行,使用 iCE40 UltraPlus FPGA 功耗僅為 7 mW。第二個性能經優化的演示,針對人員計數應用,同樣也使用 CMOS 圖像傳感器,通過 VGG8 網絡提供 128 x 128 x 3 的分辨率。該演示以每秒 30 幀的速率運行,使用 ECP5-85K FPGA 功耗為 850 mW。

 


圖 3:這些參考設計展示了 sensAI 提供的功耗與性能可選方案

 

與此同時,sensAI 給用戶帶來無縫的設計體驗,它支持更多神經網絡模型和機器學習框架,從而縮短設 計周期。全新可定制化的參考設計可簡化對象計數和存在檢測等常見的網絡邊緣解決方案的開發,同時設計合作伙伴生態也在不斷拓展,為用戶提供重要的設計服務。有了這些,萊迪思能為開發人員提供他們復制或調整其設計所需的全部關鍵工具。例如,下列框圖展示了萊迪思提供的一系列全面的組件,包括訓練模型、訓練數據集、訓練腳本、經過更新的神經網絡 IP 和神經網絡編譯器。

 

圖 4: sensAI 的設計流程包括了行業領先的機器學習框架、訓練數據和腳本、神經網絡 IP 等設計和訓練網絡邊緣 AI 設備必需的資源

 

萊迪思還拓展了對機器學習框架的支持,致力于提供無縫的用戶體驗。最初版本的 sensAI 支持 Caffe 和 TensorFlow,最新版本新增支持 Keras,這是用 Python 編寫的開源神經網絡,可在 TensorFlow、Microsoft Cognition Toolkit 或 Theano 上運行。Keras 旨在幫助工程師快速實現深度神經網絡,它可以提供用戶友

 

好、??榛涂賞卣溝幕肪?,加速原型設計。Keras 最初被當做一種接口而非獨立的機器學習框架,它的高度抽象性能讓開發人員加速開發深度學習模型。

 

為進一步簡化使用,萊迪思更新了 sensAI 神經網絡編譯器工具,它可以在機器學習模型轉換為固件文件時自動選擇最精確的分數位數。sensAI 更新還新增了一個硬件調試工具,讓用戶可以在神經網絡每個層進行讀取和寫入。進行軟件仿真之后,工程師也需要知道他們的網絡在實際硬件上的表現。使用此工具,工程師可以在短短幾分鐘內看到硬件運行的結果。

 

此外,最新版本的 sensAI 得到了越來越多公司的支持,他們為萊迪思提供專為低功耗、實時在線的網絡邊緣設備而優化的設計服務和產品開發技能。這些公司通過無縫更新現有設計或針對特定應用開發完整的解決方案來幫助客戶構建網絡邊緣 AI 設備。

 

sensAI 設計案例
萊迪思這一更高性能的全新解決方案可用于下列四種不同的加速器設計案例。在第一個設計案例中(圖 5),設計工程師使用 sensAI 來構建獨立運行模式的解決方案。這種系統架構能讓設計工程師在萊迪思 iCE40 UltraPlus 或 ECP5 FPGA 上開發出實時在線的集成解決方案,具有延遲低、安全性高的特點,其中 FPGA 資源可用于系統控制。典型的一種應用就是使用獨立運行的傳感器實現人員偵測和計數。

 

圖 5:將 sensAI 作為獨立運行的網絡邊緣 AI 處理解決方案

 

設計人員還使用 sensAI 開發兩種不同類型的預處理解決方案。第一種情況下(圖 6),設計人員采用了萊迪思 sensAI 以及一片低功耗的 iCE40 UltraPlus FPGA 對傳感器數據進行預處理,從而最大程度地降低了向 SoC 或云端傳輸數據進行分析的成本。例如,如果是用在智能門鈴上,sensAI 會初步讀取來自圖像傳感器的數據。如果判斷為不是人,比如說是一只貓,那么系統就不會喚醒 SoC 或連接到云端作進一步處理。因此,這種方法可以最大程度降低數據傳輸成本和功耗。如果預處理系統判斷門口的對象是人,則喚醒 SoC 作進一步處理。這能極大減少系統需要處理的數據量,同時降低功耗要求,這對于實時在線的網絡邊緣應用來說至關重要。

 

圖 6:在此案例中,sensAI 會預處理傳感器數據來判斷該數據是否需要發送到 SoC 作進一步處理

 

在第二個預處理應用中,設計人員可以使用 ECP5 FPGA 實現神經網絡加速(圖 7)。在此案例中,設計人員利用 ECP5 IO 的靈活性將各類現有的板載器件(如傳感器)連接到低端 MCU,實現高度靈活的系統控制。

 

圖 7:第二個系統架構也采用了預處理,設計人員可以使用 ECP5 和 sensAI 預處理傳感器數據,加強神經網絡的綜合性能

 

設計人員還可以在后處理系統中使用 sensAI 加速器(圖 8)。越來越多的設計案例表明,很多公司雖然已經開發出經過驗證、基于 MCU 的解決方案,但是他們希望在不更換組件或重新設計的情況下新增某種 AI 功能。但是在某些情況下,他們的 MCU 性能相對不足。典型的例子就是智能工業或智能家庭應用,在進行分析之前需要圖像濾波。設計人員可以在這里添加另一個 MCU,然后經歷耗時的設計驗證過程,或者也可以在 MCU 和數據中心之間添加加速器進行后處理,最大限度地減少發送到云端的數據量。這種方法對想要添加 AI 功能的物聯網設備開發人員尤其有吸引力。

 

圖 8:通過 sensAI 增強該基于 MCU 的設計,讓現有的設計支持網絡邊緣 AI 功能

 

結論

顯然,未來幾年將是實時在線的網絡邊緣智能設備這一市場發展的關鍵時期。由于應用變得越來越復雜,設計人員將急需能夠以低功耗支持更高性能的工具。萊迪思最新版本的 sensAI 技術配合 ECP5 和 iCE40 UltraPlus FPGA,將為設計人員提供硬件平臺、IP、軟件工具、參考設計和設計服務,幫助他們戰勝競爭對手,快速開發出成功的解決方案。