今年的“理化生三諾獎” 都與復雜系統(tǒng)相關，而當今處理復雜系統(tǒng)最有效的方法和理論之一就是神經網絡類機器學習基礎上的深度學習，所以在Hassabis和Hinton這兩個AI方面的專家獲得化學和物理諾獎確實出人意外的同時，也展現(xiàn)了多類融合發(fā)展的必然性。

都說在MCU上跑AI會成為常態(tài)，不過實話講，很多工程師在實際工作中部署AI的場景還沒那么多，而且畢竟再學一門技術，又會增加很多時間成本。

不過，隨著全行業(yè)AI化行動加深，MCU廠商接連推出自己的AI工具，并且在開發(fā)上手難度和使用便捷性進行了優(yōu)化。尤其在最近一段時間，不斷炫技，可謂是徹底拼了。

eIQ機器學習軟件于2018年推出，經過不斷發(fā)展，可支持系統(tǒng)級應用和機器學習算法實現(xiàn)。這個軟件工具集的特點是專業(yè)人士和非專業(yè)人士都很方便使用，抱著玩一玩的心態(tài)也可以跑起來應用。用官方的話說就是實現(xiàn)“機器學習人人可用”。

整體開發(fā)流程方面，既可以只提供數據集然后借助eIQ工具箱完成從模型訓練到模型部署，又可以提供已經訓練好的模型，然后借助eIQ工具箱對其進行轉換/量化以及部署工作。最后，調用eIQ inference engines對所生成的模型進行推理，得到最終的預測值。

今年3月，NXP與NVIDIA達成合作，將NVIDIA TAO API直接集成到恩智浦的eIQ機器學習開發(fā)環(huán)境中。NVIDIA TAO低代碼人工智能框架通過遷移學習，讓開發(fā)人員能夠更輕松地利用經過訓練的人工智能模型，并針對特定用途對模型進行微調和優(yōu)化。換句話說，開發(fā)人工智能只在這一個平臺上就可以了。

AI并不只是大語言那么高不可攀的應用，AI已經無處不在。這是今天下午NXP發(fā)布會上看到的最常見的一些AI/ML應用，他們已經發(fā)生。在分享的同時，我也試著梳理下，在這種AI/ML everywhere的時代，嵌入式工程師又該怎么把握機遇，不被甩下車？

電動工具中的電機的AI——自動停止

在電動工具行業(yè)中將AI/ML技術與電機控制結合應用的案例。通過使用MCU和AI技術，可以更智能地控制工具并增加安全功能，如自動停機。
AI/ML + Motor Control to Enable Power Tools

• AI/ML + 電機控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于電動工具應用中。

• eIQ工具包：為用戶提供數據集訓練和驗證的效率，使用戶能夠輕松構建屬于自己的AI/ML模型。

• 芯片解決方案：一個芯片既可以實現(xiàn)AI/ML啟用的自動停止功能，也能執(zhí)行電機控制。
  
  

將MCU用于能源領域，尤其是逆變器和能源存儲系統(tǒng)中，增強檢測能力并通過邊緣計算進行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

• 電力轉換：使能逆變器和能源存儲系統(tǒng)，突出使用電弧故障斷路器（AFCI）作為區(qū)分特性。

• MCX N微控制器：提供邊緣處理能力，用于檢測和保護。

• MCX W微控制器：通過藍牙將逆變器/ESS設備的結果傳輸到主機中心或網關。

• 系統(tǒng)解決方案：NXP提供了包括硬件參考設計、軟件包和eIQ機器學習工具包在內的系統(tǒng)解決方案。
  
  

AI/ML技術在醫(yī)療設備中的應用，通過檢測鼾聲來幫助治療呼吸睡眠障礙。
AI/ML Sound Detection to Enable Healthcare

• AI/ML聲音檢測：用于醫(yī)療保健，特別是檢測鼾聲以優(yōu)化CPAP（持續(xù)氣道正壓）設備的效果。

• i.MX RT交叉微控制器：提供AI/ML聲音頻譜計算，推理時間低至6毫秒。

• CPAP中的一體化芯片解決方案：包括控制、顯示和AI/ML算法。
  
  

AI/ML技術如何用于智能工廠中的缺陷檢測，以提高制造業(yè)的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

• AI/ML視覺檢測：用于智能工廠中的缺陷檢測，以提高效率、準確性和靈活性。

• i.MX系列處理器：在邊緣設備上實現(xiàn)高性能CNN視覺算法推理。

• NXP WiFi產品：提供低延遲以便將制造結果通知到控制中心。

• 支持大量市場客戶：通過廣泛的第三方支持和EBS生態(tài)系統(tǒng)，加速客戶的評估和采納。
  
  

如何通過大語言模型和智能邊緣計算來增強智能家居的用戶體驗，允許用戶自然語言控制家居設備。
AI/ML Large Language Models to Enable Smart Home User Experiences

• 大語言模型（LLM）：為智能家居用戶帶來更高質量的用戶體驗。終端用戶可以使用自然語言與家居設備交互。

• i.MX 95應用處理器：為邊緣AI計算提供強大的能力。

• NXP系統(tǒng)解決方案：提供包括連接、安全、AI計算和軟件支持的完整智能家居解決方案。

---
AI/ML無處不在的時代，嵌入式工程師需要不斷適應和提升自己，以充分利用這項技術趨勢。
埋頭敲代碼，忙于搬磚的同時，也應該思考下，自己的學習方向

1. 學習基礎AI/ML知識

• 學習基礎的機器學習概念，例如分類、回歸、聚類、神經網絡等。

• 熟悉常見的機器學習算法（例如決策樹、隨機森林、SVM和神經網絡等），理解它們的應用場景。
  
  

2. 掌握嵌入式AI框架和工具

• 學習如何在嵌入式系統(tǒng)上運行AI模型。例如，NVIDIA Jetson平臺、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式環(huán)境中執(zhí)行AI模型。

• 了解TinyML（用于資源受限設備的AI/ML）及其相關工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。
  

3. 理解硬件加速器和處理器架構

• 深入了解用于AI/ML的硬件加速器（如GPU、TPU、NPU）及其在嵌入式系統(tǒng)中的應用。嵌入式系統(tǒng)通常對功耗敏感，因此了解如何高效地執(zhí)行AI任務非常重要。

• 研究硬件架構如何影響AI模型的推理性能，學會根據不同任務優(yōu)化嵌入式系統(tǒng)。
  

4. 學習數據處理和模型優(yōu)化

• 嵌入式系統(tǒng)通常資源有限（如處理器、內存、功耗等），因此需要學習如何裁剪和優(yōu)化AI模型。

• 學習模型量化、剪枝、壓縮等技術，使復雜的AI模型能夠在資源受限的嵌入式系統(tǒng)上運行。

• 研究如何有效地收集、處理和管理嵌入式設備產生的數據。
  
  

5. 實時性和邊緣計算

• 嵌入式系統(tǒng)通常需要處理實時任務，因此嵌入式工程師需要確保AI模型能夠在嚴格的實時性要求下高效運行。

• 研究邊緣計算，即在靠近數據源的嵌入式設備上執(zhí)行AI任務，從而減少延遲和帶寬需求。
  
  

6. 提升編程技能

• 掌握C/C++、Python等嵌入式編程語言，同時學習如何在低級別優(yōu)化代碼。

• 熟悉并行編程，尤其是在嵌入式系統(tǒng)中利用多核處理器和硬件加速器來執(zhí)行AI推理任務。
  
  

7. 關注應用領域

• 關注AI在嵌入式系統(tǒng)中的實際應用場景，例如物聯(lián)網、智能家居、自動駕駛、醫(yī)療設備、工業(yè)自動化等。

• 針對不同的應用領域，了解如何將AI/ML模型集成到嵌入式系統(tǒng)中，從而為產品增值。
  

8. 與AI/ML團隊協(xié)作

• 在團隊合作中與AI/ML專家緊密合作，理解他們的需求，協(xié)助將AI模型部署到嵌入式系統(tǒng)中。

• 嵌入式工程師需要在軟件工程、系統(tǒng)集成和性能優(yōu)化方面發(fā)揮重要作用。
  

---

最后，放一張思維導圖供大家參考