In-situ AI: 物聯網的分散式霧運算

In-situ AI: 物聯網的分散式霧運算
台大電機系 吳奕萱 編譯

去中心化分散式計算

物聯網收集的資料具有兩大特性：他們是動態（dynamic），且不具有標籤的（unlabeled）。當生物學家在野外裝設監視器，捕捉野生動物的畫面影像時，影像品質受到環境亮度、天氣等變化影響，存在極多的變異量，收集的資料相當動態。當機器遇到未曾見過的資訊時，判讀上難免有較大的誤差。又因為人工標記的速度，永遠趕不上指數成長的資料量，使得大量資料不具有標籤，不適用需要藉由目標答案進行訓練的監督式學習。因此，若要充分利用大量原始的資料，勢必得發展出一套以非監督式學習為基礎，具有足夠準確率的模型。

「In-Situ AI」這套運算架構，因應物聯網資料的特性與使用情境，在資料收集處就地進行大部分的運算工作。不同於以往將資料全部傳到「中央」的雲端，再接收「中央」決策完回傳的指令，In-Situ AI 發揮了去中心化的精神，善用地方資源、產生因地制宜的策略。其架構分為兩大部分：運算中樞（Node）與雲端（如圖一）。雲端有較高的運算能力，負責從大量的物聯網資料進行非監督式學習，汲取重要的特徵。接著藉由遷移學習（transfer learning），讓運算中樞的推理網路（inference network）認識這些特徵。如此在有限的標記資料下，推理網路也能對周遭世界具有一定程度的判讀能力。實驗結果顯示，遷移學習學到的特徵，讓推理網路預測的準確率提升30 %（達到近60 %），彌補標記資料不足的限制。

圖一、以雲端為中心(a)及分散式(b)運算架構 ( 譯者自繪 )

面對動態的資料，運算中樞同時具有「診斷」功能，能找出判讀錯誤的資訊。錯誤的原因很可能是因為先前學習時沒有看過，因此診斷出來後會把這些資訊回傳至雲端，增加訓練的素材、強化模型。當接收到的資料不用全部回傳，只回傳必要的資訊時，不僅有效最小化資料傳輸量（降低約 28 -71 %），也兼顧了蒐集新資料的功能。

此外，電腦還進行一種有趣的「拼圖」學習法。首先我們將一張影像切成3 x 3格，並打散這9塊局部影像，隨機排列。接著，電腦要嘗試找出正確的排列方式，將小圖拼回原本的大圖。若電腦能順利辨識9張圖的相對位置，也意味著他的深度學習模型已精於辨認物體的型態。相較於非監督式學習中，電腦要從沒有答案可參考的資訊中自行尋找規律，「拼圖」創造了一個可依循的正確答案，有助於提升辨識準確率。

速度與耗能

隨著運算工作由雲端平台轉移到物聯網裝置，電力來源也從供應不絕的電源轉為容量有限的電池，運算速度與能源使用上的平衡受到考驗。若回顧裝置運算中樞主要進行的兩項工作，可發現「推斷」在藉由影像辨識偵測物體、分類後，需即時產生反應，分秒必爭。「診斷」篩選出需回傳至雲端的資料，在執行上較無急迫性，應多考慮能源使用的效率。因此，在「推斷」工作不需要24小時持續運行的情境下，物聯網裝置通常採單核心運作模式，切割時間區間，交替執行兩項工作。相對地，若「推斷」工作需全年無休執行，則需採多工處理，同步進行。

那麼在有限的運算資源下，如何提升速度？辨識影像的神經網路中具有多層卷積層，若每到一層都要重新訓練權重，雖然準確率可能最高，卻相當費時。如果善用權重共享（shared weight），假設每個輸出的結果權重相同，便可大幅減少訓練模型時的參數[1][2]。優化的過程，便是尋找速度與準確率間的平衡，而實驗結果顯示，固定前三層的情形下（只訓練conv4、conv5，以及後面整合特徵表現的全連接層），準確率雖從59 % 略降為 56 %，速度卻能加快1.7 倍，提升應用價值。

從「雲」到「霧」

事實上，2015年思科（CISCO）便提出了「霧運算（Fog Computing）」的概念，將雲端的「雲」延伸到物品實際所在的位置[3]。相較於雲端運算平台，分散式的霧運算在地理上的分布較廣，靈活度也較高，應用在串流媒體這類強調即時性的功能上，具有相當的優勢。

值得一提的是，霧運算的興起並非要取代雲端運算。相反地，雲端仍扮演重要的角色。在「In-Situ AI」的案例中，我們看到像是訓練大量資料這類倚賴高效能的工作，依然是在雲端執行。不同的是裝置在收集到資料後，會先交由運算中樞的推理網路與診斷網路進行處理，只選取有較高利用價值的資料回傳雲端。因此，雲端和霧運算可說是相輔相成，藉雙向互動各發揮所長，一同打造嶄新的物聯網時代。

參考資料

1. M. Song, K. Zhong, J. Zhang, Y. Hu, D. Liu, W. Zhang, J. Wang, and T. Li, “In-Situ AI: Towards Autonomous and Incremental Deep Learning for IoT Systems”, 2018 IEEE International Symposium on High Performance Computer Architecture (HPCA), 2018.
2. Justin Johnson, Andrej Karpathy, “Stanford University CS231n: Convolutional Neural Networks for Visual Recognition“, Cs231n.stanford.edu, 2018.
3. CISCO, “Fog Computing and the Internet of Things: Extend the Cloud to Where the Things Are”, CISCO, 2015.