監控系統中的雲端計算核心技術

資訊科技不斷進步，快閃記憶體、磁碟、資料中心、DNA等各種新的儲存技術不斷出現。可即便如此，仍難以滿足日漸龐大的資料體量的儲存需求，加之IoT(物聯網)行業的發展，致使資料的體量更為驚人。

不可否認，這些資料中許多都蘊含著價值，但也不能忽視資料的驚人體量。難道到2020年，我們要將44ZB的資料全部記錄並存儲下來嗎?因此，我們需要用雲端計算技術對資料進行智慧分析。今天就來探討在監控系統中的雲端計算核心技術。

大規模混合計算技術

監控系統產生的大量視訊影象資料如果只靠人工來進行處理，效率會非常低，藉助於視訊智慧化處理演算法，已經可以從視訊影象資料中獲取一些簡單的特徵進行比對，或者進行模式匹配產生報警事件，提高了處理的效率。這種方式能夠處理的資料量，資料組合的程度，資料的型別等等都還處於較低的水平，無法應對海量資料和日益增長的需求。大規模計算技術的目的就是爲了提供一種統一的數據處理平臺，上面可以整合各種智慧化演算法和計算模型，綜合處理海量監控資料，以更快的速度得到更有價值的資料。

統一資源管理技術

監控系統產生的主要資料就是視訊和影象資料，原始資料經過處理後，會產生更豐富的資料，處理的方式也會有很大不同。比如對於歷史視訊資料可以在後臺處理的視訊資料檢索，對於卡口的車牌和人臉特徵資料需要實時布控，對歷史卡口資訊需要做到實時檢索。這些資料都需要不同的計算框架進行處理，通過引入統一的資源管理平臺，可以在同一個資源池裏執行不同的計算框架，大幅提高資源的利用率，同時在資源被某種業務獨佔時，又能最大限度的發揮系統的效能。

實時檢索技術

傳統的結構化資料都採用關係型資料庫進行儲存，通過RAC等技術形成資料庫叢集，通過索引方式進行加速，但是核心還是基於行儲存和關係運算，面對海量記錄時在各個方面都已經遇到了瓶頸。實時檢索技術通過引入分散式資料庫，列式儲存，記憶體計算，索引引擎等技術，能應對100億級別的結構化資料，在儲存容量，可擴充套件性，檢索速度等多個方面都可以得到大幅提升。該系統在智慧交通、刑事偵查等視訊監控領域具備重要的研究價值和廣闊的應用前景。

複雜事件處理技術

隨著安防監控行業的發展，業務變的也來越複雜，比如智慧交通領域，出現了車輛積分研判、套牌車分析、同行車分析等需求。這些需求存在產生結果所依賴的條件多、處理過程實時性的要求高、需要處理的資料量巨大等特點。傳統的方式是採用關聯式資料庫，通過複雜的SQL語句組合，不斷查詢比對的方式，很難滿足實時性的要求。複雜事件處理通過引入流式計算等技術，動態地對輸入資料進行實時的分析，處理速度可以大幅提供。不符合條件的資料都被丟棄掉，系統中只存在處理的結果或者可能有用的中間資料，這樣對儲存的要求也變小了，完全在記憶體中進行全過程的分析，實時性得到了保證。

人臉檢索技術

人臉檢索的技術在單臺伺服器上的應用已經比較成熟，可以應用在身份鑑別、在逃人員抓捕、可疑人員排查、身份證查重等領域。人臉檢測過程可以分為以下幾個階段：視訊或影象解碼、人臉檢測、特徵提取、特徵比對，前三個步驟都是每次請求對應一次計算，計算量相對可控，而最後一個步驟特徵比每次請求則需要和達億級的人臉特徵進行比對，是運算量最大的一個階段。

一些實時應用的請求數每秒鐘可達請求數達到數百次，每次人臉比對次數可達百萬級別時，則整個系統需要支援每秒億級的人臉特徵比對計算。如此大規模的計算，單機上是無法完成的，必須採用叢集完成。特徵庫本身規模不大，但是比對次數很大，屬於典型的計算密集型叢集，特徵庫可以全部倒入到記憶體，在記憶體中完成計算。

海量視訊檢索技術

影象感測器採集到的視訊資料儲存到後端儲存後，使用者可以隨時選擇目標區域的多個攝像頭，提交給視訊檢索叢集，檢索叢集按照目標物體的特徵快速檢索的所有對應攝像頭產生視訊資料，找到目標物體特徵所出現的視訊，並定位到準確的時間點。其中主要使用了智慧化技術實現視訊資料到物體特徵結構化資料的轉換，支援車輛顏色，車牌，衣著顏色，人臉等特徵。基於統一的計算資源池，實現智慧化演算法的並行運算，線性提高檢索效率。

結構化之後的資料可以儲存到資料庫，下次檢索可以直接通過結構化資料進行二次檢索，大幅提高檢索效率。

分散式物件儲存技術

安防雲在系統架構和設計上，充分考慮大規模叢集環境下軟硬體發生故障的現實，採用先進的管理思想和軟件系統，實現對大量普通儲存伺服器儲存空間資源進行虛擬化整合，實現軟硬體故障高度容錯，搭建高度穩定可靠的儲存叢集。

系統將控制流與數據流分離，以及充分優化後設資料節點控制系統，使得系統具備極高的效能和良好的線性擴充套件能力。系統整體為應用提供統一名稱空間，使得系統具備極好的資料共享能力。系統將負載均衡到叢集內的各節點上，充分利用叢集各節點效能，以獲得很好的效能聚合能力以保證系統的穩定。叢集採用高度靈活自組網技術，提供簡易部署和維護功能。系統在資料可靠方面，採用智慧冗餘重建技術，保證較高磁碟利用率的前提下，提供最佳冗餘策略。另外，系統在節點軟硬體故障容錯方面，也進行充分考慮，具備遮蔽所有可遮蔽錯誤能力。

快速檔案索引技術

雲端儲存系統可以支援上億級的檔案，同時還需要支援上千個使用者同時訪問。這麼大規模的後設資料和併發訪問量，採用傳統的記憶體加磁碟多級儲存，以及多級索引方式，定址的開銷將非常大，直接影響到系統的可用性。

爲了提高系統的響應速度，雲端儲存採用粗粒度的管理方式，以64M作為典型的塊大小進行索引，大幅減小後設資料的數量，即使如此，系統的後設資料規模還是會達到GB級別。基於這種情況，系統採用全記憶體態的後設資料訪問模式，可以將檔案定址時間降到毫秒級別。

爲了保證後設資料的可靠性，需要對後設資料的訪問做日誌記錄，並定期將後設資料持久化到硬碟。

高速併發訪問技術

客戶端在訪問雲端儲存時，首先訪問後設資料伺服器，獲取將要與之進行互動的資料節點資訊，然後直接訪問這些資料節點完成資料存取。

客戶端與後設資料伺服器之間只有控制流，而無數據流，這樣就極大地降低了後設資料伺服器的負載，使之不成為系統性能的一個瓶頸。客戶端與資料節點之間直接傳輸數據流，同時由於檔案被分成多個節點進行分散式儲存，客戶端可以同時訪問多個節點伺服器，從而使得整個系統的I/O高度並行，系統整體效能得到提高。