中國投影熱線:400-6789-360  設為首頁 | 刊物 | 投稿 | 投影通下載 [ 會員登錄| 免費注冊 ]

論"大數據"時代下的海量數據存儲技術

中國投影網投影資訊  來源:?低  2017-3-9 14:25:01  編輯:沉默者  [ ]

摘要:隨著高清攝像機的快速普及和推廣,數據呈現爆發式增長,而相關法律的出臺(如《中華人民共和國反恐怖主義法》和《關于人民法院訴訟檔案保管期限的規定》規定資料長周期保存)又成為有力的市場推手,加速了數據的暴增程度,對海量存儲空間的需求為存儲廠商帶來了前所未有的良好機遇。如何解決大數據時代下的客戶對海量數據的長周期、分層存儲和快速查詢的訴求,是存儲廠商面臨的挑戰。
    高清、長周期呈現海量存儲需求
    高清已經在安防行業全面鋪開應用。除了帶給用戶能夠看得更清的良好視覺感受外,對存儲容量的需求亦成幾何式增長。例如: 前端IPC有130W到500W像素,碼流也從有2Mbps到8Mbps,而一個130W像素,8Mbps碼流的前端, 錄像一個月就需要2531.3GB,數據量不可小覷。
    存儲周期方面,現在也有了政府的有力推動。如《中華人民共和國反恐怖主義法》規定采集的視頻圖像數據保存周期不得少于90天;最高人民法院與國家檔案局聯合發布的《關于人民法院訴訟檔案保管期限的規定》更是規定:將法院訴訟檔案的保管期限分為永久、長期、短期三種,根據人民法院訴訟檔案的特點,凡屬本院審判活動形成的需要長遠利用的訴訟檔案,劃為永久保管。凡屬在相當長的時期內需要查考使用的訴訟檔案,劃為長期保管,保管時間為60年。凡屬在相對較短的時期內需要查考利用的訴訟檔案,劃為短期保管,保管時間為30年,可以想象,數據量非常之大。
    對當前整個安防市場來講,特別是大公安、大交通、樓宇、司法監所、金融、文教衛、能源項目等行業迅猛發展,甲方客戶的需求及大集成商的存儲解決方案越來越傾向集中化。需要保存的數據也成線性增長.應對如此巨大的數據量,數據存儲及客戶數據快速有效查詢就變得至關重要。?狄恢本o跟行業發展方向,致力于推出更符合用戶需求與行業需求的監控/數據中心解決方案。
   現有的安防存儲模式
    1.DVR/NVR前端本地存儲
    此種模式,一般應用于實施較早項目,使用的是DVR/NVR前端本地存儲,隨著大數據時代的來臨,采用了比較直接的方法,在DVR/NVR直接連接擴展柜來實現容量的擴容。原來系統及原數據保持不變。此種模式由于采用DVR/NVR存儲容量相對較小,況且DVR/NVR性能較低,信息孤島現象嚴重,無法滿足大數據需求。
    2.集中存儲模式
    客戶數據采用磁盤陣列模式?梢圆捎迷诖鎯濣c后直接增加擴展柜的模式,隨著集群的推出也可以通過增加存儲節點來實現容量增加。相對于DVR/NVR模式,容量大大提升,并實現了數據的集中存儲,同時支持存儲節點間的故障的自動業務接管,最大程度上實現了業務數據的完整性。但是隨著大數據的來臨,后續項目擴容時,需要人為配置設備的負載均衡。一臺存儲故障后導致設備存儲的數據部分中斷或者接管設備壓力較大,另外考慮到網絡延時,可能導致存儲數據不完整,數據獲取需要人為指定設備數據獲取,管理成本較高等。為了設備的負載均衡,空間的虛擬化設備易維護的問題,云存儲技術應運而生。
    3.云存儲模式
    隨著云存儲技術普及.目前市面大體分為通用云存儲(文件云\集群NAS )和視頻云存儲。
    通用云存儲
    通過軟件運用集群技術、虛擬化技術、分布式存儲技術將網絡中大量各種不同類型的存儲設備集合起來協同工作,共同對外提供數據存儲和業務訪問功能。
    通用云存儲較傳統集中基本設備形態不變,故主要部件為:存儲服務器(元數據服務器)+磁盤陣列。

通用云存儲中許多都是通過優化改造傳統IPSAN/NAS存儲而演化而來,其通過實現服務器和存儲設備集群化管理,存儲資源虛擬化,達到分布式數據存儲,因其內部數據處理以結構化數據為主。
    工作模式:前端攝像機視頻數據流經流媒體服務器轉發到存儲管理服務器集群,最后在寫入指定的磁盤陣列。視頻數據需經過流媒體服務器轉發進入存儲服務器,一定流媒體故障,系統業務中斷,數據存在丟失風險。
    通用云存儲可以實現存儲資源虛擬化,但虛擬化能力有限。通用云存儲以結構化的文件系統存儲非結構化視頻圖片數據,視頻存儲效率低。
    基于以上幾點,通用云存儲產品當前都是面向全行業項目支持,主要作為一款存儲方案,即不對安防視頻應用做應用支撐.不太適合做安防視頻整體的解決方案。
    安防專用的視頻云存儲
    基于云架構進行開發,融合了集群應用、負載均衡、虛擬化、云結構化、離散存儲等技術,將網絡中各種不同類型的存儲設備,通過專業應用軟件集合起來協同工作,共同對外提供視頻、圖片數據存儲和業務訪問服務。
    視頻云存儲基本組成單元: 云存儲管理服務器、云存儲存儲節點、云存儲軟件。

視頻監控平臺根據業務需求為各前端攝像機下發錄像計劃,視頻云存儲系統根據當前系統內的業務負載情況分配具體的存儲空間,前端攝像機推送視頻數據流直寫到分配的存儲設備上。視頻云存儲數據傳輸協議支持主流的流媒體協議(如RTSP/ONVIF/PSIA等)和GB/T28181規范;支持平臺直接調取,架構簡化而開放,空間自我管理,可獨立組網。
    對于通用云存儲,視頻云存儲優勢如下
  相在大型視頻監控項目中,視頻云存儲在視頻/圖片存儲效率優于通用云存儲。
  在項目預算中,視頻云存儲較通用云存儲能節省部分服務器投入,有成本優勢。
  視頻云存儲是專門針對視頻安防行業的高效安全穩定的后端存儲解決方案,所以可以支撐大量的視頻功能應用,這個也是通用云存儲所不具備的。
    視頻云存儲特點如下:
    1)高效靈活的空間管理
  對存儲資源進行虛擬化整合,提高用戶管理效率;
  支持存儲資源的在線擴展,實現容量與性能的線性增長;
  虛擬空間可靈活調整,不但能擴大,同樣能縮。缓罄m產品只需要增加存儲節點就能完成容量升級
    2)海量數據的快速檢索
  采用一體化索引設計,大大提高了查找速度;
  深化視頻、圖片的應用設計,支持I幀信息快速讀;
    3)持續可靠的數據服務
  提供7X24小時不間斷高效可持續的數據服務,充分保護數據安全和可靠性;
  采用全集群化設計,性能全面提升,設備壓力負載均衡,單/多點故障,錄像業務不中斷;
  數據存儲采用離散存儲算法,提供系統級高效、穩定存取服務;
    4)高可擴展的應用支撐
  系統的高性能設計,能夠并發服務以滿足視頻數據的高速讀取需求。
  采用流式數據結構,面向視頻、圖片數據而設計,滿足視頻數據的持續寫入;
  深入開發視頻錄像的專業化應用設計,優化了應用的服務質量;
    5)開放透明的兼容系統
  統一開放的應用功能接口,由上層業務平臺直接調用;
  數據存儲采用離散存儲算法,提供系統級高效、穩定存取服務;
    6)高可擴展的應用支撐
  系統的高性能設計,能夠并發服務以滿足視頻數據的高速讀取需求。
  采用流式數據結構,面向視頻、圖片數據而設計,滿足視頻數據的持續寫入;
  深入開發視頻錄像的專業化應用設計,優化了應用的服務質量;
    7)開放透明的兼容系統
  統一開放的應用功能接口,由上層業務平臺直接調用;
  采用的是標準設備兼容模式,支持標準IP SAN、FC SAN存儲設備的接入;
  目前需要存儲容量不斷增加,客戶要求數據存儲周期越來越長,帶庫和云存儲融合方案慢慢呈現在客戶面前。
    4.視頻云+帶庫
    長周期數據云存儲+帶庫方案:致力于解決重要數據的歸檔備份,數據快速提取。存儲組成緩存存儲系統,提供足夠的存儲空間滿足熱數據及備份數據的容量需求,結合專業的備份軟件和磁帶庫實現數據的在線和離線備份云存儲系統統一管理冷熱數據存儲及狀態切換,提供對熱數據的轉碼、壓縮等豐富的功能應用。同時完全繼承傳統云存儲虛擬化資源分配、離散存儲、在線擴容、集群容災,兼容第三方存儲等云存儲特性方案中所有存儲設備均可設計為冗余連接,在滿足用戶存儲需求的同時,兼顧整個系統的存儲性能和安全性。
    系統功能簡介;
  業務層面
    支持實時視頻流、視頻文件、圖片、普通文件混合存儲;支持對數據自定義歸檔存儲,同時保存熱數據及歸檔數據;將客戶經常使用的視頻圖片及文件存入熱數據存儲資源池;把客戶訪問頻率不高的視頻視頻文件、圖片、普通文件且需要長周期存儲的數據存入冷數據存儲資源池.冷熱數據資料可以通過管理軟件實現數據遷移.數據歸檔和遷移時可以按照文件時間、文件大小、各級存儲的位置、文件的歷史版本、存根信息等進行策略定制,實現基于策略的數據歸檔和遷移
  數據高可靠性保障系統
    帶庫方案是基于目前穩定的存儲系統架構,采用成熟穩定的硬件,可以保障系統長時間穩定運行。系統的管理軟件具有報警措施,控制軟件發現軟硬件異常時,通過多種方式進行報警。管理軟件包括快照和克隆的功能,可以使所管理的數據回滾到原來某一時刻的狀態,防止用戶錯誤操作帶來的數據丟失。同時通過存儲管理軟件實現備份功能。
  高安全數據存儲
    系統通過用戶名、密碼、IP地址認證等認證方式,保證數據空間訪問權限的控制,保障數據不會被其他人惡意竊取或破壞。
    方案中,根據客戶需求可以設定不同的登錄權限和讀寫操作權限,實現數據的安全性
    存儲設備內嵌WORM歸檔模塊,它是針對檔案類存儲提供的基于硬盤的寫一次,讀多次的存儲產品。可以有效防止關鍵文件數據被篡改。
  高擴展的帶庫存儲
    整個系統的存儲容量可以在不影響業務運行的情況下隨需采購磁帶擴展。存儲的性能也可以動態線性增加,通過增加驅動器的方式,拓寬整個系統的處理性能。
    系統易擴展為遠程容災存儲系統。系統是基于存儲和備份軟件結合,易于實現遠程的數據傳輸;為以后擴展到其他地區,結合為一體的容災存儲系統建立好的基礎條件。
  科學有效的備份實現
    日常需要備份的主要業務數據,可以用文件同步和文件備份功能實現。設定合理的備份策略, 盡可能利用非業務時間進行文件同步和備份,避免增加對應用局域網的負載壓力。
    采用專業的文件集中備份功和數據庫備份功能實現。不干擾用戶的局域網正常業務,達到LAN FREE效果。
  較低的保存環境要求
    磁帶是可移動介質,可以異地離線保存,運輸方便,可以根據用戶需求在不同存放地點之間搬運,這對數據的安全來說是非常有利的,適合數據交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響,對存放條件要求簡單。
    通常情況下,性價比和高可用仍是企業或者個人選擇存儲系統最優先考慮的兩大因素,此外存儲的易于部署和管理以及磁盤和閃存的緊密整合也是企業用戶評估存儲的重要考慮因素.隨著大數據時代的來臨,企業會根據自身需求和預算來挑選適合自己的企業的解決方案。 

整體來說,目前云存儲發展最為迅猛, 以其遙遙領先的優勢獨占鰲頭,必然會是未來大數據應用的重點組成部分,同時數據分層、融合以及智能也將逐漸普及應用,可以說,安防行業為了迎接大數據來臨,已經做好了充足的準備。


關于海康威視
是領先的安防產品及行業解決方案提供商,致力于不斷提升視頻處理技術和視頻分析技術,面向全球提供領先的安防產品、專業的行業解決方案與優質的服務,為客戶持續創造更大價值。
?低晸碛袠I內領先的自主核心技術和可持續研發能力,提供攝像機/智能球機、光端機、DVR/DVS/板卡、網絡存儲、視頻綜合平臺、中心管理軟件等安防產品,并針對金融、公安、電訊、交通、司法、教育、電力、水利、軍隊等眾多行業提供合適的細分產品與專業的行業解決方案。這些產品和方案面向全球100多個國家和地區,在北京奧運會、大運會、亞運會、上海世博會、60年國慶大閱兵、青藏鐵路等重大安保項目中得到廣泛應用。
公司的營銷及服務網絡覆蓋全球,目前在中國大陸34個城市已設立分公司,在洛杉磯、香港、阿姆斯特丹、孟買、圣彼得堡和迪拜也已設立了全資或控股子公司,并將在南非、巴西等地設立分支機構。
持續快速發展的?低暎勋@得了行業內外的普遍認可。公司連年入選“中國安防十大品牌”、中國安防百強(位列榜首);連續三年(2005-2007)入選德勤“中國高科技、高成長50強”、連續三年(2006-2008)入選福布斯“中國潛力企業”;連續六年(2007-2012)以中國安防第一位的身份入選《A&S》“全球安防50強” ;2011/2012年名列IMS全球視頻監控企業第1位,DVR企業第1位;連年入選“國家重點軟件企業”、“中國軟件收入前百家企業”等。
“專業、厚實、誠信、持續創新”的海康威視,以人人輕松享有安全的品質生活為愿景,矢志成為受人尊敬的、全球卓著的專業公司和安防行業的領跑者。
聯系海康威視
杭州?低晹底旨夹g股份有限公司 電話:0571-88075998郵箱:market@hikvision.com 傳真:0571-88805843技術支持熱線:400-700-5998 郵編:310052技術支持郵箱:400@hikvision.com 地址: 杭州市濱江區東流路700號(江暉路-東流路交叉口)

免責聲明:本文來源于?低,本文僅代表作者個人觀點,本站不作任何保證和承諾,若有任何疑問,請與本文作者聯系。


資訊評論

投影
投影
網站建設 | 本站動態 | 關于TY360 | Global Projector | 投稿 | 意見 | 網站地圖 | 友情鏈接
本站實名:中國投影網 | 投影機 | 投影機報價 國際域名:www.zsowg.cn 官方微博
版權所有© 2004-2019 深圳市中投傳媒有限公司  粵ICP備05041759號
郵箱:web@ty360.com 電話:0755-26391166(十二線) 傳真:0755-86024577
在線客服:點擊這里給我發消息  視聽學院-商家論壇群:視聽學院-商家論壇
主站蜘蛛池模板: 99久久亚洲综合精品网站| 狠狠色丁香久久婷婷综合| 亚洲精品欧美综合在线| 亚洲色欲久久久综合网| 欧美日韩国产色综合一二三四| 亚洲狠狠综合久久| 久久―日本道色综合久久| 五月丁香六月综合欧美在线 | 狠狠色狠狠色综合久久| 国产综合色在线视频区| 成人亚洲综合天堂| 亚洲国产美国国产综合一区二区 | 国产成人麻豆亚洲综合无码精品| 婷婷五月六月激情综合色中文字幕| 色综合久久天天综合| 国产成+人+综合+欧美亚洲| 天天综合网天天综合色| 久久天天日天天操综合伊人av| 一本大道久久a久久精品综合| 九月丁香婷婷亚洲综合色| 欧美日韩一区二区综合在线| 亚洲综合最新无码专区| 99久久国产综合精品五月天喷水| 亚洲国产成人精品无码久久久久久综合 | 2020久久精品亚洲热综合一本| 国产91久久综合| 亚洲国产国产综合一区首页| 亚洲国产日韩综合久久精品 | 欧美日韩亚洲国内综合网| 伊人久久亚洲综合影院| 天天做天天爱天天综合网| 亚洲国产成人久久综合一| 亚洲欧美成人综合在线| 国产成人综合久久综合| 色综合久久综合中文综合网| 一本一道久久综合狠狠老| 婷婷五月六月激情综合色中文字幕| 亚洲国产天堂久久综合网站| 欧美日韩国产综合视频一区二区二 | 国产精品九九久久精品女同亚洲欧美日韩综合区 | 亚洲成a人v欧美综合天堂下载|