安防云存儲(chǔ)大規(guī)模集群管理問題怎么破？

2019年07月17日 11:41$artinfo.Reprint點(diǎn)擊量：717

　　浙江大華技術(shù)股份有限公司大數(shù)據(jù)研究院江文龍表示：針對(duì)安防行業(yè)的業(yè)務(wù)特性，云存儲(chǔ)的以下兩大技術(shù)方向需要重點(diǎn)突破：

　　1.元數(shù)據(jù)組織和框架構(gòu)建，解決大規(guī)模集群管理和海量文件的問題。

　　整個(gè)分布式系統(tǒng)中需要管理的節(jié)點(diǎn)數(shù)成百上千臺(tái)，用戶的一個(gè)真實(shí)文件會(huì)被分布在多臺(tái)節(jié)點(diǎn)上，由多臺(tái)節(jié)點(diǎn)負(fù)責(zé)承載真實(shí)數(shù)據(jù)的寫入。在讀取時(shí)需要經(jīng)過元數(shù)據(jù)管理服務(wù)器請(qǐng)求拿到數(shù)據(jù)位置信息，從而發(fā)起讀取。而針對(duì)元數(shù)據(jù)請(qǐng)求的性能是逐級(jí)遞歸還是一次訪問就能完成操作，是衡量整個(gè)系統(tǒng)性能的關(guān)鍵要素。

　　對(duì)于一個(gè)單獨(dú)的大文件，是否能充分發(fā)揮讀寫性能，涉及拆分粒度問題。元數(shù)據(jù)服務(wù)作為核心，需要能在支持上千的節(jié)點(diǎn)、上萬的客戶端請(qǐng)求完成高速并發(fā)處理，這在基礎(chǔ)的協(xié)議框架和信令交互模型上就需要考慮齊全，通過超高協(xié)議序列化和反序列化性能、可擴(kuò)展的協(xié)議設(shè)計(jì)、網(wǎng)絡(luò)框架模型、任務(wù)處理模型這些底層基礎(chǔ)件上一層層向上，在每個(gè)環(huán)節(jié)中都做到處理。一個(gè)合理元數(shù)的組織結(jié)構(gòu)可以采用類型對(duì)象存儲(chǔ)的分桶方式，讓數(shù)據(jù)hash分布，實(shí)現(xiàn)文件的簡單管理，對(duì)于桶內(nèi)數(shù)據(jù)不需要采用類似傳統(tǒng)目錄樹形式進(jìn)行逐級(jí)的遍歷，僅需一次定位就可以完成操作。

　　對(duì)于文件的數(shù)據(jù)塊組織管理，一方面要控制較好的粒度實(shí)現(xiàn)IO能充分發(fā)揮多節(jié)點(diǎn)多磁盤的優(yōu)勢(shì)，另一方面需要降低元數(shù)據(jù)的管理壓力，提升管理的集群規(guī)模數(shù)和文件數(shù)量。在存儲(chǔ)節(jié)點(diǎn)上存在用戶的數(shù)據(jù)塊被切分成一段段落在各個(gè)磁盤內(nèi)，系統(tǒng)長期運(yùn)行或者重啟、掉電、字節(jié)跳變等，需要能夠?qū)⒐?jié)點(diǎn)管理的數(shù)據(jù)塊和元數(shù)據(jù)中的數(shù)據(jù)塊進(jìn)行比較，查出差異項(xiàng)完成修正，對(duì)于損壞數(shù)據(jù)提早觸發(fā)恢復(fù)，這就要求元數(shù)據(jù)在組織合理，能夠快速的查找到對(duì)應(yīng)節(jié)點(diǎn)的元數(shù)據(jù)信息，并在比較處理過程中不影響其他的元數(shù)據(jù)實(shí)時(shí)訪問和新增。

　　2.明確的讀寫模型對(duì)提供業(yè)務(wù)使用語義，解決視頻和圖片不同寫入和讀取要求。

　　常見的讀寫并非提供一個(gè)接口就行，需要有明確的讀寫語義。比如文件系統(tǒng)提供的是文件操作語義，按open/write/read/close模式，并支持seek和修改、追加的語義；S3接口提供的是putObject/getObject接口，按照一次完成上傳，上傳后可以見的語義；HDFS提供的是類似文件系統(tǒng)的操作語義，但不支持修改。

　　對(duì)視頻而言，應(yīng)該按照文件的語義但又無需支持追加和修改，僅需支持流式的寫入，并支持邊寫邊讀，避免業(yè)務(wù)層需要開大緩存或者將視頻文件緩存本地才能上傳。對(duì)于圖片寫入方式也是同理，也應(yīng)支持文件流方式寫入。雖然看上去圖片可以一次寫入一張，但是現(xiàn)在的圖片高清化可以有1MB或者更大，僅通過設(shè)置緩存大小完成應(yīng)用程序的一張圖寫入，會(huì)出現(xiàn)云存儲(chǔ)的客戶端內(nèi)的內(nèi)存占用過大或者寫入不夠平滑會(huì)存在一頓一頓的效果并引發(fā)緩存滿出現(xiàn)圖片丟失問題。在讀取上，對(duì)一張圖片內(nèi)數(shù)據(jù)沒寫入完成無需可讀，但是整張寫入完成是要立即可讀。

　　再從文件名角度看，由于每張圖片對(duì)應(yīng)一條前端的抓拍記錄，因此對(duì)圖片地址可以隨結(jié)構(gòu)化記錄一起存儲(chǔ)，對(duì)于用戶來說無需關(guān)系圖片地址生成方式，這意味著圖片地址可以由系統(tǒng)返回進(jìn)行生成。對(duì)于視頻流存儲(chǔ)后形成的錄像文件來說，使用方可以無需記錄每段錄像文件名，通過云存儲(chǔ)提供的文件名能力，按照自定義的業(yè)務(wù)邏輯生成文件名，后續(xù)按照規(guī)則進(jìn)行查詢即可完成錄像列表或者錄像文件的回放。

上一篇：車牌高清識(shí)別一體機(jī)由哪些組成的_車牌識(shí)別系統(tǒng)工作原理

下一篇：五分鐘帶你了解聲紋識(shí)別技術(shù)到底是什么

版權(quán)與免責(zé)聲明： 凡本網(wǎng)注明“來源：智慧城市網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智慧城市網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：智慧城市網(wǎng)m.aiynx.com”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明自其它來源（非智慧城市網(wǎng)m.aiynx.com）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。

免費(fèi)注冊(cè)后，你可以
了解安防行業(yè)更多資訊查看安防行業(yè)供求信息凸顯安防行業(yè)自身價(jià)值馬上注冊(cè)會(huì)員
想快速被買家找到嗎
只需要發(fā)布一條商機(jī)，被買家找到的機(jī)會(huì)高達(dá)90%！還等什么？馬上發(fā)布信息

編輯精選

湖南湘潭人臉識(shí)別門禁系統(tǒng)、人行通道擺閘/

在湖南湘潭，隨著科技的飛速發(fā)展以及人們對(duì)安全和便捷需求的不斷提升，人臉識(shí)別門
天地一體寬窄融合的森林消防應(yīng)急通信系統(tǒng)

面對(duì)森林火災(zāi)救援中復(fù)雜地形阻隔、環(huán)境干擾、跨域跨部門協(xié)同困難等通信痛點(diǎn)，北峰
北峰智能調(diào)度構(gòu)筑生命信號(hào)

北峰通信BF-TR925D便攜式數(shù)字雙頻無線自組網(wǎng)設(shè)備，支持自組織、對(duì)等式、多跳的無
江西鷹潭反向?qū)ぼ囅到y(tǒng)、視頻找車解決方案、

在鷹潭的一些大型商場(chǎng)、購物中心的停車場(chǎng)內(nèi)，車主返回停車場(chǎng)時(shí)，常常會(huì)因停車場(chǎng)空
湖北十堰人臉識(shí)別門禁系統(tǒng)、人行通道擺閘/

人臉識(shí)別門禁系統(tǒng)與人行通道擺閘、翼閘、三輥閘等設(shè)備的應(yīng)用愈發(fā)廣泛，為各類場(chǎng)所
福建平潭反向?qū)ぼ囅到y(tǒng)、視頻找車解決方案、

當(dāng)車主漫步金井灣商務(wù)中心的地下停車場(chǎng)，智能引導(dǎo)屏上實(shí)時(shí)跳動(dòng)的車位數(shù)據(jù)與通道兩
分布式光儲(chǔ)能量管理系統(tǒng)及其控制策略的研究

近年來，在國家政策帶動(dòng)下，光伏產(chǎn)業(yè)高速發(fā)展，國家對(duì)該產(chǎn)業(yè)給予了較大支持，光伏
河南洛陽人臉識(shí)別門禁系統(tǒng)、人行通道擺閘/

在洛寧縣，“數(shù)字鄉(xiāng)村“建設(shè)試點(diǎn)中，三輥閘與智能手環(huán)的聯(lián)動(dòng)應(yīng)用，讓村民出入果園

本站精選

地方工信快報(bào)來了｜江蘇、上海、香港......

智慧城市提升資源利用效率，改善居民生活質(zhì)量的城市發(fā)展模式。作為與智慧城市行業(yè)
智慧城市一周熱點(diǎn)回顧｜2025年全國電子信息

小編在本文中整理了工信領(lǐng)域近期的（3月31日—4月6日）要聞回顧。
智慧城市網(wǎng)2025年清明節(jié)放假通知

人間芳菲四月始春歸清明雨時(shí)節(jié)
地方工信快報(bào)來了｜南京、廣西、上海......

作為與智慧城市行業(yè)息息相關(guān)的行業(yè)，工信領(lǐng)域近期有哪些新動(dòng)向，城市發(fā)展有哪些動(dòng)
交通領(lǐng)域動(dòng)態(tài)速覽｜《普通干線公路資產(chǎn)數(shù)字

在2025年3月25日-3月31日這段時(shí)間里，交通領(lǐng)域發(fā)生了哪些新動(dòng)態(tài)？小編一文帶你揭
智慧城市一周熱點(diǎn)回顧｜工信部等三部門印發(fā)

2025年3月24日-3月30日，智慧城市領(lǐng)域有哪些動(dòng)態(tài)變化發(fā)生？一起來看看！
地方工信快報(bào)來了｜上海、福建、重慶......

科技進(jìn)步在重塑著我們的日常。最近，城市發(fā)展有哪些動(dòng)態(tài)呢？小編在本文中做了整理
交通領(lǐng)域動(dòng)態(tài)速覽｜山東臨淄3輛無人快遞車

小編在本文中對(duì)交通領(lǐng)域最近資訊做了整理，一起來看！