【中國安防展覽網 品牌專欄】繼50天內拿下4個世界紀錄后,近日,大華股份再次刷新KITTI Sceneflow和KITTI Flow兩項競賽的好成績,采用基于實例分割、深度視差網絡、剛體運動一致性約束的場景流估計算法,超越了其它AI公司和的學術研究機構,以及ICCV、ECCV、CVPR相關論文中的場景流研究成果,這標志著大華股份在場景流與光流兩個算法領域均具有重要影響力。
大華股份取得KITTI Sceneflow排行榜
大華股份取得KITTI Flow排行榜
關于KITTI
KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創(chuàng)辦,是目前上大的計算機視覺算法評測數據集之一。數據集用于評測立體匹配(stereo)、光流(flow)、場景流(sceneflow)、視覺里程計(visual odometry)、物體檢測(object detection)和跟蹤(tracking)、道路分割(road)、語義分割(semantics)等計算機視覺技術的性能。KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數據,每張圖像中多包含15輛車和30個行人,且存在不同程度的遮擋與截斷。
場景流與光流
場景流算法能夠同時估計場景中物體的三維位置與三維運動矢量,是感知環(huán)境空間幾何結構的核心算法,與感知語義信息的算法結合后,能夠全面地理解環(huán)境。三維場景流的估計結果能夠進一步分解為立體匹配結果與光流匹配結果,可以認為,光流是場景流映射到二維圖像坐標系的投影。
在本次比賽中,大華股份AI團隊為提升場景流估計精度,增加了一系列算法模塊。首先,基于Mask-RCNN網絡進行實例分割,從場景中分割出行人、車輛、自行車等前景目標。接下來,基于GC-Net計算初始視差圖,使用分段多權重loss函數、利用實例分割結果和多尺度特征圖優(yōu)化初始視差結果,得到更加精細的視差圖,進而改善了初始的proposal NRT集合。后,引入移動前景目標的剛體運動一致性約束,針對場景流不連續(xù)區(qū)域,采用多閾值融合的策略,優(yōu)化場景流估計結果。
在評測中,采用場景流和光流算法的效果和計算結果如下所示:
輸入圖像
T0時刻視差圖
經光流反向映射后的T1時刻視差圖
T0時刻到T1時刻的光流圖
在大華實際產品和未來產品中的應用
本次競賽中使用的技術已在大華股份的雙目攝像機、全景攝像機等產品上得到應用,提升多目攝像機的捕獲目標深度數據、目標分離等算法性能。同時,該技術也成功應用于AR融合應用,實現單個與多個攝像機圖像的AR語義融合,極大提升行業(yè)解決方案的用戶體驗。
雙目攝像機立體匹配應用場景
以下為致密物體堆積下立體匹配的效果:
雙目圖像左圖
視差圖估計結果
AR語義融合應用場景
以下為路面圖像的AR語義融合效果,可供增強的信息:目標類別、位置、運動矢量等
真實圖像
AR語義融合后的效果
版權與免責聲明:
凡本網注明“來源:智慧城市網”的所有作品,均為浙江興旺寶明通網絡有限公司-智慧城市網合法擁有版權或有權使用的作品,未經本網授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智慧城市網”。違反上述聲明者,本網將追究其相關法律責任。
本網轉載并注明自其它來源(非智慧城市網)的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時,必須保留本網注明的作品第一來源,并自負版權等法律責任。
如涉及作品內容、版權等問題,請在作品發(fā)表之日起一周內與本網聯系,否則視為放棄相關權利。