全局運(yùn)動(dòng)補(bǔ)償在多運(yùn)動(dòng)目標(biāo)檢測(cè)方法中的實(shí)現(xiàn)
出處:王洪斌1, 趙振涌2, 顧 彪1, 殷永凱1, 賈桂敏1 發(fā)布于:2011-08-28 08:21:45
目標(biāo)檢測(cè),也叫目標(biāo)提取,是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割,它將目標(biāo)的分割和識(shí)別合二為一,其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場(chǎng)景中,需要對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí),目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。隨著計(jì)算機(jī)技術(shù)的發(fā)展和計(jì)算機(jī)視覺(jué)原理的廣泛應(yīng)用,利用計(jì)算機(jī)圖像處理技術(shù)對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤研究越來(lái)越熱門,對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)實(shí)時(shí)跟蹤定位在智能化交通系統(tǒng)、智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測(cè)及醫(yī)學(xué)導(dǎo)航手術(shù)中手術(shù)器械定位等方面具有廣泛的應(yīng)用價(jià)值。
本文主要針對(duì)復(fù)雜動(dòng)態(tài)廣場(chǎng)背景下單攝像機(jī)對(duì)多個(gè)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)的情況,在傳統(tǒng)方法的基礎(chǔ)上,提出了一套更完善、實(shí)時(shí)性和魯棒性更優(yōu)的基于全局運(yùn)動(dòng)補(bǔ)償?shù)慕鉀Q方案。該方法建立了攝像機(jī)全局運(yùn)動(dòng)參數(shù)模型,通過(guò)背景補(bǔ)償將動(dòng)態(tài)背景下的檢測(cè)問(wèn)題轉(zhuǎn)化為在靜態(tài)背景下的檢測(cè)問(wèn)題。
1 動(dòng)態(tài)背景下的多目標(biāo)檢測(cè)
目前在動(dòng)態(tài)背景下解決目標(biāo)檢測(cè)的問(wèn)題主要有兩大思路:(1)根據(jù)基于目標(biāo)模板特征的方法。這種方法背景是否運(yùn)動(dòng)對(duì)其影響不是很大,但是在目標(biāo)特征不明顯的情況下難以做到準(zhǔn)確地提取目標(biāo);(2)基于背景補(bǔ)償?shù)姆椒?。通過(guò)全局運(yùn)動(dòng)估計(jì)得到的全局運(yùn)動(dòng)參數(shù)估算攝像機(jī)運(yùn)動(dòng)模型,在進(jìn)行差分圖像提取目標(biāo)前進(jìn)行背景補(bǔ)償,消除全局運(yùn)動(dòng)帶來(lái)的影響[3].本文采用基于全局運(yùn)動(dòng)補(bǔ)償?shù)姆椒▽?shí)現(xiàn)目標(biāo)檢測(cè)。
1.1 全局運(yùn)動(dòng)估計(jì)
全局運(yùn)動(dòng)估計(jì)是計(jì)算機(jī)視覺(jué)、視頻處理等領(lǐng)域廣泛采用的手段之一。該文提出一種直接利用壓縮視頻碼流進(jìn)行全局運(yùn)動(dòng)估計(jì)的新算法。就運(yùn)動(dòng)模型而言,采用了復(fù)雜性與準(zhǔn)確性較好均衡的六參數(shù)仿射模型。為了提高估計(jì)和計(jì)算效率。
圖1為本文動(dòng)態(tài)背景下基于全局運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)的流程圖。

首先通過(guò)全局運(yùn)動(dòng)估計(jì)和補(bǔ)償將相鄰幀間背景對(duì)準(zhǔn),再通過(guò)幀間差分消除動(dòng)態(tài)背景,對(duì)差分圖像進(jìn)行二值化以及一系列后處理從而獲取前景運(yùn)動(dòng)目標(biāo)。
1.1.1 常用的攝像機(jī)運(yùn)動(dòng)模型
如圖2所示,攝像機(jī)把三維空間點(diǎn)(X,Y,Z)映射到二維空間平面點(diǎn)(x,y)上。圖像平面與Z軸垂直,中心坐標(biāo)為(0,0,f)(f表示攝像機(jī)的焦距)。

在笛卡爾坐標(biāo)系里,如果三維場(chǎng)景中的物體的運(yùn)動(dòng)為

1.1.3 遞歸二乘法計(jì)算全局運(yùn)動(dòng)參數(shù)
二乘法(又稱平方法)是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)化誤差的平方和尋找數(shù)據(jù)的函數(shù)匹配。利用二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù),并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為。二乘法還可用于曲線擬合。其他一些優(yōu)化問(wèn)題也可通過(guò)化能量或化熵用二乘法來(lái)表達(dá)。對(duì)給定數(shù)據(jù)點(diǎn){(Xi,Yi)}(i=0,1,…,m),在取定的函數(shù)類Φ 中,求p(x)∈Φ ,使誤差的平方和E^2,E^2=∑[p(Xi)-Yi]^2.從幾何意義上講,就是尋求與給定點(diǎn) {(Xi,Yi)}(i=0,1,…,m)的距離平方和為的曲線y=p(x)。函數(shù)p(x)稱為擬合函數(shù)或二乘解,求擬合函數(shù)p(x)的方法稱為曲線擬合的二乘法。
為了消除匹配不的宏塊所得到的光流場(chǎng)的影響,需要對(duì)參數(shù)估計(jì)進(jìn)行遞歸計(jì)算,將得到的六個(gè)參數(shù)重新計(jì)算各個(gè)宏塊的光流場(chǎng),并與宏塊匹配算法得到的光流場(chǎng)進(jìn)行比較,將光流計(jì)算誤差較大的宏塊進(jìn)行剔除[6].利用剩余的宏塊重新估計(jì)全局運(yùn)動(dòng)參數(shù),如果遞歸反復(fù),則直到(a1,a2,a3,a4,a5,a6)收斂至一個(gè)穩(wěn)定的結(jié)果。
1.2 圖像剪裁、紋理提取與宏塊預(yù)判
為了提高運(yùn)動(dòng)估計(jì)的魯棒性,本文采用了基于宏塊匹配的方法計(jì)算參數(shù)。把分辨率為320×240的K+1幀圖像分為20×15個(gè)宏塊,對(duì)第K幀進(jìn)行匹配。分割宏塊后的圖像如圖3所示。

為了提高運(yùn)動(dòng)估計(jì)的實(shí)時(shí)性,本文從以下幾個(gè)方面進(jìn)行了優(yōu)化。
1.2.1 圖像剪裁
當(dāng)攝像機(jī)運(yùn)動(dòng)時(shí),相鄰幀的背景不重合,由圖4所示第K+1幀和第K幀圖像的位置關(guān)系,第K幀中的S1區(qū)域背景在第K+1幀中消失,而第K+1幀中出現(xiàn)新背景S2,由于背景運(yùn)動(dòng)在各個(gè)方向上都有可能發(fā)生,假設(shè)相鄰幀的運(yùn)動(dòng)范圍不超過(guò)L1(>L2),以圖4中所示,樣本宏塊只需在S3區(qū)域中選取,而不必全屏宏塊匹配,以縮小計(jì)算量。

1.2.2 紋理提取與宏塊預(yù)判
運(yùn)用遞歸二乘法估計(jì)全局運(yùn)動(dòng)時(shí),光流計(jì)算不準(zhǔn)確的宏塊不參與終的參數(shù)估計(jì),但在計(jì)算光流場(chǎng)時(shí),卻花費(fèi)了相當(dāng)一部分的時(shí)間來(lái)匹配計(jì)算光流。而本文在計(jì)算光流場(chǎng)之前已提前剔除可能導(dǎo)致不準(zhǔn)確光流估計(jì)的宏塊,因此,很大程度上降低了計(jì)算量,增加了全局運(yùn)動(dòng)估計(jì)的實(shí)時(shí)性。
圖5是原圖像和canny算子紋理提取后結(jié)果。圖像紋理提取后,對(duì)每個(gè)宏塊進(jìn)行預(yù)分析,通過(guò)設(shè)定閾值,剔除可能導(dǎo)致不準(zhǔn)確光流估計(jì)的宏塊,只留下紋理信息量較多的宏塊參與光流估計(jì)。

圖6為宏塊預(yù)判后的實(shí)驗(yàn)結(jié)果,歸一化后閾值T取值為0.2,其分辨率為320×240,4個(gè)邊緣各去除掉10個(gè)像素后,將圖像分為20×15個(gè)宏塊,每個(gè)宏塊尺寸為15×15.
宏塊預(yù)判后,宏塊數(shù)量得到減少,由原來(lái)的300個(gè)宏塊減少為105個(gè),約占原來(lái)總宏塊數(shù)的35%.
1.3 宏塊匹配與九點(diǎn)十字搜索法
1.3.1 宏塊匹配
宏塊模板匹配法原理圖如圖7所示。宏塊模板匹配法以一個(gè)目標(biāo)圖像為模板,用目標(biāo)模板與待匹配圖像的各個(gè)子區(qū)域圖像進(jìn)行一定的匹配準(zhǔn)則計(jì)算,找到和目標(biāo)模板相似的子圖像位置[7].本文即從圖4的S3區(qū)域里找出宏塊預(yù)判后保留的宏塊與其匹配塊之間的相對(duì)位移,即為該宏塊的運(yùn)動(dòng)向量,參與后續(xù)的全局運(yùn)動(dòng)估計(jì)的計(jì)算,S3即為匹配相關(guān)區(qū)域。

衡量?jī)蓤D像塊間相似性的準(zhǔn)則稱為匹配準(zhǔn)則。匹配準(zhǔn)則的好壞直接影響到搜索過(guò)程的復(fù)雜性以及運(yùn)動(dòng)向量估計(jì)的性。其中均方誤差定義準(zhǔn)則為:

MSE利用差值的平方,可以放大微小差別,本文采用的就是MSE匹配準(zhǔn)則。
1.3.2九點(diǎn)十字搜索法
在進(jìn)行宏塊匹配時(shí),利用宏塊在待匹配圖像上的搜索區(qū)域內(nèi)滑動(dòng),每滑動(dòng)就進(jìn)行匹配計(jì)算,以找到匹配。這種方法被稱為全搜索法,度高,但計(jì)算量大,是一個(gè)相當(dāng)耗時(shí)的過(guò)程。
近年來(lái),出現(xiàn)了很多種快速的搜索算法代替全搜索法,比較常用的有:三步搜索法、對(duì)數(shù)搜索法、鉆石搜索法和一些相應(yīng)的改進(jìn)算法。這些快速搜索法在候選的運(yùn)動(dòng)矢量位置的預(yù)定子集上評(píng)測(cè)準(zhǔn)則函數(shù),檢測(cè)點(diǎn)數(shù)目會(huì)大大少于全搜索法[8].
本文結(jié)合三步搜索法和鉆石搜索法各自的優(yōu)點(diǎn)提出了一種九點(diǎn)十字搜索法(E3SS),如圖8所示。搜索窗寬度為5,即搜索范圍是(i±5,j±5)。

(1)搜索模板上的9個(gè)檢測(cè)點(diǎn),如果塊誤差MBD
(Minimum Block Distortion)點(diǎn)(MSE值的點(diǎn)),在搜索窗口的中心則算法結(jié)束。
?。?)如果MBD點(diǎn)位于中心點(diǎn)的4個(gè)相鄰點(diǎn)中,移動(dòng)十字小模板到上一步的MBD點(diǎn),繼續(xù)搜索十字小模板中其他點(diǎn),直到MBD點(diǎn)是十字中心的點(diǎn)或者十字小模板到達(dá)搜索窗口邊緣為止。如圖9(a)所示,點(diǎn)(0,-1)是步的MBD點(diǎn),也是第二階段的MBD點(diǎn),且位于搜索窗中心,故終運(yùn)動(dòng)矢量就是(0,-1)。圖9中每個(gè)點(diǎn)上的數(shù)字表示不同階段搜索時(shí)的檢測(cè)點(diǎn)。

?。?)如果MBD點(diǎn)是大十字中的4點(diǎn)之一,搜索方法同三步搜索法類似,即將步長(zhǎng)減半,中心點(diǎn)移到上一步的MBD點(diǎn),重新在周圍距離步長(zhǎng)的4個(gè)點(diǎn)處進(jìn)行塊匹配計(jì)算并比較。重復(fù)此步驟,直到步長(zhǎng)為1,該點(diǎn)所在位置即對(duì)應(yīng)運(yùn)動(dòng)矢量。如圖9(b)所示,(0,4)是步的MBD點(diǎn),然后以(0,4)為中心點(diǎn)進(jìn)行第二步搜索,此時(shí)搜索半徑已經(jīng)縮減為2像素,以當(dāng)前MBD點(diǎn)(-2,4)完成第三步搜索,找到匹配點(diǎn)。
利用預(yù)測(cè)幀的峰值信噪比PSNR來(lái)度量搜索的準(zhǔn)確性,同時(shí)選取多個(gè)不同性質(zhì)的序列圖像來(lái)檢測(cè)算法的穩(wěn)定性,選取全搜索算法FS、菱形搜索算法DS,以對(duì)比九點(diǎn)十字算法的各項(xiàng)性能,其結(jié)果如表1所示。

從表1可以看出,相對(duì)FS和DS算法,九點(diǎn)十字算法(E3SS)在時(shí)間上的優(yōu)勢(shì)非常大,在提高了搜索速度的同時(shí)也保證了搜索,其除了比FS算法略低外,比目前流行的DS算法都有細(xì)微程度的提高。
雙線性內(nèi)插值法計(jì)算量大,但縮放后圖像質(zhì)量高,不會(huì)出現(xiàn)像素值不連續(xù)的情況。
1.5 運(yùn)動(dòng)目標(biāo)區(qū)域提取
此時(shí)得到的K的補(bǔ)償幀Kcomp與幀K+1的背景基本對(duì)準(zhǔn),對(duì)所得圖像進(jìn)行非線性平滑濾波消除噪聲,然后通過(guò)進(jìn)行幀間差分即可消除背景獲得前景運(yùn)動(dòng)區(qū)域。但圖中除了運(yùn)動(dòng)目標(biāo)之后,還存在一些小面積的干擾區(qū)域以及一些小面積的空洞。本文先對(duì)二值化后的圖像進(jìn)行區(qū)域標(biāo)記,對(duì)二值圖像的每個(gè)不同的連通域進(jìn)行不同的編號(hào),通過(guò)對(duì)各個(gè)區(qū)域中像素個(gè)數(shù)的計(jì)算獲得各個(gè)區(qū)域的面積。將面積小于設(shè)定閾值的區(qū)域剔除。對(duì)得到的二值圖像先進(jìn)行膨脹運(yùn)算再進(jìn)行腐蝕運(yùn)算,從而獲得運(yùn)動(dòng)目標(biāo)的完整輪廓和區(qū)域,終檢測(cè)出目標(biāo)。
2 實(shí)驗(yàn)結(jié)果
圖10為在原圖像上的檢測(cè)結(jié)果,從中可以看出,其中一個(gè)人體目標(biāo)由于只有頭部和腿部動(dòng)作比較明顯而被檢測(cè)出來(lái),被分成了兩個(gè)目標(biāo),但是可以在跟蹤過(guò)程中通過(guò)對(duì)目標(biāo)的顏色特征和運(yùn)動(dòng)特性的分析和處理,區(qū)別目標(biāo),并將本為同一目標(biāo)的部分合成(由于跟蹤過(guò)程不是本文重點(diǎn),在此處就不再鰲述)。圖11所示為終的檢測(cè)結(jié)果。

本文深入研究了動(dòng)態(tài)背景下對(duì)多目標(biāo)檢測(cè)的一種有效方法。基于全局運(yùn)動(dòng)補(bǔ)償消除了背景運(yùn)動(dòng)對(duì)目標(biāo)檢測(cè)的影響,在宏塊匹配時(shí)提出了九點(diǎn)十字搜索法增強(qiáng)了檢測(cè)的實(shí)時(shí)性,通過(guò)處理后的結(jié)果可以看出,整套算法是行之有效的,并且有很強(qiáng)的魯棒性,為后續(xù)跟蹤過(guò)程奠定了良好的基礎(chǔ)。
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處:維庫(kù)電子市場(chǎng)網(wǎng)”的所有作品,版權(quán)均屬于維庫(kù)電子市場(chǎng)網(wǎng),轉(zhuǎn)載請(qǐng)必須注明維庫(kù)電子市場(chǎng)網(wǎng),http://m.58mhw.cn,違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品出處,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
- 什么是氫氧燃料電池,氫氧燃料電池的知識(shí)介紹2025/8/29 16:58:56
- SQL核心知識(shí)點(diǎn)總結(jié)2025/8/11 16:51:36
- 等電位端子箱是什么_等電位端子箱的作用2025/8/1 11:36:41
- 基于PID控制和重復(fù)控制的復(fù)合控制策略2025/7/29 16:58:24
- 什么是樹(shù)莓派?一文快速了解樹(shù)莓派基礎(chǔ)知識(shí)2025/6/18 16:30:52
- PCB散熱設(shè)計(jì)與熱管理核心實(shí)操規(guī)范
- 太陽(yáng)能逆變器技術(shù)核心:MPPT算法詳解
- 開(kāi)關(guān)電源的工作原理與基本結(jié)構(gòu)
- MOSFET并聯(lián)應(yīng)用的設(shè)計(jì)注意事項(xiàng)
- 高濕、鹽霧環(huán)境對(duì)連接器的影響
- PCB基材選型與性能適配核心技術(shù)規(guī)范
- 過(guò)采樣技術(shù)與數(shù)字濾波如何共同提升 ADC 的有效位數(shù)
- MOSFET寄生參數(shù)對(duì)電路性能的影響
- 集成與分立方案:電機(jī)驅(qū)動(dòng)電源設(shè)計(jì)如何選?
- 汽車電子連接器應(yīng)用與要求









