基于基于賽靈思Spartan-3A DSP的安全視頻分析，我們可以得知,賽靈思FPGA的并行架構(gòu)、嵌入式和DSP處理能力等優(yōu)點(diǎn)都是由視頻分析對(duì)性能處理的要求充分發(fā)揮出來的。

　　因?yàn)榘踩治鰬?yīng)用的范圍廣泛，所以它對(duì)處理帶寬的高要求讓企業(yè)必須考慮到系統(tǒng)硬件的設(shè)計(jì)方法問題。現(xiàn)在，單個(gè)視頻和圖像DSP處理器已經(jīng)不能以可接受的數(shù)據(jù)速率來完成某些計(jì)算密集的分析運(yùn)算了。此外，在解決全視頻幀速率下處理高分辨率的問題上，還沒有完整可靠的解決方案。系統(tǒng)工程師也需要考慮多芯片或其它單芯片系統(tǒng)的問題。

　　多片DSP組成的多芯片系統(tǒng)能夠向設(shè)計(jì)人員提供更為熟悉的設(shè)計(jì)流程，但卻無形的增加了PCB的成本、占用板級(jí)/系統(tǒng)級(jí)空間，同時(shí)還可能出現(xiàn)系統(tǒng)性能的問題。然而，單芯片的設(shè)計(jì)雖然看起來在成本、封裝和功耗方面具有優(yōu)勢，但它提高了對(duì)設(shè)計(jì)人員的知識(shí)學(xué)習(xí)難度，也提高了設(shè)計(jì)項(xiàng)目的復(fù)雜性和工程成本，并且有可能延遲了產(chǎn)品發(fā)布的時(shí)間。

　　在位于加州伯克利的視頻分析公司在開發(fā)下一代安全分析產(chǎn)品—多核視頻分析引擎時(shí)就遇到這些難題。代產(chǎn)品基于德州儀器的達(dá)芬奇數(shù)字媒體片上系統(tǒng)平臺(tái)。 但在第二代產(chǎn)品中，我們需要更強(qiáng)大的處理能力和系統(tǒng)集成度。我們很快發(fā)現(xiàn)多個(gè)DSP器件的解決方案無論在成本上還是在系統(tǒng)效益都不高。我們需要一個(gè)能夠方便地將上一代產(chǎn)品移植過來，并且能夠?yàn)槲覀兊牡诙鶰VE提供更多特性的單芯片解決方案。

　　經(jīng)過一番調(diào)研，我們找到了合適的產(chǎn)品--賽靈思公司的Spartan-3A DSP 3400A。此器件能夠提供了126 個(gè)專用 XtremeDSPDSP48A邏輯片，可以提供足夠的性能來滿足我們的系統(tǒng)要求，并且價(jià)格也很有吸引力。

　　對(duì)賽靈思嵌入式開發(fā)套件支持Spartan-3A DSP有了進(jìn)一步接觸之后，我們對(duì)設(shè)計(jì)移植方面的擔(dān)心也很快消失了。賽靈思公司的EDK嵌入式開發(fā)套件可以實(shí)現(xiàn)基于賽靈思MicroBlaze嵌入式處理器的雙處理器硬件架構(gòu)，與TI公司DaVinci平臺(tái)雙處理器硬件架構(gòu)類似。

　　選定器件之后，開始將現(xiàn)有的基于DaVinci的代碼移植到賽靈思雙處理器嵌入式系統(tǒng)，來創(chuàng)造一個(gè)單芯片視頻安全分析設(shè)計(jì)?？梢栽贔PGA構(gòu)造中創(chuàng)建了適量的加速器模塊來滿足性能要求，其中包括在全幀速率下處理高分辨率視頻。這就是第二代MVE系統(tǒng)，現(xiàn)在已經(jīng)成功地銷售到航空航天/國防、機(jī)器視覺和監(jiān)控市場等領(lǐng)域。

　　賽靈思公司簡介

　　賽靈思公司（NASDAQ: XLNX）是完整可編程邏輯解決方案的領(lǐng)導(dǎo)廠商，占有該市場超過一半以上的份額，2008年度賽靈思公司的收入為19.1億美元。賽靈思屢獲殊榮的各種產(chǎn)品，包括硅片、軟件、IP、開發(fā)板、入門套件，可使設(shè)計(jì)者為多種終端市場提供應(yīng)用并大大縮短上市時(shí)間，包括航天/國防、汽車、消費(fèi)類、工業(yè)和有線/無線通訊等。

　　賽靈思公司總部設(shè)在美國加州圣何塞， 并在科羅拉多、愛爾蘭、日本和新加坡設(shè)有重要的運(yùn)營設(shè)施。賽靈思于1990年在納斯達(dá)克公開上市（NASDAQ: XLNX），并在之后的每個(gè)財(cái)年都擁有良好的運(yùn)營現(xiàn)金流。2008財(cái)政年度，公司在亞太區(qū)的收入占了總收入的29%。

　　視頻分析產(chǎn)品簡介

　　多核視頻分析引擎基于InstantVision Embedded 軟件和能夠提供許多功能的專用C-MVA協(xié)處理器。

　　MVE/C-MVA版本能夠以全幀速率處理高分辨率視頻。其功耗還不到1瓦，能夠以全并行方式執(zhí)行多種事件檢測和分類算法。圖1給出的是一個(gè)交通監(jiān)控應(yīng)用中視頻分析輸出的例子，針對(duì)不同類型的車輛、車流方向、車道變化以及違規(guī)變道等情況進(jìn)行了分類，所有這些都是并發(fā)進(jìn)行的并且利用不同的顏色進(jìn)行了標(biāo)記。

圖 1. 多內(nèi)核視頻分析引擎 (MVE)及示例應(yīng)用的發(fā)展路線圖

　　設(shè)計(jì)C-MVA協(xié)處理器的目標(biāo)主要是能夠擴(kuò)展其運(yùn)算的復(fù)雜程度用來支持密集物體空間的分析功能，這就需要重疊分析和處理不完整的對(duì)象/事件。專用的DSP在這方面存在著支持性比較差，計(jì)算的可擴(kuò)展能力不好的缺點(diǎn)。而FPGA在這兩個(gè)方面則具有很大的靈活性。

　　Spartan-3A DSP 3400A FPGA中的126個(gè)XtremeDSP DSP48A邏輯片能夠提供高達(dá)30 GMAC的DSP性能，因此完夠滿足視頻分析應(yīng)用苛刻的成本和性能要求。賽靈思FPGA還允許我們根據(jù)客戶需求增加更多視頻分析功能以及相關(guān)的事件檢測事例。我們?cè)诒?中做了小結(jié)。

表1： 典型事件檢測應(yīng)用中支持的視頻分析功能

　　通過賽靈思FPGA和ISE 設(shè)計(jì)套件工具，視頻分析設(shè)計(jì)小組可以為終端客戶定制解決方案方面帶來更大靈活性。通過快速建立標(biāo)準(zhǔn)分辨率和高分辨率視頻處理原型，我們就可以迅速定制出視頻分析引擎和片上系統(tǒng)解決方案。這樣我們就可以根據(jù)客戶需求更高效地利用Spartan-3A DSP 3400A或成本更低的Spartan-3A DSP 1800A FPGA器件中的可用資源。

　　在FPGA解決方案是可以利用同一硬件平臺(tái)創(chuàng)建多種不同的衍生產(chǎn)品的。由于我們已經(jīng)使用VHDL設(shè)計(jì)了多種分析加速器引擎，因此可以將這些專用內(nèi)核集成到C-MVA協(xié)處理器中。這種方法允許工程師重新利用雙MicroBlaze嵌入式系統(tǒng)來創(chuàng)建不同的FPGA編程文件，這樣就構(gòu)成了高度可擴(kuò)展的解決方案，可以輕松調(diào)節(jié)適應(yīng)范圍廣泛的視頻分析應(yīng)用。

　　DaVinci移植到賽靈思FPGA

　　我們先前一代的視頻分析產(chǎn)品基于TI DaVinci數(shù)字媒體SoC芯片TMS320DM6446。該芯片包括ARM9x處理器和C64x+ DSP協(xié)處理器。在設(shè)計(jì)中，我們使用ARM9x做通信和控制，用C64x+做分析算法的DSP處理。然而，兩者組合起來構(gòu)成的系統(tǒng)仍然無法滿足我們第二代產(chǎn)品所需要的高性能處理要求。因此，我們轉(zhuǎn)向了Spartan-3A DSP FPGA系列。 

　　通過創(chuàng)建擁有兩個(gè)獨(dú)立運(yùn)行MicroBlaze v7軟內(nèi)核處理器的賽靈思嵌入式系統(tǒng)，我們簡化了設(shè)計(jì)移植任務(wù)。這種架構(gòu)使我們可以分別移植ARM和DSP處理器代碼，從而大大簡化了設(shè)計(jì)移植過程。圖2給出了Eutecus硬件系統(tǒng)的框圖，以及基于MVE的參考SoC設(shè)計(jì)。

圖 2. Dual-MicroBlaze System-on-Chip (SoC)架構(gòu)MVE引擎協(xié)處理器框圖

　　我們的MVE引擎包括運(yùn)行在MicroBlaze上的InstantVision嵌入式軟件，運(yùn)行在MicroBlaze上的系統(tǒng)控制和通信部分以及C-MVA協(xié)處理器。C-MVA協(xié)處理器是運(yùn)行在FPGA構(gòu)造上的硬件加速器IP內(nèi)核模塊鏈。利用ISE設(shè)計(jì)套件和MicroBlaze軟核，我們的ARM和DSP代碼移植工作相當(dāng)簡單。一個(gè)突出優(yōu)點(diǎn)就是，InstantVision跨平臺(tái)環(huán)境是采用標(biāo)準(zhǔn)C/C++語言編寫的，只需要很少的修改。 

　　完成代碼移植后，我們驗(yàn)證其功能的正確性并且識(shí)別出性能瓶頸。經(jīng)過研究表明，加速和優(yōu)化是十分重要的任務(wù)對(duì)原TI處理器開發(fā)的C/C++代碼來說，因?yàn)楫?dāng)初在開發(fā)這一平臺(tái)的過程中，我們?cè)趨R編級(jí)優(yōu)化時(shí)使用了幾個(gè)DaVinci C64x+協(xié)處理加速模塊。在轉(zhuǎn)換過程中，首先是利用C函數(shù)來重寫這些模塊。其次用運(yùn)行在FPGA構(gòu)造上的同等功能加速器模塊來代替這些模塊的大部分功能。

　　在功能上MVE解決方案由三層組成，將接收標(biāo)準(zhǔn)/高分辨率視頻流作為輸入數(shù)據(jù)，然后生成事件檢測元數(shù)據(jù)。生成的元數(shù)據(jù)提供目標(biāo)/事件跟蹤和分類支持，同時(shí)也將一些用于調(diào)試目的的圖像流也作為分析輸出。功能模塊上通過運(yùn)行在MicroBlaze處理器上的嵌入式軟件實(shí)現(xiàn)，或是以專用IP內(nèi)核方式實(shí)現(xiàn)。我們將這些專用硬件加速器置入FPGA構(gòu)造，并且將這些加速器構(gòu)成的加速器鏈就組成了C-MVA分析協(xié)處理器。

　　如圖3所示，MVE視頻分析引擎的三個(gè)算法層包括幾個(gè)主要的功能模塊。利用FPGA中可用資源動(dòng)態(tài)配置的專用IP內(nèi)核可大大加速這些功能模塊。C-MVA協(xié)處理器的設(shè)計(jì)基于這些IP內(nèi)核，整個(gè)分析算法的前端和中層（參見圖4）加速也是如此。我們可以利用賽靈思ISE設(shè)計(jì)套件支持的這種模塊化設(shè)計(jì)方法同時(shí)在性能和功耗方面對(duì)系統(tǒng)進(jìn)行擴(kuò)展。

圖 3. 視頻分析算法組織的框圖

圖 4. MVE 分析引擎、InstantVision和驅(qū)動(dòng)軟件

　　利用FPGA加速器模塊增壓

　　為了技術(shù)上的全面成熟，為真正發(fā)揮FPGA視頻分析系統(tǒng)的全面潛力，我們需要從視頻加速引擎集成到嵌入式系統(tǒng)方面發(fā)掘。 我們?cè)趲追矫嬉呀?jīng)到了性能的瓶頸，因此設(shè)計(jì)小組漸漸的從采用VHDL來進(jìn)行一組加速器的早期開發(fā)。 作為賽靈思ISE設(shè)計(jì)套件和嵌入式開發(fā)套件的一部分，代碼剖析器幫助我們進(jìn)一步確定性能瓶頸并開發(fā)設(shè)計(jì)所需要的所有加速器模塊。表2提供了系列IP內(nèi)核的全面列表。

表2：  為第三代MVE / C-MVA開發(fā)的專用硬件加速模塊IP內(nèi)核系列

　　與其他開發(fā)小組一樣，我們的開發(fā)小組也分別由不同的硬件和軟件開發(fā)人員組成。對(duì)于維持開發(fā)人員的生產(chǎn)力以保證項(xiàng)目的成功來說，在這兩個(gè)設(shè)計(jì)領(lǐng)域之間保留足夠的抽象非常關(guān)鍵。我們利用Xilinx Platform Studio中的Create IP Wizard來改進(jìn)這一任務(wù)，為硬件加速模塊生成RTL模塊和軟件驅(qū)動(dòng)文件。這些模塊包括訪問寄存器所需要的接口邏輯、嵌入式系統(tǒng)中的DMA邏輯和FIFO。一旦利用模塊創(chuàng)建了RTL，我們就將其放到嵌入IP目錄中，設(shè)計(jì)人員可根據(jù)需求進(jìn)一步修改。

　　我們的IP內(nèi)核開發(fā)流程包括一個(gè)通用的標(biāo)準(zhǔn)外設(shè)模塊開發(fā)流程，用于基于PLB46MPMC-OPB的回傳。這些外設(shè)包括單端和多I/O原型（SIMO, MIMO, MISO模型），支持我們?yōu)橐罂量痰膱D像流處理算法靈活創(chuàng)造多線程協(xié)處理器流水線。在設(shè)計(jì)和定制不同分析引擎的過程中，通過近乎任意次序?qū)P內(nèi)核進(jìn)行組合和配置，我們達(dá)到了這方面的要求。

　　MVE分析引擎由InstantVision嵌入式軟件模塊以及構(gòu)成C-MVA分析協(xié)處理器的硬件加速器組成。我們?cè)谝黄琗ilinx Spartan-3A-DSP 3400A FPGA中實(shí)現(xiàn)了MVE的原型，并創(chuàng)建了SoC參考設(shè)計(jì)。其中包括所有通信和數(shù)據(jù)流所需要的I/O功能（參考圖2）。 這一完整的SoC參考設(shè)計(jì)使用了91%的邏輯片資源、81%的塊RAM和32%的DSP邏輯片，不僅包含MVE分析引擎，還包括所有支持I/O模塊。MVE分析引擎（不包括MPMC-PLB主干和專用I/O組件），僅使用了46%的邏輯片、44%的塊RAM和23%的DSP邏輯片，因此可以將其移植到成本更低的Spartan3A-DSP 1800A FPGA器件。

　　定制、封裝和系統(tǒng)集成

　　為驗(yàn)證并進(jìn)一步開發(fā)這一系統(tǒng)，我們創(chuàng)建了一個(gè)包括所有軟件層在內(nèi)的安全/監(jiān)控應(yīng)用，允許用戶在系統(tǒng)的不同層面快速集成我們的產(chǎn)品（參見側(cè)欄）。完整SoC設(shè)計(jì)在單個(gè)參考設(shè)計(jì)中包括硬件IP內(nèi)核、固件和軟件，請(qǐng)見圖5。

圖 5. 完整的硬件-固件-軟件參考設(shè)計(jì)

　　我們可在硬件、固件和軟件組件等不同層次進(jìn)行靈活定制以組成系統(tǒng)集成。服務(wù)器級(jí)的定制包括FPGA中的可定制SoC設(shè)計(jì)，而在客戶，則可在WIN32 或 .Net API層進(jìn)行修改。這種架構(gòu)使我們及客戶可快速實(shí)現(xiàn)不同配置和測試接口的原型。用戶可以在UART或TCP/IP上實(shí)現(xiàn)客戶-服務(wù)器（C/S）通信，從而提供靈活的配置管理、性能精細(xì)調(diào)整、狀態(tài)監(jiān)控和固件升級(jí)。

　　盡管剛剛完成第二代產(chǎn)品，但我們已經(jīng)開始考慮第三代產(chǎn)品的要求。根據(jù)在這一項(xiàng)目中取得的經(jīng)驗(yàn)，我們?cè)谛乱淮a(chǎn)品中會(huì)著重考慮賽靈思的FPGA器件，特別是賽靈思公司正在致力于利用的工藝技術(shù)推出更可靠更先進(jìn)的新器件和DSP功能。