嵌入式開發-最受歡迎的網絡攝像機方案

轉載:http://www.elecfans.com/baike/yuyinshipin/wangluoshexiangji/20150714376563_a.html



網絡攝像機是一種結合傳統攝像機與網絡技術所產生的新一代攝像機,它可以將影像通過網絡傳至地球另一端,且遠端的瀏覽者不需用任何專業軟件,只要標準的網絡瀏覽器即可監視其影像。 隨着網絡的飛速發展,網絡產品逐漸覆蓋我們生活的各個角落。網絡攝像機的發展創新,廣泛應用於多個領域,如教育、商業、醫療、公共事業等。

  以下爲大家整理了10個最受歡迎的網絡攝像機設計方案

  TOP 10:基於TMS320DSC2x的數字網絡攝像機設計

  作爲DSP領先者的美國德州儀器公司(TI)在數字照相機應用方面同樣獨佔鰲頭。首先基於TMS320C54x通用平臺上實現影像壓縮,然後將影像前端處理的分立器件集成爲一個專用芯片,進而把兩者合二爲一併集成ARM7通用處理器,就是TMS320DSC2x系列通用數字相機平臺。這是TI爲業界首創的單片影像處理體系架構(SOC),之後又不斷提升該平臺的性能和功能,併成功推進更新換代。

  與此同時,在通用DSP上實現數字網絡攝像機的嘗試始終沒有停止,而真正的突破在與TI的DSP專家採用C6211實現的MJPEG實時處理系統。雖然外圍還需要不少分立的期間,但是依賴於C6x高速並行處理能力,其視頻性能在業界處於優異的水平。而其功能已經可以滿足數字監控基本需求,並且系統較爲當時的市場所接受,因此很快得到實際應用,其中在中國的產品化進程並沒有落在國際之後。隨着通用數字媒體處理器DM642的問世,數字網絡攝像機集成度更高,而且可以支持實時H.264,並已集成視頻口和以太網接口。DM642對數字視頻監控的貢獻是劃時代,其成功不僅在網絡攝像機,還有數字視頻服務器、視頻壓縮卡、嵌入式硬盤錄像機等。

  

  影像SOC的繼續創新表現在覈心處理上集成協處理器,先支持影像後支持視頻增強能力;在控制器上由ARM7升級到ARM9;在前端處理方面也由影像提升到視頻功能等。至此,產品由DSC系列上升到DM270再到DM320和DM355.DM系列就是Digital Media,即數字媒體處理器的含義,該系列不僅支持JPEG靜態影響壓縮,還可支持MPEG-4實時處理,因此已經是數字攝像機的理想平臺。將該器件擴展以太網接口就是網絡攝像機,而且DM355可支持實時MPEG-4達到分辨率爲720P.由於這個體系有視頻前處理子系統VPSS,可以直接連視頻傳感器,由在主芯片上進行ISP處理的可能,就是使得網絡攝像機達到一個更高程度的集成。

  後來,沿着DM642的軌跡有了稱爲“達芬奇”的DM644x系列,集成有ARM9、DSP和VPSS的SOC平臺,於是支持D1實時地 H.264產品不少遷移到此平臺以提高集成度;再往後,沿着DM355的足跡有了DM365,不變的是720P高清的性能,但已是支持H.264,而且有了以太網接口,前端也是名副其實的ISP單元。

  總之,DSP啓動了攝像機市場,就推動了數字視頻監控市場的發展,而以此爲核心的SOC又使這樣的推動力向更高更新的技術領域邁進。

  TOP 9:基於TMS320DM642的網絡攝像機的設計

 

  隨着網絡技術和多媒體技術的廣泛應用,數字網絡視頻得到了飛速發展。在網絡視頻會議和網絡監控領域中,將傳統的模擬視頻信號轉換成數字視頻信號,並且藉助於現有的IP網絡進行傳輸已成爲當今的一大熱點。

  從技術實現方式來講,通常是採用網絡攝像機來實現。目前市場上的網絡攝像機一般有兩類:一類是普通攝像機加視頻網關構成,但是這種方案體積龐大、操作繁瑣;另一類是把全部網絡接入功能都集成在攝像機中,其體積小、功能全、易於使用和維護。後類攝像機有多種解決方案,本文提出一種基於嵌入式 DSP的設計方案,並且給出具體的硬件及軟件實現。

  1 硬件系統設計

  1.1嵌入式處理器TMS320DM642

  TMS320DM642(以下簡稱DM462)是TI公司近來發布的新一代多媒體處理器,它基於其第二代高性能的VelociTI VLIW結構,適用於多種數字媒體應用.DM642的時鐘頻率爲600MHz,指令速度高達4800MIPS.這款DSP的兩大特色在於:第一,擁有三個可配置的視頻接口(VP),可同時採集三路視頻信號;第二,集成了以太網接口,10/100Mbps模式自適應,能工作在全雙工或半雙工模式下,並具有硬件流控制和服務質量保證(QoS)支持.DM642的功能十分強大,它是構成多媒體通信系統的最佳平臺之一。

  1.2硬件整體架構

  本系統的硬件平臺由六部分組成,分別是視頻採集、數據存儲、視頻處理、視頻顯示、網絡和電源管理。其結構框圖如圖1所示。

  基於TMS320DM642的網絡攝像機的設計及實現

  視頻採集部分採用模擬PAL制攝像頭,配合高精度視頻A/D轉換器得到數字圖像.A/D轉換器採用TI公司的TVP5145芯片,其採樣精度達到10bit,輸出支持CCIR-656和BT656等格式。

  數據存儲部分的RAM採用三星公司的SDRAM.爲配合DM642的64位EMIF(外部存儲器接口),使用四片SDRAM,每片工作在16位模式,單片容量爲32MB.數據存儲部分的ROM採用ATMEL公司的NOR型的Flash芯片,總容量爲256KB,數據總線爲8位。本系統中的 SDRAM用來存放系統運行時的代碼以及臨時圖像數據,Flash用來保存系統自啓動代碼以及系統程序代碼。

  視頻顯示部分採用數字LCD,可省去數/模轉換芯片,只需一片CPLD驅動LCD.CPLD採用Altera公司的MAX3000系列。這部分作爲輔助功能,可根據實際運用場合進行選擇。

  DM642的以太網控制器(即EMAC)屬於數據鏈路層,因此需外接物理層芯片才能進行網絡通信。這裏採用Intel公司的LXT971A芯片,它提供了MII(Media Independent Interface)接口,可以方便地和DM642連接。

  電源管理部分在一個硬件系統設計中佔有舉足輕重的地位。本系統的電源模塊採用MAXIM公司的解決方案,包括一片MAX1762芯片(產生1.4V電源給DM642的I/O供電和產生5V電源給LCD的逆變器供電)。

  2 設備驅動設計

  TI爲DM642的VP口開發了一個兩層設備驅動模型。上層驅動稱爲Class Driver,更靠近底層硬件。應用時只需根據這個模型編寫驅動程序就可以了。

  對於以太網口,TI提供了一個網絡開發組件(NDK),爲在DSP上開發網絡應用程序提供了平臺。有了這個平臺,在開發網絡應用程序時,就不用過多考慮數據如何封閉成IP包,也不用過多關心TCP/IP協議內部的工作機制,這樣可以縮短產品的開發週期及上市時間。

  2.1 視頻端口的兩層設備驅動模型

  兩層設備驅動模型如圖2 所示。最上層是應用程序,最下層是底層硬件,包括DM642的VP口和視頻A/D芯片。中間大花括號括起來部分即爲設備驅動。圖中還有一層芯片支持庫(CSL),它提供配置及控制片上外設的C語言接口。

  根據VP口的特點,設備驅動的兩層驅動模型的每一層又細分了兩層。從圖2可以看到,把Class Driver分爲FVID Class Driver和GIO Class Driver.前者更靠近應用程序,它提供一些特別適用於圖像的API函數;後者提供與Mini Driver進行通信的API函數.Mini Driver分成通用部分和特殊部分,這樣分的優勢在於:當改變硬件構成時,無需重寫Mini Driver,只需修改特殊部分即可,提高了代碼的重複使用性。

  2.2網絡開發組件

  網絡開發組件的核心即爲一系列TCP/IP協議棧庫。包括:(1)棧庫和網絡工具庫,它含有一些經過優化編譯的協議棧代碼;(2)操作系統適應庫,它用來協調TCP/IP協議棧和DSP/BIOS之間的接口;(3)網絡控制及調度庫,它決定TCP/IP環境的初始化以及網絡相關事件是如何被調度的;(4)多種硬件抽象層平臺庫,爲TI公司的多種開發板(比如DSK、TEB和EVM等)提供支持。由於本系統爲自行開發,所以不涉及HAL.

  協議棧庫的流程框圖如圖3所示,其中灰色模塊分別代表前術五個庫。

  基於TMS320DM642的網絡攝像機的設計及實現

  軟件設計及實現【略】

        閱讀詳細文章:基於TMS320DM642的網絡攝像機的設計

  Top 8: 基於ML86500的網絡攝像機方案設計

  1 引 言

  近年來,隨着數字圖像處理技術、多媒體技術、嵌入式系統軟硬件技術的高速發展以及寬帶網絡的不斷普及,視頻監控已逐漸走近了人們的生活。與傳統的模擬監控相比,IP視頻監控克服了模擬閉路電視監控的侷限性:首先,數字化視頻可以在計算機網絡 (局域網或廣域網)上傳輸圖像數據,基本上不受距離限制,信號不易受干擾,可大幅度提高圖像品質和穩定性;其次,數字視頻利用現有的計算機互聯網絡,無須重複佈線,安裝方便靈活;最後,數字化存儲成爲可能,經過壓縮的視頻數據可直接存儲,查詢簡便快捷。

  目前,網絡攝像機方案多數採用了CPU+DSP的組合,CPU完成控制、通訊等功能,而DSP則主要完成音頻、視頻信號的編碼處理,但此類方案一般成本較高。本文設計的基於ML86500的網絡攝像機方案具有高壓縮率、低帶寬佔用、高圖像質量以及低成本等優勢。

  2 系統硬件設計

  2.1 硬件總體方案

  網絡攝像機硬件總體方案如圖1所示。

  

  網絡攝像機的基本原理爲:CCD傳感器將光線轉變成電荷,並輸出CVBS模擬視頻信號給視頻解碼芯片(TW9910);視頻解碼芯片將CVBS 模擬視頻信號模數轉換(A/D)成YUV 4:2:2格式的數字信號,並輸出給視頻編碼芯片——ML86500;ML86500對視頻信息進行編碼壓縮處理,生成MPEG4數據流;MPEG4數據流經RTP協議封裝經過網絡發送到遠程客戶機(PC),遠程客戶機解碼還原視頻信息進行播放。

  2.2 MPEG4實時編碼器電路

  ML86500是OKI公司開發的實時MPEG4圖像壓縮(編碼)處理單芯片產品,該芯片靈活運用了OKI獨創算法及專用加速器,低成本實現了高畫質,其設計目標就是面向監視攝像機、網絡攝像機等圖像監控設備。因此本網絡攝像機方案中的視頻編碼芯片選用ML86500。

  ML86500內部的原理見圖2。

  

  ML86500主要技術指標:

  視頻編碼方式:MPEG4 SP/ASP;

  支持的視頻方式:[email protected] f/s,PAL@25 f/s,VGA,QVGA;

  數據格式:亮度信號8 b、色度信號8 b(4:2:2);

  支持隔行掃描視頻(NTSC/PAL);

  變換輸入幀率;

  碼流編碼模式:CBR/VBR;

  外部SDRAM接口;

  通用8/16位主機CPU接口;

  電源電壓:3.3 V±0.3 V(IO),1.5 V±0.15 V(CORE,PLL);

  封裝:144管腳塑料LQFP。

  ML86500的實時編碼器電路參見圖3。

  

  ML86500的內棱使用1.5 V電源供電,PLL電路亦使用1.5 V電源供電,考慮到PLL電路可能會干擾內核電路,因此PLL電路通過一個π型低通濾波器供電,消除高頻於擾。

  ML86500使用27 MHz有源晶振作爲時鐘,考慮到防止27 MHz有源晶振對系統電源產生干擾,爲27 MHz有源晶振的電源供電設計了π型低通濾波器。

  ML86500需要外接一塊32 b數據總線寬度的SDRAM作爲數據緩存。

 

  系統軟件設計【略】

  閱讀詳細文章:基於ML86500的網絡攝像機方案設計

Top 7:基於嵌入式操作系統#e#

  Top 7:基於嵌入式操作系統的網絡攝像機

  與傳統模擬監控系統相比,數字視頻監控系統具有諸多優點:

  1)把監控錄像保存在大容量硬盤上,數字信號存儲信息永不丟失,圖像質量不下降。

  2)數字視頻容易被計算機處理。可以在監控圖像中設定報警區域,計算機對報警區域的圖像進行分析和處理,做到自動監控,無人值守。

  3)數字視頻經過壓縮之後,佔用帶寬較小,而且數字信號在傳輸時容易進行加密,非法截取的信號無法還原爲視頻圖像。

  4)數字錄像存儲在計算機硬盤上,可以用計算機來檢索和管理,擺脫了手工管理和檢索的複雜繁瑣。

  基於網絡攝像機的遠程視頻監控系統的研究,國外起步較早,成熟的網絡攝像機產品有索尼營銷公司推出的10BASE2T的網絡攝像機 “SNC2VL10N”,以及松下KX2HCM130、三星SNC2100P、安特ANT2NWC10/50/100等。國外同類產品一般採用MPEG或者小波壓縮方法,性能較好,但價格昂貴,國內用戶大都無法承受。我國這方面的研究剛剛起步,大多數廠商僅代理國外產品,從事實際研究的單位不多。

  目前國內市場上已經投入使用的視頻採集設備多以視頻採集卡的形式存在。本文設計的方案採用TI公司的TVP5040作爲前端視頻採集設備的主體芯片,可以作爲獨立的單元存在,並且具有體積小、處理能力強且功耗低的特點;加之採用了功能強大的TI嵌入式處理器芯片TMS320DSC21,使系統可以快速、穩定地實現圖像數據的採集、壓縮和打包上傳,爲數字化視頻監控提供瞭解決方案。本文中簡單介紹了TMS320DSC21,詳細介紹了自行研製的遠程視頻監控系統視頻數據採集與處理端的硬件結構,以及運用該系統實現網絡實時監控的設計方案。

  1 TMS320DSC21微處理器

  TMS320DSC21微處理器(簡稱DSC21)是一個高性能的單芯片微處理器,由以下幾部分組成:

  1)1個DSP(TMS320C5409)子系統;

  2)1個微控制器(ARM7TDMI)子系統;

  3)2個DSP協處理器(iMX和VLC);

  4)SDRAM控制器;

  5)圖像外圍單元①。

  DSC21的高集成度使之特別適合應用於視頻、音頻和圖像類產品。其5個子系統在單個芯片上組成了一個完整的系統。片上MCU運行用戶操作系統處理複雜的協議,實現控制功能和位操作;DSP和DSP協處理器完成大運算量計算、數字信號處理以及算術計算;圖像外圍組件和SDRAM控制器提供極大的數據流量。因此,DSC21可以在單芯片上實現高性能、多處理器的圖像處理系統。

  

  圖1示出DSC21模塊圖

  DSC21模塊包括:

  1)ARM子系統。由ARM7TDMIRISC內核、內部RAM和外設模塊組成。ARM子系統完成所有的控制功能,支持實時操作系統,如 ucOS,Vx2Works,uITRON,Nucleus和Linux。ARM也控制各個外設模塊,如定時器、中斷控制器、CCD/CMOS控制器、 OSD、NTSC/PAL視頻編碼器、USB、CF卡、SM卡、IrDA、預覽引擎、串口等。用戶接口軟件也在ARM上運行。

  2)DSP子系統。由DSP核、32KBRAM和專用內存塊(ImageBuffer)組成。DSP核是一個基於0118μm技術的DSP處理器TMS320C5409DSP。

  DSP子系統負責所有大運算量信號處理任務,如圖像處理,JPEG壓縮;處理所有的實時I/O,如音頻和ModemI/O,MP3,AAC播放的實現;支持可編程實時自動曝光、自動聚焦、自動白平衡(AE,AF,AWB),以及圖像/視頻拍攝和回放。

  3)DSP協處理器。由iMX和VLC兩部分組成,負責協助DSP子系統進行圖像處理。iMX由4個並行的乘加單元(MAC)組成,適合矩陣運算;而 VLC針對JPEG,MPEG1的量化和Huffman編碼進行優化。DSP子系統可以通過調用子程序實現對DSP協處理器的操作。

  4)SDRAM控制器。是片外擴展SDRAM與片內所有功能模塊的接口。它爲片外SDRAM提供與DSC21處理器和圖像單元連接的高帶寬接口,支持最高80MHz,32bitSDRAM。SDRAM控制器支持實時CCD數據流輸入和TV顯示數據輸出,其訪問性能達到320MB·s-1。

  5)圖像外圍組件。DSC21有4個圖像單元:

  CCD控制器、預覽引擎、連拍模式壓縮/解壓縮單元和硬件圖形單元。這些專用的圖像單元由ARM控制,用於向DSC21系統讀入數據並建立彩色顯示。

  CCD控制器可以爲CCD/CMOS圖像傳感器提供必要的同步時序邏輯,並支持逐行掃描和隔行掃描CCD/CMOS圖像傳感器。通過對CCD控制器內部的寄存器進行配置,可以使CCD控制器處於不同的工作狀態。CCD控制器能支持高達16Mpix(4K×4K)的CCD/CMOS圖像傳感器。

  預覽引擎模塊將CCD控制器傳來的數據轉換成適合NTSC/PAL編碼器的顯示格式,它可達到實時30幀·s-1的NTSC/PAL預覽。預覽引擎內置增益控制、白平衡、垂直水平噪聲過濾、CFA插值、降採樣、伽馬校正和色空間轉換等功能。

  連拍模式壓縮解壓縮模塊採用無損(或有損)算法,將從CCD控制器傳來的原始圖像數據壓縮並寫入SDRAM,解壓縮引擎在DSP的控制下可以對這些數據解壓。這些數據被處理、顯示,存回SDRAM。連拍模式可以支持10幀·s-1高分辨率照片的拍攝。

  硬件圖形單元由3部分組成:OSD(OnScreenDisplay)、NTSC/PAL編碼器和DAC(數模轉換器)。

  OSD支持3個硬件窗口,NTSC/PAL編碼器集成了複合視頻信號輸出通道和獨立R,G,B輸出通道①。

 

  系統硬件組成【略】

  閱讀詳細文章: 基於嵌入式操作系統的網絡攝像機

  TOP 6:基於ARM和以太網供電的網絡攝像機設計

  1 系統的結構

  整個系統由AT91RM9200處理器、CMOS傳感器、音頻採集系統、以太網供電系統和以太網數據通信等幾部分組成。首先,通過CMOS傳感器鏡頭採集圖像,同時還可以進行音頻採集,經過AT91RM9200處理器處理,整個過程通過網絡進行數據傳輸,通過網絡進行供電,從而實現以太網供電的網絡攝像機系統功能。

  2 系統的硬件設計

  2.1 AT91RM9200相關設計

  AT91RM9200嵌入ARM920T ARM Thumb處理器核,工作於180 MHz時,性能高達200 MIPS,存儲器管理單元SRAM爲16K,ROM爲128K。AT91RM 9200集成了許多標準接口,包括USB 2.0全速主機和設備端口、多數外設和在網絡層廣泛使用10/100 Base-T以太網媒體訪問控制器(MAC)。此外,它還提供一系列符合工業標準的外設,可在音頻、電信、Flash卡紅外線及智能卡中使用。

  獨立的媒體接口(MII)或簡化的獨立媒體接口(RMII),對於接收與發送有集成的28字節FIFO及專用的DMA通道。自動協議控制及快速自動數據傳輸與MMC及SD存儲器卡兼容,支持兩個SD存儲器、32位的高速數據流傳輸,系統的硬件結構如圖1所示。

  網絡攝像機設計硬件電路

  AT91RM9200作爲系統的CPU,採用MT9D131作圖像採集傳感器。 MT9D131是CMOS傳感器,擁有200萬像素圖像傳感器芯片,因爲其較好的性能,廣泛應用於監控行業。捕獲麥克風的音頻信號,通過WM8731進行處理,WM8731是一款帶有集成耳機驅動器的低功耗、高質量音頻編碼/解碼器,專爲便攜數字音頻應用而設計。該器件可以提供CD音質的音頻錄音和回放,爲16Ω的負載提供50 mW的輸出功率。此外,AT91RM9200具有豐富的外設及I/O,這對將來的系統升級也提供了很大的便利。

  2.2 POE電源設計

  2.2.1 POE供電的工作過程

  首先,PSE設備在端口輸出很小的電壓,直到其檢測到線纜終端的連接爲一個支持IEEE802.3af標準的受電端設備。當檢測到受電端設備PD之後,PSE設備可能會爲PD設備進行分類,並且評估此PD設備所需的功率損耗。

  POE技術允許在現有的五類線、超五類線和六類線網絡上安全可靠地傳輸功率高達15 W的48 V電源,特別適合於通信方面的應用。它可以爲13 W(在被供電設備測量)範圍內的IP電話、WLAN接入點、網絡攝像機和其他各類網絡終端供電。POE供電原理圖如圖2所示。

  POE供電原理圖

  2.2.2 以太網供電控制器LTC4269

  凌力爾特公司(Linear Technology)推出IEEE802.3af以太網供電(POE)控制器LTC4269,它具有一個集成開關穩壓器,極大簡化了受電設備(PD)設計。LTC4269增強了傳統POE功能。

  用戶可以配置一個代表PD功率分級的分級負載電流,一個堅固100V熱捅拔MOSFET,在檢測和分級時隔離以太網供電接口DC/DC轉換器,同時提供1 00 mA浪涌電流,當採用任何PSE時能順利地加電過渡。

  3 系統的軟件設計

  軟件系統組成包括系統引導程序Bootloader、嵌入式操作系統以及上層應用程序。大多數Bootloader都包含兩種不同的操作模式:啓動加載和下載。啓動加載模式也稱爲自主模式,即Bootloader將操作系統從目標機上的存儲設備加載到RAM中運行,整個過程並沒有用戶的介入。下載模式下,目標機上的Bootloader將通過串口連接或網絡連接等通信手段從主機(Host)下載文件。

  軟件系統還包括網絡攝像機關鍵的TCP/IP、UDP協議庫。應用軟件包括完成文件系統管理、網絡服務、郵件發送、文件傳送、偵測報警等。網絡服務程序把語音、圖像發送到網絡的某個端口,以供其他網絡設備來訪問。

  U—Boot移植過程:U—Boot的源代碼可以到官方網站下載。在Linux裏安裝交叉編譯器,編譯代碼,生成U—Boot.bin文件。啓動後顯示。代碼如下:

  DRAM Configuration:

  Bank#0:20000000 16 MB

  Flash:16 MB

  In:serial

  Out:serial

  Err:serial

  Hit any key to st op autoboot:0

  K9Uboot》

  結語

  本文介紹了以AT91RM9200處理器爲核心的網絡攝像機的設計與實現,網絡供電模塊LTC4269增強了傳統POE功能的DC/DC控制器。CMOS傳感器MT9D131實現圖像的採集,其強大的圖像採集能力,保證了動態圖像的清晰可靠。

  音頻編碼解碼器WM8731可以實現攝像機音頻的採集。目前AT91RM9200在音頻/視頻、語音和多媒體等消費電子等領域有着廣泛的應用。因此,該系統具有很好的應用前景。

  TOP 5:基於CMOS圖像傳感器OV7720的網絡攝像機設計

  網絡攝像機具有聯網功能,又最大限度地保持了模擬攝像機的功能,無疑是監控領域的新星。網絡攝像機一般使用成品CCD攝像頭做視頻捕捉前端,CCD 攝像頭在硬件成本中佔了很大的分量,且CCD攝像頭輸出的是模擬信號,系統中必須加視頻A/D轉換器。開發用於網絡攝像機的CMOS攝像頭對降低設計成本和複雜度有重要意義。

  1 圖像採集系統採用的芯片介紹

  1.1 圖像傳感器OV7720

  OV7720是一個高集成度的CMOS Camera Chip傳感器,在單芯片上提供了VGA圖像處理器的全部功能。OV7720的一個獨特性能就是有很大的主光線角度,它能顯著減小模塊高度,而高度是讓相機能夠裝配進當前超薄筆記本電腦的關鍵因素;OV7720的第二大亮點是能夠工作在60f /s的VGA模式下,或工作在120 f/s的QVGA模式下實現設備的最佳性能。OV7720內部集成了對圖像傳感器的完善控制,包括曝光控制、伽馬校正、白平衡、色彩飽和以及色調控制,所有的圖像處理功能都可以通過它的串行相機控制總線(SCCB)接口實現對內部控制寄存器組的編程。OV7720採用專有傳感器技術來提高圖像質量,並通過減少或消除諸如固定圖案噪聲、拖尾和浮散等不良因素來產生明晰、純淨和完全穩定的彩色圖像,其主要技術參數如表1所示。

  主要技術參數

  1.2 相機控制芯片OV529

  OV529是一種相機控制芯片,它可以將來自圖像傳感器(例如OV7720)的信號轉換成壓縮圖像格式的數據。圖1給出了OV529與傳感器、主機以及E2PROM之間連接的邏輯關係。該芯片具有的技術特徵是:可用於移動PDA系統、筆記本電腦中低成本、低功耗、高分辨率的單片相機控制器;不需要附加 DRAM;有8位並行相機芯片數據接口;內建採樣電路、箝位電路和窗口電路;可用於 VGA,CIF,SIF,QCIF,160×128,160×120,128×128,80×64以及更多的圖像分辨率;內建彩色轉換電路可用於4 b/8 b灰度,16 b YUV,12 b/16 b/24b RGB圖像預覽;有串行相機控制總線、內置微控制器、可選的串行E2PROM存儲器、通用I/O引腳和2個主機接口(RS 232,5wire)等。

  OV529與傳感器

  2 系統總體設計

  2.1 系統組成

  系統總體設計分爲硬件設計和軟件設計兩個部分。硬件設計模塊主要包括微控制器模塊、網絡接口模塊和相機控制模塊三部分。微控制器模塊主要由主控芯片、 DATAFLASH和SDRAM組成,其中主控芯片是整個系統的核心,負責整個系統的調度工作。DATAFASH裏固化了嵌入式Linux內核及其文件系統、應用軟件和系統配置文件。SDRAM作爲內存供系統運行使用。網絡接口模塊主要是配合主控芯片傳送MPEG-4碼流。相機的控制模塊主要是由 OV529和OV7720芯片組成,通過SCCB(Serial Camera Control Bus)將傳感器的視頻流傳送到OV529;OV529通過控制OV7720將視頻流轉化成MEPG-4碼流,並完成轉發控制相機命令的功能。當系統啓動時,微控制器通過SPI將Linux內核轉入SDRAM中,系統從SDRAM中啓動。

  軟件設計部分主要包括嵌入式Linux移植、CGI控制程序和MEPG-4解碼程序三個部分。嵌入式Linux系統存放到由AT91SAM7X256 控制的DAT-AFLASH中,它負責整個系統軟件的調度工作。CGI控制程序主要負責對攝像機的控制和對MPEG-4視頻流的相關設置。MEPG-4解碼程序主要負責對通過網絡得到的MPEG-4數據流的解碼工作。

  硬件系統實現【略】

  讀詳細文章:基於CMOS圖像傳感器OV7720的網絡攝像機設計

  TOP 4:基於TI達芬奇技術的高速網絡攝像機設計方案

  1 達芬奇技術的主要特點

  達芬奇平臺是典型的基於共享存儲的嵌入式多處理(ARM,DSP,VICP,視頻前端和後端等)環境,支持的關鍵技術是片內實現了多通道的交換中心資源(Switch Central Resources,SCR)。基於片內SCR,達芬奇平臺在片內多處理器之間形成了典型的C/S架構:計算能力強大的DSP可以作爲服務器提供算法的實時計算服務;帶有JAVA處理能力的ARM9實現網絡,硬盤音視頻I/O等用戶界面。美國TI公司在達芬奇平臺上專門爲音視頻編解碼(Codec)多媒體應用精心設計了系統框架,提供了豐富的系統程序接口SPI,應用程序接口API以及視頻,圖像,話音和音頻千餘種流媒體算法組件。他們與操作系統,中間件構成了一個應用系統的大部分內容,應用系統開發團隊只需要將他們封裝成運行包,就能得到高可用性和高可靠性的產品。

  達芬奇平臺的最大特點就是基於DSP與ARM的SOC芯片,和與之相關的相關軟件,如圖1所示。

  

  對達芬奇平臺,硬件上給與雙核架構強有力的支持,在DSP端用DPS/BIOS來支持音/視頻算法的運行,在ARM端用 MontaVistaLinux(MV)來支持其對外設的管理。對於ARM與DSP之間的數據交叉,則用Codec Engine和Codec Server來加以管理。達芬奇平臺的先進性,對高端音/視頻系統來說,無疑是開發平臺的最好選擇。

  2 TMS320DM365介紹

  TI公司的TMS320DM365是一款面向多媒體技術應用的高性能芯片。TM320DM365功能框圖如圖2所示。

  

  內核方面TMS320DM365集成ARM926EJ-S.H.264協處理器(HDVICP),MPEG4/JPEG協處理器(MJCP),能以 1080p格式與10幀/s的速度提供H.264編解碼功能,和以1080p格式與24幀/s的速度提供MPEG4編解碼功能,以及以720p格式與30 幀/s的速度提供H.264或MPEG4編解碼功能。存儲方面擴展存儲器接口EMIFs包括1個16位256 M地址空間的DDR2和mDDR,以及1個16/8位的AEMIF,可擴展的類型有8/16位NAND Flash,16Mb NOR Flash,SRAM,16位OneNAND等。其他外圍擴展控制器還包括16位HPI(Host-Port Interface),2個MMC(Multimedia Card)/SD(Secure Digital)/SDIO接口,1個16位的WDT(Watch DogTimer),5個SPI(Serial Port Interface)接口其中每個具有兩個片選,1個主/從I2C(Inter-Integrated Circuit)總線控制器,1個支持2.0USB OTG接口控制器等。

  TMS320DM365集成的ARM926EJ-S處理器包括32 kBRAM、16 kB ROM(用於非AEMIF啓動模式下的ARMbootloader)、16 kB指令緩存、8 kB數據緩存、CP15及MMU等。其中CP15用來對指令、數據緩存、MMU以及其他ARM子系統進行配置及控制。MMU使用統一的TLB來對頁表中存儲的信息進行緩存,併爲類似Linux、WindowsCE、ultron以及ThreadX等操作系統提供虛擬內存。該處理器的寫緩衝數據容量高達17 kB,使其可以大幅提高內核的性能。

  TMS320DM365中的視頻處理子系統(VPSS)由兩個接口,分別用於視頻捕獲的視頻前段(VPFE)輸入接口和用於圖像顯示的視頻後端(VPBE)輸出接口。圖3爲視頻處理子系統系統框圖。

  

  VPFE模塊主要用於捕獲視頻信號,也可以直接從前端輸入已有的視頻信號。VPFE輸入接口有1個CCD控制器(CCDC)、1個預處理器、柱狀模塊、自動曝光/白平衡/聚焦模塊(H3A)和寄存器組成。CCDC可以與視頻解碼器、CMOS傳感器或電荷耦合裝置連接;預處理器是一個實時的圖像處理器,它把來自CMOS或CCD的原始圖像從RGB轉變爲YUV422的編碼;柱狀模塊和H3A模塊實現基於原始圖像信息的硬件操作。

  VPBE輸出接口由1個OSD引擎和1個視頻編碼器組成。OSD引擎能夠顯示兩組獨立的視頻窗口或兩組獨立的OSD窗口,還可以以2個視頻窗口、1個 OSD窗口和一個屬性窗口的形式顯示。OSD用於在視頻圖像上疊加音量,圖標等位圖或圖像信息。視頻編碼模塊提供數字輸出和模擬輸出。數字輸出支持 24bitRGB888格式、8/16bit BT.656以及具有獨立的水平和垂直同步功能的CCIT.601輸出;模擬輸出支持4路10bit DAC,均工作於54 MHz,支持複合NTSC/PAL、S端子和分量視頻。

  硬件系統設計【略】

        閱讀詳細文章:基於TI達芬奇技術的高速網絡攝像機設計方案


  TOP 3:基於DM365的嵌入式網絡攝像機設計

  引言

  在許多比較惡劣的環境如野外、井下、甚至在戰爭中,人們更需要獲取及時、有效的視頻信息,這種環境對系統的能耗、抗干擾性、穩定性等方面提出了更高的要求,把嵌入式技術應用於視頻的採集和傳輸可以解決很多複雜的環境問題。德州儀器 (TI)推出的基於達芬奇技術的新型TMS320DM365 數字媒體處理器,DM365 高度集成了衆多組件,其中包括符合生產要求的H.264、MPEG-4、MPEG-2、MJPEG 與VC1 編解碼器,可滿足智能視頻處理功能的集成影像信號處理(ISP)解決方案,以及一系列板載外設等,可使開發人員將系統成本降低25%。本文圍繞DM365 數字媒體處理器,對基於DM365 的嵌入式視頻採集與傳輸系統的設計做了具體介紹。

  1 嵌入式視頻採集與傳輸系統的整體結構

  本系統利用目前先進的WiFi 無線通信技術,結合H.264 視頻壓縮算法構建無線視頻監控系統。系統工作過程爲:視頻採集節點將採集到的視頻、音頻數據,經過前端壓縮等處理之後,轉換成統一的IP 數據包格式,以WiFi 無線方式發送到AP,AP 接入工業光纖以太網,實現無線與現有通信網絡的無縫連接,構成感知礦山多媒體數字網絡。該無線視頻監控系統既可應用於礦井救災應急通信系統,也可用於井下皮帶、液壓支架等煤礦安全生產管理,可極大提高礦井安全監控系統的能效,節約礦井生產成本。無線視頻監控系統圖如圖1 所示。

  系統整體架構

  圖1 系統整體架構

  2 系統硬件實現

  2.1 系統核心架構

  本視頻採集與傳輸系統完成的主要功能是在煤礦井下能夠進行實時流暢的多媒體通信。

  系統設計的總指導原則是:在保持實時的多媒體通信質量的前提下,低功耗,低成本。節點硬件主要包括:視頻採集前端、視頻處理模塊、無線發射模塊和電源模塊以及一些外圍電路。

  系統的原理框圖如圖2 所示。

  攝像機原理框圖

  圖2 攝像機原理框圖

  系統硬件實現【略】

        閱讀詳細文章:基於DM365的嵌入式網絡攝像機設計

  TOP 2:基於Android的MJPEG網絡攝像機設計

  深入研究了MJPEG視頻壓縮算法,闡述了算法實現過程,並設計出基於Android操作系統的3G手機網絡攝像機客戶端軟件。本系統通過實地安裝與測試達到了預期效果,突破了傳統網絡攝像機客戶端固定地域的限制,有良好的應用前景。

  1 系統硬件組成與網絡架構

  攝像機硬件核心採用三星公司推出的基於ARM9架構的S3C2440A芯片,該處理器主頻達到400 MHz可以滿足實時壓縮,MJPEG視頻流可以達到320×240分辨率25 fps的性能要求。外圍搭配64 MB SDRAM、256 MBNAND Flash,網絡功能由DM9000以太網MAC控制芯片負責,攝像頭模塊由USB控制器控制,系統供電由3片LM71117組成,分別輸出3.3 V、1.8 V、1.25 V電壓,輔助外圍接口構成攝像機硬件結構。S3C2440A系統硬件框圖如圖1所示。

  

  網絡攝像機是互聯網上的TCP/IP設備,系統網絡拓撲圖如圖2所示。其中在家庭區域內根據安防的特點在大門走廊、客廳內、陽臺區域分別佈置攝像機,再由網線連接到路由器,配置路由器參數映射每個攝像機獨立端口與IP地址,即完成Internet接入。遠端由固定位置的PC機,移動位置的3G筆記本和隨身攜帶的3G Android手機組成,PC機可以通過WEB瀏覽器訪問與控制網絡攝像機,Android手機通過客戶端實現實時訪問。

  

  2 系統軟件設計

  2.1 網絡攝像機軟件設計

  搭建攝像機需要Linux系統環境,首先移植Bootloader,對Linux 2.6.32內核進行裁剪,加載Linux UVC(USB video device class)驅動及相關驅動,將編譯好的Linux系統鏡像燒寫到ARM板Nand Flash中,對Bootloader沒置啓動引導地址,即完成軟件運行環境搭建。

  分析網絡攝像機性能需求與拓展性,須滿足下列條件:

  ◆視頻監控實時性;

  ◆支持多客戶端同時連接;

  ◆圖像識別算法或預留接口;

  ◆功能模塊化滿足後期開發可擴展。

  因此,採用多線程架構與互斥鎖機制來保證實時性、模塊化的思想設計代碼結構。軟件程序主流程如圖3所示。

  

  其中主要實現如下功能。

  ①初始化Linux V4L2接口,必須按照V4L2標準結構初始化結構體,其中包括struct v412_capability cap;struct v412_format fmt;struct v412_buffer buf;struct v412_requestbuffers rb;struct v412_streamparm setfps。此外將視頻設備名、視頻寬度、視頻高度、幀率、視頻格式和抓取方法傳遞給函數init_videoIn(struct vdIn*vd,char*device,int width,intheight,int fps,int format,int grabmethod)實現初始化。值得注意的是衆多USB camera並不支持JPEG格式視頻流直接抓取,針對YUYV格式抓取卻有廣泛支持。後期進行圖像識別算法操作時直接分析YUYV原始圖像數據,將節省 JPEG壓縮數據轉換爲原始圖像數據的大量運算開銷,因此採用YUYV抓取模式。

  ②創建核心圖像處理線程。在該線程內實現:抓取功能。

  ◆UVC設備單幀抓取,uvcGrab(struct vdIn*vd)函數實現單幀YUYV格式的原始圖像拷貝到內存,採用高效的mmap內存映射方法讀取;

  ◆JPEG核心算法實現,JPEG壓縮算法佔用大量CPU時間,下一小節將詳細討論。

  ③創建套接字接口。爲實現多用戶同時連接網絡攝像機,必須採用socket服務線程,每當有新用戶連接同時產生一個新線程與之對應,實現多用戶端同步監控。

  ④搭建基於Web瀏覽器訪問方式的Web主頁。嵌入式設備資源有限,輕量級的Web Server主要有:Boa、Httpd、Thttpd等。本設計選用開源的Boa、交叉編譯Boa源碼配置boa.conf文件,配置系統etc自啓動 shell加入Boa程序,將編寫HTML頁面文件放入系統中對應的www目錄後即可正常工作。

  系統軟件設計【略】

  Android客戶端設計【略】

  閱讀詳細文章:基於Android的MJPEG網絡攝像機設計

  

  TOP 1:IP高清網絡攝像機解決方案

  現在“高清”和“IP”已經成爲安防監控領域最炙手可熱的兩大熱點,隨着IP高清產品的快速爆棚,所有廠家都在不計代價的投入,高清所帶來的超高畫質,超寬場景給人以極大的視覺震撼。IP高清攝像機已經成爲監控領域增長,最吸引眼球的產品。在監控網絡化大潮的推動和市場需求的驅動下,IP高清攝像機獲得了重大突破,並進入到重大安保項目的實際應用中,視頻監控已經進入IP高清時代,高清成爲安防監控新時代主題。

  IP高清攝像機產品的技術應用特點

  IP高清攝像機從本意上講超越了傳統常用的模擬攝像機。現在市面上的高清監控攝像機已經形成以百萬像素爲基礎,200萬像素,300萬像素爲先導的多元化產品格局。一臺IP高清網攝像機主要由視頻採集、視頻編碼、網絡傳輸等幾部分組成。一臺IP高清攝像機可以被看作一臺高清攝像機和一臺電腦的結合體。它通過CMOS/CCD感光器進行逐行掃描,將光信號直接能夠捕獲影像並通過SoC單芯片處理,直接通過IP網絡進行傳輸,從而使用戶能夠通過標準的基於 IP網絡基礎構架在本地或者遠程地點實現觀看、存儲和管理高清視頻數據。

  IP高清網絡攝像機最主要的技術應用特點就在於其高像素帶來的高清晰圖像,而且通過網絡傳輸可以很方便的實現多區域聯網和遠程控制,這對於安防監控來說具有非常重要的意義:

  1)覆蓋範圍更大 如上文提到,IP高清攝像機的一大優勢就是,覆蓋面更廣,相同監視區域可以替代原有的多個固定點攝像機或全方位攝像機。這對於密集型場所,如機場安檢通道、車站、地鐵、商場出入口、停車場、工廠、銀行櫃員等,原來一般需要設計多個密集的低分辨率攝像機,來保護死角,而現在,部署IP高清攝像機是個不錯選擇。

  2)圖像質量更好 正所謂“細節決定成敗”,IP高清攝像機採用先進的感光器使圖像細節更加清晰,尤其對於移動物體來說,逐行掃描方式可以給我們提供更好的圖像質量,有效解決了隔行掃描帶來的梳狀模糊現象。可靠的圖像質量+細節=可靠快速的調查和分析,讓視頻存儲海量的硬盤數據中全部是有價值的圖像資料,這對於車牌、人臉識別等應用具有重要意義。相反,如果圖像質量差,缺少細節信息,無疑會給日後的調查分析工作帶來巨大的困難。

  3)多區域聯網更方便 隨着IP高清網絡攝像機的普及,與之相配套的後端產品高清嵌入式NVR產品也變得愈加豐富,其在網絡攝像機尤其是IP高清攝像機的普及中扮演着非常重要的角色,其主要功能是對網絡視頻流進行錄像、存儲,並提供實時顯示和代理轉發等功能,一般多采用嵌入式架構,硬解碼支持多路網絡標清或者高清攝像機接入。以天地偉業的嵌入式NVR爲例,它可以支持16路標清或者8路高清網絡攝像機的接入;嵌入式硬解碼,可以實時預覽,錄像;內置硬盤盤位可以存儲;內置代理轉發模塊可以對接入的視頻流進行轉發;

  此外還帶有VGA和BNC兩種輸出接口可以解碼上牆顯示;此外它還可以作爲節點設備,在系統做中做節點監控和分佈式存儲。IP高清網絡攝像機可通過 IP網絡使其互聯互通性帶來極大的提高,實現了多個平臺的互聯互通,可以整合整個社會資源,聯動各個指揮中心和信息中心,實現了信息互通、資源共享、技術兼容,有利於整個社會資源的共享,對於各類事件的處理可以有效、快速的響應,“即插即用”的使用模式提供了靈活的擴展功能。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章