手機(jī)攝像頭工作原理-軟件培訓(xùn)

1、Camera工作原理,作者：黃平禮日期：2011.01.04,一、camera module主要組成部分二、camera工作原理原理介紹三、camera在MT6229平臺上的工作原理介紹,一、camera module主要組成部分,Camera module 主要的組成部分由：lens和Sensor IC，其中有些Sensor IC是集成了DSP，有些是沒有集成DSP，沒有集成DSP的module需要外部外掛DSP。,1、鏡頭（L

2、ENS）鏡頭是僅次于CMOS芯片影響畫質(zhì)的第二要素，其組成是透鏡結(jié)構(gòu)，由幾片透鏡組成，一般可分為塑膠透鏡（plastic）或玻璃透鏡（glass）。當(dāng)然，所謂塑膠透鏡也非純粹塑料，而是樹脂鏡片，當(dāng)然其透光率感光性之類的光學(xué)指標(biāo)是比不上鍍膜鏡片的。通常攝像頭用的鏡頭構(gòu)造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多，成本越高，相對成像效果會更出色；而玻璃透鏡又比樹脂貴。因此一個(gè)品質(zhì)好的攝像頭應(yīng)該是采用多

3、層玻璃鏡頭！現(xiàn)在市場上的多數(shù)攝像頭產(chǎn)品為了降低成本，一般會采用廉價(jià)的塑膠鏡頭或一玻一塑鏡頭（即：1P、2P、1G1P、1G2P等），對成像質(zhì)量有很大影響！,2、Sensor IC在攝像頭的主要組件中，最重要的個(gè)人認(rèn)為就是圖像傳感器了，因?yàn)楦泄馄骷Τ上褓|(zhì)量的重要性不言而喻。Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。由于Sensor的每個(gè)pixel只能感光R光或者B光或者G光，因此每個(gè)像素此

4、時(shí)存貯的是單色的，我們稱之為RAW DATA數(shù)據(jù)。要想將每個(gè)像素的RAW DATA數(shù)據(jù)還原成三基色，就需要ISP來處理。,3、數(shù)字信號處理芯片DSPDSP結(jié)構(gòu)框架:(1). ISP（image signal processor）（鏡像信號處理器）(2). JPEG encoder（JPEG圖像解碼器）ISP的性能強(qiáng)大是決定影像流暢的關(guān)鍵，JPEG encoder的性能也是關(guān)鍵指標(biāo)之一。而JPEG encoder又分為硬件JPE

5、G壓縮方式，和軟件RGB壓縮方式。 DSP控制芯片的作用是：將感光芯片獲取的數(shù)據(jù)及時(shí)快速地傳到baseband中并刷新感光芯片，因此控制芯片的好壞，直接決定畫面品質(zhì)（比如色彩飽和度、清晰度）與流暢度。,二、camera工作原理原理介紹,1、Sensor內(nèi)部工作原理2、DVP傳輸方式介紹3、Camera在MT6229平臺上的工作原理,1、Sensor內(nèi)部工作原理 外部光線穿過lens后，經(jīng)過color filter濾波

6、后照射到Sensor面上， Sensor將從lens上傳導(dǎo)過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband，此時(shí)的數(shù)據(jù)格式是RAW RGB。,如果集成了DSP，則RAW DATA 數(shù)據(jù)經(jīng)過AWB、color matrix、lens shading、gamma、sharpness、AE和de-noise處理，后輸出YUV或者RGB格式的數(shù)據(jù)。,2、DVP傳輸方

7、式介紹,DVP分為三個(gè)部分：1）輸出總線；2）輸入總線；3）電源總線。如下圖：,1)輸入總線介紹 a、PWD為camera的使能管腳。當(dāng)camera處于PWD模式時(shí)，一切對camera的操作都是無效的。因此，在RESET之前，一定要將PWD管腳置為normal模式。 b、RESET為camera的復(fù)位管腳。此方式為硬復(fù)位模式，一般管腳置為低，camera處于硬復(fù)位狀態(tài)，camera的各個(gè)IO口恢復(fù)到出廠默認(rèn)狀態(tài)。只有在

8、XCLK開啟后，將RESET置為低，硬復(fù)位才有效，否則復(fù)位無效。 c、XCLK為camera工作時(shí)鐘管腳。此管腳為BB提供camera的工作時(shí)鐘。 d、I2C為camera與BB通信管腳。BB與camera的通信總線。,2)輸出總線介紹 a、data為camera的數(shù)據(jù)管腳。此數(shù)據(jù)腳可以輸出的格式有YUV、RGB、JPEG。 b、VSYNC為camera的幀同步信號管腳。一個(gè)VYSNC信號結(jié)束表示一幀（即

9、一個(gè)畫面）的數(shù)據(jù)已經(jīng)輸出完畢。 c、HSYNC為camera行同步信號管腳。一個(gè)HSYNC信號結(jié)束表示一行的數(shù)據(jù)已經(jīng)輸出完畢。 d、PCLK為像素同步信號管腳。一個(gè)PCLK信號結(jié)束表示一個(gè)數(shù)據(jù)已經(jīng)輸出完畢。,Data、PCLK、V_sync、H_sync的關(guān)系如下：,3)Power線介紹 a、AVDD為camera的模擬電壓。 b、DOVDD為camera的GPIO口數(shù)字電壓。 c、DVDD為ca

10、mera的核工作電壓。 一般來說，要求先提供sensor的GPIO口電壓，接著提供模擬電壓，最后提供工作電壓。時(shí)序如下圖：,三、camera在MT6229平臺上的工作原理介紹,MT6229是支持RAW RGB Camera的一個(gè)平臺。因此Camera module可以選擇不帶ISP的Sensor。其主要結(jié)構(gòu)是Camera module+MTK DSP,MTK DSP 包括ISP、IMAGE DMA、IPP及RESIZE

11、，其中ISP分為TG、lens/sensor compensation、color process三個(gè)單元。TG為時(shí)鐘接收器，負(fù)責(zé)從camera接受數(shù)據(jù)， lens/sensor compensation只將RAW RGB數(shù)據(jù)轉(zhuǎn)為RGB565，其他格式不做處理， color process將RGB565/YUV422轉(zhuǎn)為YCbCr888。ISP部分這里不做詳述，后面的效果調(diào)試將做詳細(xì)描述，重點(diǎn)對IMAGE DMA及RESIZE做詳細(xì)的描

12、述。,1）RESIZE分為： DRZ、 PRZ。 DRZ即drop resize，負(fù)責(zé)列與行的壓縮，中間格式不變。 PRZ即post resize，分為兩個(gè)部分：粗略壓縮與精細(xì)壓縮。粗略壓縮即簡單的按照比例壓縮，例如1，1/4，1/16，1/64；精細(xì)壓縮即對列于行進(jìn)行壓縮，中間先是將YUV444轉(zhuǎn)為YUV420，這樣提高了壓縮速度。,2） IPP分為IPP1,IPP2,IPP3。IPP的作用是將YUV轉(zhuǎn)換為RGB，如下圖

13、：,3）IMAGE DMA包括JPEG DMA、VIDEO DMA、IBW1/2/3/4 DMA、IBR1/2 DMA,JPEG encode DMA主要負(fù)責(zé)將YUV444數(shù)據(jù)按照8X8模塊，壓縮為YUV422/420,如果數(shù)據(jù)最后一個(gè)模塊不是8X8，則用0補(bǔ)齊。然后將YUV422/420傳送到JPEG ENCODE. image buffer write 1 主要負(fù)責(zé)將數(shù)據(jù)從IPP2傳輸?shù)絋humbnail buffer； i

14、mage buffer write 2主要負(fù)責(zé)將數(shù)據(jù)從IPP1傳輸?shù)絤emory或LCD buffer。 image buffer write 3主要負(fù)責(zé)將RGB888/YUV444傳送到DRZ. image buffer write 4主要負(fù)責(zé)將RGB888/YUV444傳送到PRZ. image buffer read 1 主要負(fù)責(zé)將數(shù)據(jù)RGB565/RGB888/BGR888從memory傳輸?shù)絀PP3.