手机摄像头工作原理-软件培训.ppt
Camera工作原理,作者：黄平礼日期：,一、camera module主要组成部分二、camera工作原理原理介绍三、camera在MT6229平台上的工作原理介绍,一、camera module主要组成部分,Camera module 主要的组成部分由：lens和Sensor IC，其中有些Sensor IC是集成了DSP，有些是没有集成DSP，没有集成DSP的module需要外部外挂DSP。,1、镜头（LENS）镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！,2、Sensor IC在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光器件对成像质量的重要性不言而喻。Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAW DATA数据。要想将每个像素的RAW DATA数据还原成三基色，就需要ISP来处理。,3、数字信号处理芯片DSPDSP结构框架:(1).ISP（image signal processor）（镜像信号处理器）(2).JPEG encoder（JPEG图像解码器）ISP的性能强大是决定影像流畅的关键，JPEG encoder的性能也是关键指标之一。而JPEG encoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。,二、camera工作原理原理介绍,1、Sensor内部工作原理2、DVP传输方式介绍3、Camera在MT6229平台上的工作原理,1、Sensor内部工作原理 外部光线穿过lens后，经过color filter滤波后照射到Sensor面上，Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到baseband，此时的数据格式是RAW RGB。,如果集成了DSP，则RAW DATA 数据经过AWB、color matrix、lens shading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。,2、DVP传输方式介绍,DVP分为三个部分：1）输出总线；2）输入总线；3）电源总线。如下图：,1)输入总线介绍 a、PWD为camera的使能管脚。当camera处于PWD模式时，一切对camera的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置为normal模式。b、RESET为camera的复位管脚。此方式为硬复位模式，一般管脚置为低，camera处于硬复位状态，camera的各个IO口恢复到出厂默认状态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无效。c、XCLK为camera工作时钟管脚。此管脚为BB提供camera的工作时钟。d、I2C为camera与BB通信管脚。BB与camera的通信总线。,2)输出总线介绍 a、data为camera的数据管脚。此数据脚可以输出的格式有YUV、RGB、JPEG。b、VSYNC为camera的帧同步信号管脚。一个VYSNC信号结束表示一帧（即一个画面）的数据已经输出完毕。c、HSYNC为camera行同步信号管脚。一个HSYNC信号结束表示一行的数据已经输出完毕。d、PCLK为像素同步信号管脚。一个PCLK信号结束表示一个数据已经输出完毕。,Data、PCLK、V_sync、H_sync的关系如下：,3)Power线介绍 a、AVDD为camera的模拟电压。b、DOVDD为camera的GPIO口数字电压。c、DVDD为camera的核工作电压。一般来说，要求先提供sensor的GPIO口电压，接着提供模拟电压，最后提供工作电压。时序如下图：,三、camera在MT6229平台上的工作原理介绍,MT6229是支持RAW RGB Camera的一个平台。因此Camera module可以选择不带ISP的Sensor。其主要结构是Camera module+MTK DSP,MTK DSP 包括ISP、IMAGE DMA、IPP及RESIZE，其中ISP分为TG、lens/sensor compensation、color process三个单元。TG为时钟接收器，负责从camera接受数据，lens/sensor compensation只将RAW RGB数据转为RGB565，其他格式不做处理，color process将RGB565/YUV422转为YCbCr888。ISP部分这里不做详述，后面的效果调试将做详细描述，重点对IMAGE DMA及RESIZE做详细的描述。,1）RESIZE分为：DRZ、PRZ。DRZ即drop resize，负责列与行的压缩，中间格式不变。PRZ即post resize，分为两个部分：粗略压缩与精细压缩。粗略压缩即简单的按照比例压缩，例如1，1/4，1/16，1/64；精细压缩即对列于行进行压缩，中间先是将YUV444转为YUV420，这样提高了压缩速度。,2）IPP分为IPP1,IPP2,IPP3。IPP的作用是将YUV转换为RGB，如下图：,3）IMAGE DMA包括JPEG DMA、VIDEO DMA、IBW1/2/3/4 DMA、IBR1/2 DMA,JPEG encode DMA主要负责将YUV444数据按照8X8模块，压缩为YUV422/420,如果数据最后一个模块不是8X8，则用0补齐。然后将YUV422/420传送到JPEG ENCODE.image buffer write 1 主要负责将数据从IPP2传输到Thumbnail buffer；image buffer write 2主要负责将数据从IPP1传输到memory或LCD buffer。image buffer write 3主要负责将RGB888/YUV444传送到DRZ.image buffer write 4主要负责将RGB888/YUV444传送到PRZ.image buffer read 1 主要负责将数据RGB565/RGB888/BGR888从memory传输到IPP3.image buffer read 2 主要负责从memory读取phone frame，经过压缩、转化后叠加到CRZ buffer上。,Camera preview IMAGE DMA path：,Camera capture IMAGE DMA path：,
