近月来，我国手机与苹果的“诸神之战”让我们在OPPO的“马里亚纳”、华为的“原色双印象单元”、小米x徕卡联合研制、苹果的“灵动岛”和“4800万像素广角镜头+1200 万像素超广角以及长焦镜头”的信息焦虑中目不暇接。
本来或许是为了对冲手机体系和APP规划无力感而诞生的拍照功用，如今却成为了众手机厂家除背部规划外为数不多可“卷”的当地，、全景、夜景、小视频等旺盛的需求让这一技能的江湖方位敏捷改变，比翻书还快。
对圈内人士而言，这一波改变带来的后摄、双摄、多摄、暗光、防抖、广角、长焦、变焦，也再次将CMOS传感器等图画商场炒热。
关于独立数码相机，镜头/CMOS传感器画幅越大，作用就会越好越专业。但因为手机面积小等局限性，手机拍照与成像对摄像头的依赖性极低，对图画处理技能的依赖性极高，使得手机拍照更充溢逻辑上的科技与狠活儿（褒义），背面的功臣按奉献来算，ISP（图画信号处理）确实为CMOS加上了许多化腐朽为神奇的“海克斯科技“（依然是褒义）。
CMOS图画传感器的功用简而言之便是把光信息转换成电信号，终究变成一幅人眼能够辨认的图画。ISP会再对图画做处理，使其更契合人眼所看到的国际的姿态。
CMOS和ISP是严密协作的联系，一个粗加工，一个精加工，一个前置摄像头拍照，一个十级美颜加滤镜。
CMOS图画传感器相比它的上一任CCD图画传感器能够复用更多的通用半导体制作设备，因而生产成本更低。事实上，在将光转换为光信号的进程中，CMOS相较CCD也按捺了更多电噪声。但在有限的物理条件和摄像头规范面前，仅靠吸收光信号的简略转化只能是巧妇难为少米之炊。真实献上神级换头术的，仍是ISP。
传感器产生的电压波形信号起伏和空间特性都与其所感知的光照有关。为了产生一副数字图画，需求把接连的感知数据转换为数字方法，该进程被称为图画采样和量化。
所以图画处理的根底便是采样（拍照）、量化（使用RGB或许YUV把像素编码）再将数字放进想要作用的函数模型中进行调试。
因为镜头和传感器的物理缺点以及拍照环境的多样性，传感器输出的原始数据和人类预期的图画有巨大差异，因而ISP就起到了适当重要的作用。
才智城市需求实时搜集和保存高清视频数据，以供城市大脑进行大局剖析，使用牢靠数据优化调整公共资源；
自动驾驶：前视ADAS需求ISP快速剖析远近物体，镜头聚集在远间隔规模内，需求较高的体系灵敏度；后视和环视则需求ISP使用畸变纠正算法和多图画拼合。
动态规模指的是图画亮度最大值与最小值的份额规模，规模越大图画显现的场景细节越多，视觉作用越传神，越能全面展示天然场景的动态规模细节。
具体步骤：选用多张不同曝光度的一般图画来核算实践场景亮度，再用Tone-Mapping紧缩组成HDR印象。
形象化地说，就好像天主手上一杯阳光（过曝相片）、一杯郁闷（曝光缺少）、一杯慎重（曝光正常），想造什么性情的人全由份额分配，可是鉴于性情要素的多元化，每样都要来一点才不会走极端。
天主造人简单，HDR却有怎么标定相应曲线、高动态规模图画存储、tone-mapping紧缩显现算法、RGB三个独立通道数据量大难组成、迭代算法输出图片质量缺少安稳性等问题。
灰度是指亮度的明暗程度。图画边际是图画中灰度值不接连处的合集，边际像素点包含更为丰厚的图画信息，边际辨认也就将图片信息从“二进制数字辨认”向“编程言语的语义辨认”跨进。
将一张黑白相片翻转色彩成为一张新的相片后，两张相片小间隔错动得到镶边信息并杰出其显现作用，边际增强即完结。也便是掩膜技能。
因为夜间光照缺少、大雾、沙尘等影响，捕获图画中突发事件如相机运动、或是场景中方针运动等，都会使收集的图画或是图画序列遭受丢失，存在成像含糊、噪声污染及曝光不平等问题，图画增强显得尤为重要。
图画的边际即明暗程度显着的像素点规矩散布摆放出一道线，在进行图画灰度剖析中出现显着的直角阶梯感，称为阶跃边际。与之相较的含糊、噪声污染、曝光不均的含糊边际，像素明暗的替换会在有限间隔内产生，出现出斜度感，故称为斜坡边际。
关于边际区域，依据梯度方向及当时点在斜坡边际的方位，选用边际方向均值、边际梯度方向的高灰度均值和低灰度均值来替代当时像素灰度值，然后缩短斜坡边际的宽度来增强图画边际。
在获取图画质量不高的情况下，经过后期调整灰度值、锐化等来改善图画视觉作用，使其更适用于人或机器剖析处理，杰出有意义的信息，提高图画使用价值。
常用办法有线性改换、直方图归一化、伽马改换、大局直方图均衡化、约束对比度的自适应直方图均衡化等。
知乎中给到的“比较简略的”解说说：一个算法假如只使用同帧图画信息，称为2D降噪; 使用前后帧信息称为3D降噪。
降图片的噪是2D降噪（空域降噪Spatial），降视频的噪是3D降噪（时域降噪Temporal），视频播映键暂停的每一帧都会布满噪声，时长越久需求处理的噪声就越多。3D降噪主要是在时间轴上使用概率找到随机噪声幅值的相关性并进行排序，在运动序列中找到每个像素点的方位，然后得到一张洁净的图画。
要导出一张像素摆放有序的图画，就需求不断精进的运动估量和运动补偿技能，噪声建模（将噪声幅值树立对应概率密度函数散布模型）、块匹配（找到联系附近的像素块来捕捉运动轨道）、光流（一起捕捉物体移动和摄像头的移动）等办法缺一不可。
消除由摄像机导致的数字图画的几许畸变，使其更契合人眼视觉下的出现方法。相似素描的时分平面作画画得有三维立体感和数学里的立体几许核算。
这部分也是在2d图画下好处理，一遇上3d，难度系数就指数级上升。典型使用场景之一也是别的一个图形技能大卷之地——光线追寻技能。
光线追寻技能是一种经过透彻了解光线在物理国际传达、反射、折射等的改变原理，再经过核算机模仿光线，力求做到在PC端和移动端的手机使用中，模仿场景改变作用也能像人类视觉在实际国际中观察到的改变作用附近。现在，英伟达、AMD、英特尔现已支撑硬件层面的相关技能，移动端Imagination、三星、Arm也纷繁入局。
实际国际中，人眼接收到的光线一部分是直接光源的照耀，另一部分是其他物体外表的反射。安稳光源的光线好模仿，物体外表反射光源的途径或许千千万且非常“斑驳陆离”。在模仿国际完结光线追寻便需求重复推演预设场景，在模仿坐标中重现视觉感，将空间点宣布的光笼统为光线，经过批改光线的传达途径在虚拟国际中传神复原，以求沉溺式的游戏体会。
以上繁复的图片处理需求还只是在ISP许多“基本功”里窥得一隅，实操作中还需求戴着“低功耗”和“低带宽占用率”的脚镣跳舞，在不占用公共资源的条件下为其他硬件的功用上升留出空间。
公版IP的通用性和灵敏性差显而易见。安防、车载、AR/VR的弯道超车式开展让每个赛道都存在不断更新的细分需求，自研技能在自适性、按需灵敏定制立异功用、缩短开发周期、交流便当上都更契合客户和职业的开展需求。
锐化、降噪、色彩纠正、边际增强等许多功用的完结，按捺与增强需求搀杂其间互相对立。复原度、信噪比、噪声平稳性的客观规范与色彩风格的片面规范参杂其间。自研芯片的继续迭代能够确保到达平衡。
传统ISP在HDR和降噪模块上仍有非常大的改善空间。一个ISP与多种自研算法相结合，灵敏满意不同客户不同场景的需求。
以HDR和降噪算法为例，酷芯研制团队阅历过从DSP到ASIC再到更为细化的改善迭代、直到终究固化，多种特定算法之间的彼此组合与迭代，以及不同ISP调试风格参数调整，到终究与tuning相结合，都需求有认可的体系厂商内部支撑和必定收购量为立足点，将不断提高的产品体系需求分解为芯片迭代计划。是一种彼此赋能和成果。
以安防监控为例，公安需求存储和核对依据，需选用一路高码率的码流用于本地高清存储，视频中的大噪声分码率网络设备无法承当，就码率的平稳性需求和ISP的需求都有别于其他职业。
当芯片面对能效比、低带宽占用率的硬性需求和火灾、测温等特别侦查需求时，传统ISP成像将无法满意，酷芯凭仗多年累积，奇妙地将热成像技能与高ISP成像质量相结合，在红外图画根底上做降噪、锐度增强等处理，用特有双光计划满意夜间/低光照视觉监测需求。
所以，你认为ISP技能的好坏是研制实力问题，但真实情况是，在芯片职业产生的全部，更多是一场技能迭代+多元场景和需求的落地实操+客情联系+供应链办理等时与势的掌握，每一个都互为因果，每一种都权重适当。
就像出现出一张终究作用令人满意的相片，每个像素的表达都必不可少，也是借由ISP技能的晋级（背面是图画处理技能中算法的不断立异+参数的重复调试）才能让每个像素点都充沛表达自我，完结本职工作。