主题 : [02.05]“咔咔咔”手机拍照过新年 是时候了解下背后的技术了
影视交流
级别: 论坛版主

UID: 33334
精华: 0
发帖: 62433
威望: 501240 点
无痕币: 18495 WHB
贡献值: 1145768 点
在线时间: 60626(时)
注册时间: 2009-03-18
最后登录: 2024-04-24

0 [02.05]“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

  下一部手机的摄像头会有多好?想知道的话,最好留意制造商对人工智能的看法。

  除了炒作和吹牛,过去的几年里摄影技术取得了惊人的进步,且进步不会减慢,而最大的飞跃源自人工智能,而非传感器或镜头,这很大程度上要归功于人工智能让摄像头更精准地捕捉景象。
  2015年Google Photos发布之际,清楚地展示了人工智能和摄影技术混合后强悍的功能。在此之前,谷歌这家搜索巨头多年来一直使用机器学习对Google+中的图片进行分类,但其现今推出了照片应用程序包括面向消费者的人工智能功能,这是大多数人无法想象的,数千张无标签的照片储存在手机里,杂乱无章的图库一夜之间转换成可搜索的数据库。突然间,或是说看似突然,谷歌知道了你家猫的长相。
  谷歌取得的突破基于2013年收购DNN搜索的前期工作,该技术可以建立一个受人类标记数据训练的深度神经网络,称之为监督学习,这个过程包括对网络进行数百万张图像训练,以便它可以通过像素寻找视觉线索,帮助识别分类,随着时间的推移,该算法在识别方面越来越出色,拿熊猫举例,曾用来正确识别熊猫的模式都会被纳入,具体来说,它可以习得黑色皮毛和白色皮毛之间的分布关系,熊猫与荷斯坦奶牛的毛色区别,经过进一步的训练,该算法可以用来检索更抽象的术语,如“动物”或者“早餐”,也许检索出来的并非是常见的视觉图像,但仍可一眼认出图像主体。

  训练这样的算法需要耗费大量的时间和处理能力,不过在数据中心完成任务后就可以在低功耗的移动设备上运行,并且不费事,繁重的工作已经完成,因此一旦你的照片上传到云端,谷歌就可以用自己的模型来分析和标记图库,Google Photos发布约一年后,苹果公司宣布了一项在神经网络上接受过类似训练的照片搜索功能,但作为公司对隐私承诺的一部分,实际分类在每个设备的处理器上单独进行,不需要传送数据,而这通常需要一两天时间在设置好的后台进行。
  智能照片管理软件是一回儿事,但首先要说的是人工智能和机器学习对图像的捕获方式产生了更大的影响,毫无疑问,镜头会继续变快,传感器也总能变大一点,但涉及将光学系统塞进轻薄的移动设备,我们已经快接近物理限制,尽管如此,现在的手机在某些情况下能拍出比许多专业相机设备更好的照片,这并不罕见,至少在后期处理之前是这样,传统相机无法与同样配备高级摄影的硬件片上系统竞争,其包括一个中央处理器、一个图像信号处理器,以及一个越来越多的神经处理单元(NPU)。
  这是计算摄影,一个广义的术语,涵盖方方面面,譬如手机肖像模式的假景深效果,以及有助于提升Google Pixel高清图像质量的算法,并非所有计算摄影都涉及人工智能,但人工智能必定是其中一个重要组成部分。

  苹果利用此项技术来驱动其手机的双镜头肖像模式,苹果手机的图像信号处理器依靠机器学习,通过一个摄像头识别人像,另一个摄像头创建深度图以分离拍摄主体和模糊背景,2016年此功能首次亮相时,通过机器学习识别人像的技能并不是什么新鲜事,因为图片处理软件已经在做这个了,但以智能手机摄像头所需的速度实时识别则是一项重大突破。
  然而,谷歌默认的拍摄模式HDR+使用了一种更复杂的算法,将几个曝光不足的帧合并为一个,正如谷歌计算摄影负责人马克·勒沃伊(Marc Levoy)所说,机器学习意味着系统只会随着时间越来越好。就像Google Photos,谷歌已经将其人工智能训练在一庞大的标签照片数据集上,进一步辅助相机曝光,尤其是Pixel 2生成的基线图像质量非常好,The Verge网站在专业工作中也会使用到,效果非常满意。
  不过谷歌的优势从来没有像几个月前推出夜视系统那样突出,新版Pixel将长曝光缝合在一起,使用机器学习算法计算更精确的白平衡和颜色,坦白说,效果令人惊艳,因为算法的设计以最新的硬件为依托,该功能在Pixel 3上效果最好,不过谷歌为各种Pixel版本的手机都推出了夜视功能,即使是缺乏光学图像稳定性的原始图像也可以处理,这说明了软件在移动摄影领域比相机硬件更重要。
  也就是说,硬件仍有进步的空间,特别是在人工智能的支持下,据了解,华为和荣耀的新款手机第一个使用了索尼IMX586图像传感器,这是一个比多数竞争对手都大的传感器,有4800万像素,是目前任何手机上看到的最高分辨率,但这也意味着要在一个很小的空间里塞进许多微小的像素,图像质量往往会成问题。然而,在测试中荣耀的“人工智能超清”模式擅长最大限度地利用分辨率,去除传感器异常的滤镜,呈现额外的细节,这也会产生巨大的照片,放大看需要几日时间。

  图像信号处理器在一段时间内对手机相机的性能非常重要,但随着计算摄影技术的发展,NPU可能会发挥更大的作用,华为第一个宣布采取专用人工智能硬件的片上系统Kirin 970,尽管苹果的A11 Bionic最终率先到达了用户端,全球最大的安卓处理器供应商高通公司尚未将机器学习作为主要的焦点,谷歌方面开发了自己的芯片,Pixel Visual Core,帮助完成与人工智能相关的成像任务。
  与此同时,最新的苹果A12 Bionic配备8核的神经引擎,在苹果的机器学习框架Core ML中运行任务,比A11快九倍,并且实现首次直接连接到图像处理器。苹果公司表示,这能让相机更好地解析焦平面,例如生成更真实的景深。
  由于片上系统对处理器的要求非常高,对于提高设备机器学习的效率和性能而言,它将越来越重要,别忘了,Google Photos的算法是在具有强大GPU和张量计算核心的计算机上训练,然后再放进照片库,可以说大部分工作都可以“提前”完成,不过在移动设备上实时进行机器学习计算的能力仍然是最前沿的科技。
  谷歌已经展示了一些可以减轻处理负担的工作,令人印象深刻,神经引擎在这一年里也越来越快。即使是在计算摄影的早期阶段,围绕机器学习而设计的手机摄像头也能带来真正的好处。事实上,过去几年人工智能炒作浪潮带来的所有可能性和应用中,今天运用最实际的领域可以说就是摄影。
  相机是任何手机的基本功能,而人工智能是我们改进它的最佳手段。
标签
级别: 十方秋水

UID: 88
精华: 0
发帖: 130083
威望: 221815 点
无痕币: 107273 WHB
贡献值: 0 点
在线时间: 51949(时)
注册时间: 2008-03-18
最后登录: 2024-04-24

感谢楼主的精彩分享。
级别: 九滴秋露
UID: 2840
精华: 0
发帖: 32712
威望: 121596 点
无痕币: 123293 WHB
贡献值: 0 点
在线时间: 27244(时)
注册时间: 2007-12-04
最后登录: 2024-04-20

技术是很重要的
级别: 五分秋意

UID: 106510
精华: 0
发帖: 3830
威望: 3706 点
无痕币: 11549 WHB
贡献值: 0 点
在线时间: 268(时)
注册时间: 2010-11-25
最后登录: 2023-12-02

感谢楼主的分享
级别: 八片秋叶

UID: 268851
精华: 0
发帖: 21068
威望: 38872 点
无痕币: 16569 WHB
贡献值: 0 点
在线时间: 1598(时)
注册时间: 2016-03-27
最后登录: 2024-04-20

谢谢分享了解一下
级别: 六行秋雁
UID: 298293
精华: 0
发帖: 6837
威望: 7604 点
无痕币: 6911 WHB
贡献值: 0 点
在线时间: 360(时)
注册时间: 2018-04-22
最后登录: 2024-04-23

感谢LZ的无私分享
级别: 六行秋雁
UID: 293245
精华: 0
发帖: 20580
威望: 3718 点
无痕币: 48583 WHB
贡献值: 0 点
在线时间: 965(时)
注册时间: 2017-11-04
最后登录: 2019-04-19

             ▏
     ◢◣  ▏      ▏
  ▏      ◢祝福◣◢◣   ▏     ▏
  ▏       ●     ◢██◣  ◢◣  ▏
  ▏   ▏      ●     ◢朋友◣◢◣
  ▏   ▏   ▏           ◢◣◢██◣
  ▏   ▏    ◢◣      ◢新春◣ ●
  ▏  ◢◣◢██◣        ●    ▏
 ◢◣◢快乐◣ ●    ▏           ▏  
◢██◣◢◣    ▏         ▏        ▏
  ● ◢猪年◣◢◣        ▏        ▏
    ●    ◢██◣   ◢◣     ▏
        ●       ◢大吉◣    ◢◣
              ●        ◢██◣
                 ●  
   ▇▇▇▇ .           ▇▇▇▇ .        ▇▇▇▇          ▇▇▇▇
◢▇▇▇▇◣       ◢▇▇▇▇◣   ◢▇▇▇▇◣    ◢▇▇▇▇◣
▇春节快乐▇.   ▇生活愉快▇   ▇吉祥如意▇   ▇合家欢乐▇
◥▇▇▇▇◤    . ◥▇▇▇▇◤     ◥▇▇▇▇◤   ◥▇▇▇▇◤  
   ▇▇▇▇ .          ▇▇▇▇ .         ▇▇▇▇         ▇▇▇▇    
       | | |                     | | |                   | | |                  | | |
十方秋水,漫长旅途.
级别: 十方秋水

UID: 116295
精华: 0
发帖: 111450
威望: 122808 点
无痕币: 4249 WHB
贡献值: 0 点
在线时间: 6088(时)
注册时间: 2011-03-27
最后登录: 2024-03-09

感谢楼主分享
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605026
威望: 529007 点
无痕币: 14 WHB
贡献值: 0 点
在线时间: 62143(时)
注册时间: 2008-12-25
最后登录: 2024-04-24

这个我就是看看一下而已,了解了哦。
Total 0.036551(s) query 4, Time now is:04-24 12:56, Gzip enabled 粤ICP备07514325号-1
Powered by PHPWind v7.3.2 Certificate Code © 2003-13 秋无痕论坛