首页>资讯 > 民生资讯 > 正文

vivo手机影像的未来方向,要靠生成式AI和3D模型了

来源:腾讯网    2023-08-08 15:33:18

时间进入 2023 年,尽管智能手机市场还在持续疲软,但手机厂商在产品竞争丝毫没有放缓,甚至在影像上还有增无减。更大面积的传感器、光学防抖、全焦段覆盖,高端智能手机的影像配置基本都上了一个台阶。

不过一方面,硬件上的提升容易带来同质化的竞争,很难拉开体验上的差异。另一方面,更豪华的硬件规格,也会影响到机身重量和内部空间设计,就比如小米 13 Ultra,在影像上确实带来了相当惊艳的体验,但同时,机身重量的增加和硕大的相机模组,都极大影响到了日常的手持体验。


【资料图】

所以在软件与算法等其他层面加大投入,几乎就成为了手机厂商一种的共识。但问题在于往什么方向做?又怎么做?

在 7 月底举办的 2023 vivo 影像盛典特别活动上,vivo 影像产品高级总监李卓表示,手机影像技术目前是三个领域同时走路:光学、算力、算法。

2023 vivo 影像盛典特别活动,图/vivo

具体到当前的技术背景下,光学到了一定瓶颈之后,突破起来难度非常大,可能需要材料学和基础物理的突破才行。但与此相对,一旦突破光学瓶颈就会带来全新的世界。二九目前,算力和算法带来的进步和突破则是非常明显。

从光学到算法,vivo 一个都不想放过。

在 3D 模型里沉淀算法,在手机上应用算法

不久前,雷科技受邀参观了位于 vivo 重庆智能制造中心内的 3D 影像实验室。在 vivo 3D 影像实验室,可以看到由 175 台单反相机,配合闪光灯、处理器、控制器和服务器组成的 3D 影像系统。

采集人体信息时,vivo 3D 影像实验室会同时调动 174 台单反相机从不同的角度进行拍摄,生成 100 余张 2D 图片(另外 1 台负责控制),随后通过局域网上传至存储服务器,再通过一连串的计算处理,最终生成一个 3D 模型。

vivo 3D 影像实验室内,图/雷科技

vivo 在现场展示了整个流程以及生成的 3D 模型。尽管与实际「拍摄」的媒体老师还有明显的区别,但模型的精细程度也足以让在场观众感到些许惊艳。不过,这种方式显然不可能复制到智能手机上。vivo 也明白这一点。

实际上,vivo 的目的在于通过 3D 模型采集大量且精准的人体躯干与面部信息,不断优化算法,最终实现对智能手机影像的提高。

众所周知,传统的智能手机人像虚化算法,往往是在 2D 层面判断人的轮廓来实现虚化,不具备 3D 层面的深度信息,因此主体与背景之间的过渡往往比较生硬,背景也会缺少层次。

vivo 希望能通过大量的 3D 模型进行预训练,让 vivo 的算法变得更加智能,让手机可以更好地判断人体的深度信息,使得人像虚化更加细腻与自然。

vivo X90 Pro+ 拍摄的人像照片,图/雷科技

此外,3D 模型的加入也让手机人像虚化算法应用范围可以进一步扩大。目前人像虚化算法由于缺乏深度方向的信息,只能拍摄全身像或是半身像,未来则可能拍摄眼睛的特写虚化画面。

而在 3D 模型之外,vivo 3D 影像实验室内还有一套「重打光」系统——由 96 个可编程的同步光源搭配工业相机,工作站以及服务器共同组成。这套系统可以模拟不同光照条件下的成像图片,为自研人像算法做数据支撑,提升手机上的算法效果。

3D 模型计算处理过程,图/雷科技

但不同于 iPhone 上的「人像光效」,未来在加入重打光技术后,vivo 手机可以对前期拍摄到的「逆光黑脸」进行高精度补光,调整光线的冷暖色温。甚至还能通过纹理重建与光照估计算法等技术,让用户基于自身喜好对光照、年龄、发型、表情等方面进行重新编辑。

「未来以算法为龙头,也并不是它自己往前跑,未来算法要去给传统的光学赋能,这是它里面的逻辑关系,」vivo 影像副总裁于猛说。

我们有理由相信,这些技术应该会在不久后就能实现落地,而按照 vivo 工作人员的透露,它们将会在 vivo X 系列上率先应用。

不过 vivo 3D 影像实验室的目的还不止于此。

未来的「影像」,未必是实拍

随着生成式 AI 的普及,手机和芯片厂商都在陆续加速相关技术投入。高通、荣耀强调了端侧 AI 大模型的概念,谷歌宣布将在下一款 Pixel 机型中加入最新的 PaLM2 大模型(壁虎版),华为也于最近宣布在鸿蒙 4 中结合了自家的盘古大模型,率先应用在语音助手小艺上。

vivo 自然也不例外。不同的是,vivo 想要抓住移动影像这个生成式 AI 的最佳「试验场」。

在海外,Midjourney、Stable Diffusion 以及 DALL·E 2(OpenAI 旗下) 都在绘画、图片等应用上取得了突破性进展。在国内,一款名为「妙鸭相机」的 AI 绘画小程序,也凭借精准的应用场景、较低的价格以及不俗的生成效果,迅速吸引了大量用户。

「妙鸭相机」用户体验,图/即刻@乌云花栗鼠

作为 vivo 布局 3D 影像技术的重要平台,重庆 3D 影像实验室通过搭建影视级光场系统,可重建出「毛孔级」人体 3D 模型,实现了更具真实感的高保真渲染视效。同时基于人像 3D 重建感知能力,vivo 也在探索叠加 AIGC 算法,通过手机即可「拍摄」虚实结合更为自然的照片,实现「足不出户拍大片」的体验。

在参观 3D 影像实验室后的闭门会议上,vivo 就展示一张由 3D 模型结合 AI 绘画能力生成的「照片」,画面里是一个极具真实感的赛博朋克世界以及人物。

vivo 不允许拍摄,类似将一个人塞入《赛博朋克 2077》世界。图/Fun Academy

不同于我们之前见过的 AI 绘画,借由工业级相机系统拍摄处理得出的精细化真人模型,vivo 这张「照片」里的人物不仅足够真实,理论上各种姿势与动作也都可以比较完美地呈现。

某种程度上,你可以将其理解为「妙鸭相机」的进阶版,除了精细上的巨大优势,更核心的还是「人」。「妙鸭相机」利用 20 多张人像照片在大模型上进行训练微调,vivo 则是直接拍摄计算得出的 3D 模型,更接近真人,适用范围也更广。

不过就像前文所提,这终究只能在实验室环境下产生,vivo 最后还是要落地到手机等个人终端上,否则只能是空中楼阁。

另外值得一提的是,3D 影像的相关技术可以应用在虚拟人应用上。包括近期比较火热的 3D 数字人直播、3D 表情驱动、3D 的虚拟场景编辑以及相应的动画制作等领域。而基于 3D 影像衍生的 3D 换装应用,可以根据采集者的人体模型,在虚拟场景内实现足球游戏,目前已经可以在 vivo 手机和平板电脑上进行演示。

无论如何,vivo 展示了一种未来。未来我们的拍照方式或许被彻底颠覆,拍照不再是拍照,而是基于 3D 模型、生成式 AI 技术的一种新的创作方式。

关键词:

vivo手机影像的未来方向,要靠生成式AI和3D模型了

时间进入2023年,尽管智能手机市场还在持续疲软,但手机厂商在产品竞争

安信证券:“近忧远虑”之下 煤企如何破局

安信证券发布研究报告称,短期来看,在当前煤、电利润再平衡的时点下,

销售费用占营收超40% 卓谊生物一年如何卖出740万支狂犬病疫苗?

宠物热潮促使狂犬病疫苗需求增长。近日,长春卓谊生物股份有限公司(简

重磅18条!深圳陆路口岸进一步优化通关环境提升通关便利化

上证报中国证券网讯据深圳发布8月8日消息,深圳市人民政府口岸办公室日

希斯菲尔德(关于希斯菲尔德的基本详情介绍)

1、希斯菲尔德足球俱乐部是德国的一家足球俱乐部。2、联赛级别为德国足

小汪老师分享Excel图标集制作项目状态表的方法:可自动识别进度

小汪老师今日分享了如何运用Excel图标集和数字格式创建一份精美的项目

守望相助 好丽友4300箱产品驰援河北

面对灾情,好丽友闻“汛”而动,近日已快速启动灾害救助应急预案,通过

互动| ​锡业股份:佤邦执行锡矿开采禁令

锡业股份在投资者互动平台表示,佤邦执行锡矿开采禁令,将进一步加剧锡

长子沉迷美色无心家业,次子亏空400亿,最终女儿把他脸彻底丢尽

这位商人早年在香港叱咤风云,是纺织业的绝对巨头,其公司的产品远

年度销售目标砍半,国威酒业3年没能实现的“30亿”,5年够吗

来源:齐鲁晚报大众报业·齐鲁壹点记者张頔贵州省商务厅近期发布了关于

热血奉献爱心,助力生命续航——济南公交集团开展无偿献血活动

近日,为缓解夏季临床用血紧张,践行“人民至上、生命至上”宗旨,弘扬

港股异动 | 恒大汽车(00708)再跌近14% 近日遭强制执行1.2亿 过去两年亏损840亿元

恒大汽车(00708)再跌近14%,截至发稿,跌13 25%,报1 44港元,成交额55

青海省总工会开展劳动竞赛助力高质量发展

记者日前从青海省总工会获悉,今年以来,青海各级工会围绕省委省政府重

王宝强这卸货的姿势,一看就是真正干过农活的!

王宝强这卸货的姿势,一看就是真正干过农活的!不仅熟练而且姿势非常正

地产股午后持续走弱 京投发展、中迪投资跌超8%

2023年8月8日,地产股午后持续走弱,截至13:50,京投发展、中迪投资

小龙虾脂肪含量高吗?小龙虾的钳子可以吃吗?

小龙虾是夜晚大众穿梭在大街小巷里可以享受到的小吃美食,因为体内的蛋

香港大学获嫦娥五号月壤样本 将分析了解月球演化历史

8月7日,香港大学发布消息称,该校地质学专家团队日前获得由中国探月工

到2025年末 辽宁充电设施终端保有量将超过5万个

8月7日,金阳大街160千瓦快充站已经投入使用。据了解,“十四五”期间

呵护你的“小心肝”!戊肝报告发病数居急性病毒性肝炎首位

记者张如意实习生柳天启7月28日是第13个“世界肝炎日”,今年我国的宣

中伟股份:高冰镍作为公司产品三元前驱体的主要中成品来源,其顺利产出标志着公司一体化战略布局的重要突破

每经AI快讯,有投资者在投资者互动平台提问:贵公司的高冰镍生产成功!

重庆机场大巴时刻表2023(重庆机场)

1、一共5个机场民用机场3个:重庆江北机场;万州五桥机场黔江舟白机场

湖南常态化开展食品安全“你点我检、服务惠民生”活动

聚焦“急难愁盼”营造安全共享格局湖南常态化开展食品安全“你点我检、

阴平镇消防宣讲会 送安全进万家

大众网见习记者单先平通讯员孙中尧枣庄报道“仔细查看消防标识,对灭火

景良东:黄金压制转阴,日内先空看回撤!

医药圈反腐成了昨日市场炸锅的理由,的确昨日云南公布的回扣案有点狠,

努力缓解民营企业融资难融资贵问题 青岛金融机构加力支持民营企业

经济与金融共荣共生。国家金融监督管理总局青岛监管局按照加强金融服务

百余家青岛企业组团赴日抢订单

8月7日上午8点,青岛胶东国际机场国际出发大厅内,由青岛市贸促会等组

由大变强!青岛汽车产业“向上”突围

产业强则城市强。在众多产业门类中,体量庞大的汽车产业发挥着支柱作用

优化营商环境青岛在行动 | 让企业敢闯敢干敢投

青岛日报社/观海新闻讯“现在企业家抢着来听讲座和培训,不仅自己来,

优诺口腔MOOELI新品青岛首发仪式圆满举办

近年来,口腔数智化迎来高速发展,为行业带来翻天覆地的变化,修复、正

辣木茶(辣木梵)

1、是的。2、这都可以在国家产品网上都可以查到的。3、壹诺国际有限公

综合资讯

+更多

热点资讯

+更多
股票当天买入可以当天再卖出吗?初学者怎么炒股?
股票当天买入可以当天再卖出吗?1、 当天买入的内资股当天不能卖出,只能在下一个交易日卖出,卖出股票的钱当天不能支取,只能在下一个交易 [详细]

Copyright @ 2008-2020  www.43710.com   All Right Reserved Powered by 财经情报网 版权所有

财经情报网   联系邮箱:562 66 29@qq.com

网站备案:沪ICP备2020036824号-12