当前位置:龙泉人才网 - 公司招聘 -

容荣(不到1分钟)

  • 公司招聘
  • 2023-12-29 06:00
  • 龙泉小编

旅行时,想在社交平台发布一支精美的旅行 vlog,拍摄剪辑需要花费多长时间?


20 分钟?一小时?半天?


在火山引擎算法工程师眼里,可能 1 分钟都用不了,因为会有 AI 替你完成。


没错,火山引擎近期推出了一款「创意互动 vlog」产品,你只需要在进入景区时注册授权,AI 就会帮你拍摄游玩中的精彩画面,自动剪辑成旅行 vlog。


全程无需自己动手,无需费心选择拍摄地点,无需请他人帮忙拍摄,甚至游玩时不用掏出手机或相机,也不用纠结修图美颜,你只需认真享受这段经历,还没出大门,就能获得一条可以直接发抖音的视频。


「创意互动 vlog」前不久在 2023 春季火山引擎 FORCE 原动力大会正式发布,目前已在国内各地多个景区上线。


这款产品的背后,是一支奔着各大旅游景区到处跑的字节内部创业团队。




拿着「锤子」的算法工程师,遇见找到「钉子」的产品


2022 年初,火山引擎算法工程师容荣研究出了这样一项技术:


「在特定的场景里布置一些不同机位的拍摄装置,用图像识别找到场景里的人,配上专业视频编导设计的模版,就可以自动把这个人的影像剪成视频。」


那么,这个「特定的场景」应该是什么场景呢?


和所有的技术创业者一样,容荣拿着这个技术的「锤子」,开始寻找应用场景的「钉子」。


她先想到的是儿童兴趣班,比如一些培训机构提供的轮滑课、舞蹈课等场景,拍摄孩子们快乐学习的视频。


但容荣很快发现,这类培训机构市场零散、没有规模化,很难找到合适的客户来落地。


不久之后,火山引擎 AI 产品解决方案同学孟兰发现:


「将抖音的 AI 技术和文旅行业结合,配合抖音平台的优势,用 AI 来做旅行视频。」


而视频设计团队也希望有创新的视频生产方式。团队一拍即合,确定了这种 AI为景区游客拍摄剪辑 vlog 的落地方式,随即组成了一个包含算法、研发、产品、设计、编导、销售等不同角色在内的跨部门内部创业团队。


为了锁定飞驰的滑雪者,算法工程师自己设计滑雪服


孟兰说,to B 项目的落地需要边做产品、边找早期客户,针对早期客户的场景做优化,不至于闭门造车。「创意互动 vlog」产品的一个重要的早期客户是一家滑雪场。和这家滑雪场的磨合中,技术团队完成了大量迭代。


其中首要的技术问题是,当景区的拍摄装置拍下了许多视频后,如何把同一个人的部分找出来?


容荣先想到的是用图像识别结合 RFID 的方案。


RFID 全称 Radio Frequency Identification,译名射频识别。就像门禁卡一样,在一个专门的 RFID 手环上绑定游客信息,那么无论他走到哪里,刷一下卡,系统就能认出他是谁。



但团队去景区出差之后才发现,这种方案实在太复杂了:景区工作人员需要先把手环发给游客,然后游客绑定自己的身份,游玩结束后还要统一回收手环。而且手环的成本比较高,这种方法又麻烦、又昂贵。


于是,容荣决定改方案,保留图像识别的部分,删去 RFID 手环,而是在景区设置可交互的大屏幕,提示用户面向屏幕做一些比心、微笑、竖起大拇指、叉腰之类的表情动作。这种方案既可以借助用户姿态来确认身份,又可以增加特效、美颜等效果。


针对滑雪场景,容荣也做了很多优化。由于需要人物滑雪的照片作为模型训练的数据集,她拉着工位旁边的几位同学跑到字节跳动深圳湾办公楼下,穿着厚厚的滑雪服拍摄照片;后来还有同学联系到了一家滑雪俱乐部,请专业人士用更标准的姿势来拍照。


不过,有了训练数据,想准确地辨识人物依然有困难。


一是滑雪本身就是高速运动,容易拍不清楚;二是滑雪场有时风大雪大、阳光不好,视频会更模糊;三是雪道很长,拍摄装置很多,想要在不同拍摄装置拍摄的视频中找到同一个人,是一个技术上很难的问题。


为此,容荣干脆自己设计了一款新的滑雪服:


在胸前、肩膀等部位放置特定的编号,滑雪游客租用带有编号的滑雪服,算法只要识别出编号,就能知道是哪位游客了。


容荣(不到1分钟)


这样,结合姿态特征与滑雪服上的编号,使用「多模态聚类算法」就能准确的找到特定的游客。


容荣(不到1分钟)


过山车跑的那么快,如何决定剪哪一段?


“其实我们一开始不想做滑雪场景,因为蹭的一下就划过去了,速度太快,人群也很密集,算法不好锁定人物。但到了景区才发现,滑雪游客非常喜欢这类 vlog 服务。”容荣说。


所以,后来团队工作的一大重点就放在了滑雪、过山车、蹦极这类极限场景下。


玩这类项目时,游客最希望视频记录的是整个过程中最刺激的时刻,但这时游客表情非常激动,算法难以识别。


算法工程师容荣再次灵光一现:图像不好识别的话,那识别声音试试呢?


“风声代表速度,人声代表情绪。玩这种刺激项目的时候,一个人嗓门越大,说明他越激动;但也有人完全不叫喊,那我们就识别风声,风声越大说明速度越快、人的体验越刺激。”


极限场景惊险刺激的时刻、美丽风光让人心情大好的时刻、运动场景中表现优异的时刻,都被项目团队定义为了「高光时刻」,这是游客最深刻的记忆,也是最值得被视频记录的瞬间。


因此,项目算法团队与设计团队一起定义了一套「高光识别算法」,集成了人体手势、动作识别、人物关系检测等多种 AI 算法,能够根据场景动态捕捉游客的高光时刻,景区运营者也可以根据季节、活动等自由定制。


容荣(不到1分钟)


深入一线,感受不同地区的风霜雨雪


无论是滑雪场、游乐园还是博物馆,探索每种新游玩场景时,项目团队组团出差去现场,了解每个场景的细节特点。


线下能发现许多在办公室里闭门造车发现不了的问题,技术同学则可以改技术方案,产品经理则可以了解景区运营状况、游客动线、景色最美的位置、游客聚集的地点,了解景区管理者的经营计划。


有一次,大家组团去滑雪场出差时,正赶上了寒冬腊月,下着鹅毛大雪,连雪道都结冰了。创意互动 vlog 团队的产品、研发、设计们,和当地的安装师傅一起扛着摄影机和安装工具爬到雪坡上,寻找合适的安装位置。



作为项目的算法负责人,容荣需要做很多深入一线的工作。在安装摄像头的过程中,她需要当场根据图像质量、晨昏光线、人体在画面中的大小来判断这个位置拍出来的图像能不能用,针对现场场景采集数据、当场优化这个场景的算法准确率。


但完成当天的现场工作之后,一群人站在雪坡顶上傻眼了:


除了 AI 产品解决方案同学孟兰之外,其他人都不会滑雪。


于是,一副奇特的景象发生了:大雪纷飞的滑雪场,一群人半夜十点坐在雪坡上慢慢往下滑,有人的睫毛上都冻上了冰晶,有人滑到山下后,站起来却发现裤子都被磨到反光。




就这样,一年多里,创意互动 vlog 团队的同学们一直在产品建设的路上。


他们探索滑雪场、游乐场、打卡地等各种不同类型的园区,一边优化产品,一边提升技术,一边跑通了商业落地。


AI 产品解决方案同学孟兰说,当每一类场景率先跑通一个标杆景区后,就可以方便地将不同场景的解决方案复用,低边际成本服务其他同类景区。


“我们在滑雪这个场景的经验至少领先市场 1.5 年,因为你需要足够漫长的冬天去摸索这些经验。”


而火山引擎的技术同学们,也正在不同的 B 端业务场景下,持续探索创新,用技术赋能千行百业。


容荣(不到1分钟)

免责声明:本文内容来源于网络或用户投稿,龙泉人才网仅提供信息存储空间服务,不承担相关法律责任。若收录文章侵犯到您的权益/违法违规的内容,可请联系我们删除。
https://www.lqrc.cn/a/gongsi/94159.html

  • 关注微信
下一篇:暂无

猜你喜欢

微信公众号