作者｜黄泽正
设计｜高 洁
6月3日端午佳节，在浙江卫视音乐励志节目《天赐的声音》的舞台上，出现了一位从南宋临安「穿越」而来的数字人——谷小雨。
谷小雨和歌手张韶涵联手献唱《但愿人长久》
在如梦似幻的舞台上，谷小雨和歌手张韶涵一唱一和，动静自如；在婉转的歌声《但愿人长久》中，她轻挪脚步，翩翩起舞。伴随着整个AR舞台呈现出泼墨山水画的景象，穿梭于过去与未来之间，苏轼笔下关于明月、宫阙的想象和宋韵诗意，得以重现。
谷小雨由腾讯互娱知几团队与浙江卫视联合打造，是国内首个使用虚幻引擎在广电AR实时舞台，实现实时渲染的超过200万面数的高精度写实数字人。
此次与张韶涵的联袂演出，也是谷小雨作为浙江卫视宋韵文化推广人的舞台首秀。
浙江卫视宋韵文化数字推广人谷小雨
国学大师陈寅恪曾言道：「华夏民族之文化，历数千载之演进，而造极于赵宋之世。」
可以说，自诞生之日起，谷小雨便肩负着解读、传承、传播宋韵文化的特殊使命，用科技连接过去与未来。在这个定位下，谷小雨担当着将千年文脉传递到「元宇宙」时代的重任。
在虚实融合的大趋势下，数字人被视为连通虚拟与现实世界的关键技术和身份载体。而数字人背后的游戏技术，也在不断推动数字人逐步进入大众的日常生活，持续助力着文化影响力的构建。
宋韵这两个字的背后，是中国传统文化和古典精神的一座高峰。
现实中，由于「宋韵」是一个内涵和外延极为丰富的概念，距今已有千年，其文化的传承和传播并不容易。
首先，「韵」并非特指某一种风格，而是将某一时期的审美风格大而化之的一种文化内涵。这客观决定了宋韵文化所涵盖的范围很广，诗词文赋、书法绘画、学术思想、建筑风格、礼俗文化等等，各领域均有涉猎。
另一方面，作为一种文化，宋韵风流很多时候难免会遇到只可意会不可言传之境。谈起宋韵，有人认为是「大江东去，浪淘尽千古风流人物」的豪情壮志；也有人关心「衣带渐宽终不悔，为伊消得人憔悴」的辗转婉约。
内涵之宽泛，又兼意象化表达，丰富多彩的宋韵如江南烟雨，有朦胧之美，却让传承和传播难以聚焦。
换句话来说，传承千载的宋韵，需要一个更具象、更生动的符号来承载和表现， 以便让大众能够更好地理解和感受。
由南宋临安「穿越」而来的女孩谷小雨
在满屏都是数字人的时代，制造一个能够体现「宋韵」的数字人似乎是一个应时的解决方案。
可以肯定的是，我们看到的大多数内容都是以人为主体，内容的本质也是传递人的所思所想、所感所悟。有人，就有温度。
而与真人相比，数字人拥有超越真人的美感，同时能超越物理限制，出现在真人不可企及之处，代表着数字内容创新的大方向。
因此随着数字化技术的进步，用数字人谷小雨作为宋韵文化推广人，似乎水到渠成。
但实际上这是一个艰难的挑战。
首先要凝练宋韵文化，谷小雨需兼具宋韵风雅和现代素雅审美，以具象化的表达，降低了普通民众对宋韵的认知门槛，便于广泛传播。换句话说，谷小雨需要真正成为一位来自「宋朝」的女孩，让人「一望而知宋韵」。
与此同时，人们对文化的感受，并非一蹴而就，需要一个引导和感悟的过程。在这个过程中，谷小雨的出现，既需要传递「文化」的温度，更需要「智能化」的与公众持续交流、互动，「陪伴和引导」公众深入了解宋韵文化。
而更进一步，以数字人谷小雨为载体，在更多元的场景下，通过虚实结合的各种形式，表现符合宋韵审美价值的内容，既是对宋韵文化的当代解读，亦符合国家倡导的文化创新大方向。因此，谷小雨需要找到实用和匹配的应用场景。
美好的愿景背后，意味着巨大的技术落地难度。
元宇宙浪潮兴起之后，各式各样的数字人纷至沓来。
尽管哪一类数字人更代表未来的方向尚未有定论，但高颜值的外形，有趣的灵魂，合适的应用场景这三大标准，在某种程度上已是业内共识。
而具体到传承、传播宋韵文化这一特定场景，肩负更大使命的谷小雨，在这三大标准之下，还经历了更细致化的打磨。
谷小雨的设计细节充满宋韵元素
首先，如何再现「宋朝女孩」，让人「一望而知宋韵」？
为塑造这位从南宋临安「穿越」而来的柔美少女，腾讯互娱知几团队翻阅了大量宋代历史文献资料，并与一众专家合力，对谷小雨的外形进行了精心设计，上身以改良褙子、宋抹叠穿，袖口造型以西湖荷叶为灵感。下身则搭配镭射材质短裙，外搭不对称垂感的水墨印花长裙，其灵感源自南宋李嵩《西湖图》。
而要将设计中「延颈秀项，皓质呈露」的少女形象落于观众视线，离不开先进技术的赋能。
在数字人赛道，对皮肤、毛发以及服装的呈现，是公认的技术难点。为此，知几团队创新性运用面部扫描、角色建模、毛发实时模拟、高精度贴图等技术，让谷小雨兼具细腻的皮肤质感和可爱的麻花辫造型，给观众留下了深刻印象。
最终，在外观设计上，谷小雨得宋词之神韵，介于似与不似之间，穿梭过去与未来之间。
《天赐的声音》AR舞台
其「形」已现，如何让其「魂」更灵动？设计之外，对数字人的呈现，尤其是舞台呈现，更是难点。
为了减少实时动态渲染中的不可控因素，以往的数字人造型基本局限在短发或长直发，服饰则规避多层衣服的叠加。此次谷小雨的模型精度高达200万面，同时还要保证五层布料在AR舞台上实时解算。
可以说，这一次表演实现了算力和技术的双重突破。其中，谷小雨的两根麻花辫最为抢眼，尤其是她在舞台上的表演大部分均在虚幻引擎中实时模拟完成，脱离了传统的CG离线渲染管线。
舞台上，知几团队克服引擎算法限制、扩展算力，完成了包括麻花辫、30万根数量的发丝，以及五层高面数布料叠加交互运算的重资产实时动态模拟。
此外，谷小雨一身「环佩叮当」的服饰也是一大看点，薄纱、丝绸、麂皮、珍珠、金属等多种材质融为一体。而在现场呈现时，还需在虚幻引擎中与现实舞台的灯光做匹配，对高精度材质细节的呈现也带来了不小的挑战。表演时，为配合舞台灯光和以及真人歌手的灯光效果，有时也需要牺牲数字人的部分细节。
最终，在研究现实中不同物料的特质后，知几团队利用SD贴图工具进行不同的纹理Tilling制作，得以在引擎内通过开发不同的光照Shader，模拟出不同的面料质感。
当日的舞台上，只见在烟雨江南的山水间，谷小雨扬起裙摆，身边双燕环绕，萤火纷飞，月光顺着瀑布倾流而下。虚实融合，如梦似幻，观众体会到了灵动的宋韵文化。
谷小雨在《天赐的声音》舞台上与观众对话
而更长远的考虑，为了永久留住谷小雨的歌喉和灵魂，谷小雨的「AI训练」已经开始，预计很快谷小雨将能用自己的专属声音献唱。与此同时，知几团队也在搭建AI技术智能驱动系统，以此实现全栈式数字人制作、驱动、内容生成，为谷小雨注入「灵魂」，让「她」听得懂、会交流、能说会唱。
其「魂」已动之后，谷小雨的应用场景肯定不止于舞台，而是要将宋韵文化带往更广阔的天地。
按照谷小雨的设定，她是烟雨江南的女儿，未来她将以宋韵文化推广人的身份在大屏结合真人演出，为浙江卫视各大节目提供独特的舞台内容——
在「宋韵二十四节气」品牌短视频中，谷小雨将以宋词的文学之美，介绍宋人宋时的节气传统；在「中国好时节」系列晚会，谷小雨将与音乐人一同制作节气歌曲，实现传统文化与现代元素的融合；在「宋韵创新」综艺中，她或为常驻嘉宾，或为友情出演…
在每一个宋韵文化存在的地方，她把宋韵具象化，人格化。
浙江卫视之外，谷小雨还将投身公益事业，在更广阔的应用场景下，为社会创造更大的价值。
浙江省社会科学院在解宋韵文化价值时提及，宋韵文化包含「开放进取的文化心态」、「攀登科学高峰的信心」、「随遇创生的意识和作为」等特性。
也许，从某种意义上说，「用谷小雨传播宋韵文化」这件事本身就是宋韵内涵的体现——在「宋韵文化」的影响下造出谷小雨，又用谷小雨传播「宋韵文化」的影响——可谓相得益彰，美美与共。
如何让数字人摆脱「花瓶」属性，在实际应用场景发挥作用，一直是横亘在数字人面前的一道重要的命题。
首秀结束后，惊艳一时的谷小雨同样需要找寻更大的价值。
对谷小雨来说，尽管她将拥有多个身份，多个形态，但万变不离其宗，其最终目的是生动而广泛地传播宋韵文化，为构建当代文化生态发挥更大的影响力。
浙江卫视宋韵文化数字推广人谷小雨
当下，随着虚实融合的渐行渐近，媒介的形态发生了巨大的变化。数字人带动的人机交互传播形态，正是各类媒体不断碰撞、融合的结果。
可以看到，脱胎于游戏技术的数字人，在游戏技术持续发展之后，其技术门槛和成本正在逐渐降低，也逐步被运用到更广泛的空间和领域，开始成为我们日常生活的一部分。
在今年的五四青年节上，同样是来自腾讯互娱的三个数字人，童和光、星瞳和吉莉，登上了央视《奋斗的青春——2022年五四青年节特别节目》。在虚拟现实世界里，广大青年与三位数字人一起欢庆这个属于年轻人的节日。
彼时三位数字人的表演，此次谷小雨的亮相，都在向公众明确地传递一个重要信号——数字人作为一项媒介融合的创新技术，已经可以非常自然和无缝地融入到主流价值观的表达和塑造之中。
由此可见，游戏技术产业中成熟的照扫技术、3D建模和物理渲染等技术，让传统文化不仅能以数字化形式保存，还能重新为文化赋予「生命」；依托游戏技术互动、沉浸性能强大的特点，也能更容易吸引大众，让文化输出更大的影响力。
这也意味着，在数字经济蓬勃发展的趋势下，游戏技术正逐渐突破传统的娱乐、文化功能，在科技发展、文化传承、助力实体经济、社会公益等多个维度，创造出更多元的价值。
谷小雨在《天赐的声音》舞台上翩翩起舞
回到宋韵文化传播的起点，发扬优秀传统文化不应单纯局限于文化传承、文化传播，更应该是对文化的再解读、再创造，使其更具当下的现实意义。
《中共浙江省委关于加快推进新时代文化浙江工程的意见》中提到，「准确阐释宋韵文化的精神实质、发掘提炼宋韵文化当代价值，是实施宋韵文化传世工程的重要前提和基础性工作。」
浙江省社会科学院副院长、研究员陈野认为，「研究、转化、传播宋韵文化的目的，在于以更高远的历史站位、更长实的观察视野、更深刻的理性求索、更宏阔的思想格局、更开放的文化气度，全面认识、准确把握宋韵文化的特质、精神、价值和资源。」
如果说，宋韵文化如同一条流淌千年的文脉，那么在我们即将跨入数实融合时代的前夜，以数字人为代表的数字科技和游戏技术，可以接过这文脉传承的火种，将其带进数字化的新时代。
对于公众而言，文化需要一种更具温情的传递，和更具美感的滋润。以谷小雨为代表的数字人，在文化+技术的赋能下，将赋予宋韵文化以现代价值，拉进历史与当下的认知距离，让宋韵文化真正走进人民大众的生活里。
以传统文化之风骨泽被后世，方能真正实现传统文化的当代价值。
关注微信
