
10月29日至30日,由流媒体网携手江西广电智媒科技股份有限公司、中国电信江西公司、中国移动江西公司、中国联通江西省分公司联合举办的「豫章论道暨第32届智能视听与科技创新产业论坛」在江西南昌举行。本届论道以“涌现·争流”为主题,设置多场论坛并配套展区、闭门会和行业交流活动。
来自广电新媒体、广电网络、通信运营、互联网平台、内容机构和技术企业等领域的代表齐聚南昌,围绕人工智能、AIGC、超高清、智能体、大屏运营、内容创新和产业协同等议题展开密集交流。
在10月29日举办的主论坛上,橘视厅(广州)科技有限公司(JST STUDIOS)总导演赵亮发表了主题为《效率与技术,AIGC 视频生产的双引擎》的演讲。结合实际制作的长片叙事AI高仿真人电影作品,介绍了橘视厅在AIGC在影视场景、动作、运镜及声音制作中的应用,并分享了利用自研的视频理解模型和多智能体协作的工具平台REELAY STUISOS在剧本创作、视觉设计和后期制作等环节的实践,探讨AIGC提升影视生产效率与内容质量的路径。
以下为演讲全文:
各位嘉宾,大家好!很高兴今天有机会参加本次论坛,与大家分享橘视厅在AIGC长片影视生产方面的一些经验、技术和实践成果。我也希望通过接下来的案例展示,让大家更直观地了解AIGC在影视制作中的应用。
JST STUDIOS是一家主要运用视频理解模型和多智能体协作技术生产精品视频内容的厂牌。目前,无论是在社交媒体还是其他互联网平台上,都能看到大量由AIGC生成的视频内容,但不同作品在内容质量和制作效率方面存在较大差异。我们是一家以技术和产品驱动的AIGC厂牌,通过自主研发的视频理解模型和多智能体协作工作流持续探索通过工业化的生产标准生产长片叙事的AIGC内容的可能。
今天主要从技术和效率两个方面展开分享。在产品技术方面,我们已经通过自主研发的智能体技术,将从剧本研发到最后的影视成片实现了完整高效的生产流程闭环。
在效率方面,我们将结合近期制作的《一拳成名》和《拳愿》两部网络电影,通过具体数据介绍AIGC影视生产的实际情况。
以《一拳成名》为例,这部影片共生成638段视频素材,可用素材总时长约为3小时3分钟,最终成片时长为72分钟。另一部作品《拳愿》共生成543段视频素材,素材总时长约为3小时57分钟,最终成片时长约为65分钟。
从制作周期来看,这两部电影均由约4人的团队在1个月左右完成。下面数据也展示了团队每天的素材生产情况和阶段性成果。
传统影视制作通常需要经历剧本开发、拍摄、后期制作等多个环节,一部作品从筹备到最终完成,可能需要一年甚至更长时间。通过AIGC技术,我们尝试将精品影视内容的制作周期压缩到一个月左右。接下来,我将通过一些实际片段,让大家更直观地感受这种生产方式的特点。
AIGC带来的影视技术提升
首先是场景构建。在传统影视制作中,许多场景需要依靠人工搭建、实地拍摄或三维建模才能实现。AI技术的应用,为影视场景的构建提供了新的方式,也有望改变部分传统制作流程。
尤其对于一些宏大场面和灾难场景,在传统影视制作中往往需要投入大量资源进行场景搭建和特效制作。借助AIGC技术,这类场景的生成和呈现可以变得更加便捷。此外,还有一些现实题材、军事题材的内容,也可以通过AIGC技术完成制作。
接下来是动作设计与镜头运用的预演。在传统影视制作流程中,镜头调度需要导演、演员及摄影团队密切配合,还涉及多机位的布置、调整和反复试拍。运用AI技术后,同一个场景可以通过多个机位进行模拟呈现。例如,在足球比赛的场景中,我们可以模拟4个甚至5个不同机位,从不同角度展示比赛画面,既有广角镜头,也有局部特写。
上图画面是我们借助视频理解模型生成的。通过快速构建虚拟的3D球场保持绝对的场景一致性,对同一场景进行分析和处理,可以从不同机位、不同角度呈现同一事件。
下图是一个经典的天台谈判场景。我们首先对原有视频进行反向分析和理解,再借助视频理解模型提取镜头信息。这相当于建立了一个能够分析大量视频内容的工具,帮助我们理解经典影视作品中的镜头语言和导演调度方式,并将这些经验运用到新的创作中。
接下来是光影、背景与风格的调整。在传统影视创作中,画面的光影效果往往受到拍摄时间、天气状况和现场布光等因素的影响。例如,同一个场景可以呈现冷色调或暖色调,而在AIGC制作流程中,可以根据影片的需求,对画面色彩和整体风格进行调整。
如在一段军事题材影片的画面。大家可以看到山间的雾气,以及清晨、凌晨时分的光影效果。这些画面效果都是根据影片的创作需求生成的。
此外,画面中的细节也可以进行模拟和调整。例如,雨后屋顶上的反光、水珠等细节,都能够通过AIGC技术呈现。
我们还可以制作慢动作和“子弹时间”等特殊视觉效果。在一段特种部队狙击毒贩的场景,也是我们已经完成的一部网络大电影中的片段。大家可以看到树叶上的露水,以及狙击镜上的细节。这些元素共同增强了画面的真实感和表现力。
另外还有AIGC在声音生成与组合方面的应用。传统影视制作中的声音处理通常涉及多个环节。拍摄现场需要通过麦克风录制同期声,后期还需要进行声音设计、音效制作和混音等工作。
在AIGC视频生产流程中,我们可以根据画面内容和创作需求,向模型描述所需要的声音类型及具体效果,再由模型生成相应的声音素材,并与画面进行组合。
在传统军事动作片中,类似《红海行动》这样的作品,往往包含复杂的战斗场面。导弹发射、机枪射击、子弹落点等声音效果,需要经过大量后期制作才能完成。
借助AIGC声音生成模型,可以更快速地生成与画面相匹配的声音效果,并将其融入视频内容,使整体视听呈现更加立体。进一步地,还可以尝试制作5.1声道环绕声效果,提升声音的空间感。
对于一些制作难度较高的场景,还可以在前期通过文字描述、参考素材等方式进行预演,提前确定画面的呈现效果,再将其应用到最终制作中。
下面展示的是一段街道追车戏。这类场景在传统实拍中具有较高的制作难度,通常涉及街道封锁、动态摄影设备的架设,以及使用斯坦尼康等设备进行跟拍,整个过程需要投入较多的人力、时间和资金。
而在AIGC制作流程中,如果剧情需要呈现类似的追车场景,我们可以通过前期预演、参考素材和文字描述,生成接近复杂实拍效果的画面,从而降低部分场景的制作难度和成本。制作的这段追逐戏是在在视频理解模型的帮助下,仅用提示词人物和场景的资产图片完成。
简单的小结一下,“复杂的镜头要通过最简单高效的方法实现,可复用的场景应该沉淀成可复用的资产,为后续的其它项目的拍摄做准备”。
AIGC带来的效率提升
首先是剧本创作。影视剧制作的前期工作离不开剧本,但行业经常面临一个问题,就是如何找到好剧本、讲好故事。剧本质量直接影响后续的影视制作与内容呈现。围绕这一环节,我们也进行了一些新的尝试,开发了一款基于智能体技术的工具,名为「剧情」。该工具主要从原创、改编和评估三个维度,为剧本生产提供支持。
在原创方面,「剧情」可以从零开始生成故事。用户可以提出创作方向,例如希望创作一部反映改革开放的作品,或讲述红军长征的故事。智能体会围绕主题搜集相关信息,并提供多种创作思路和方案供用户选择。
与传统的剧本智能体不同,「剧情」采用对话式交互与持续探索的方式,更接近编剧与创作者之间的交流,能够提供多样化的创作思路,而不只是一个简单的信息搜索工具。
从界面上看,用户可以根据创作需求选择作品类型,例如AI短剧、长剧或电影,也可以选择欧美或国内题材,并进一步确定都市情感、家庭伦理、古装权谋等不同方向。系统提供了数十种类型供选择,用户只需用几句话描述希望创作的故事,智能体便可以据此推进后续创作。由于整个过程涉及多个环节,这里不再逐一演示。
还有图像生成与创意验证。在传统影视创作中,制作团队通常需要提前绘制分镜图、场景图,为导演及各个制作部门提供视觉参考。例如,下图左侧展示的是一幅铅笔绘制的场景草图。如果希望呈现一位女士站在栈桥上、远处是波澜壮阔的大海与群山、太阳刚刚升起的画面,在AIGC技术的支持下,只需通过文字描述,就可以生成右侧这样的图像。相比简单的黑白草图,生成后的视觉方案能够更直观地呈现场景氛围,帮助导演及各部门理解创作意图。
接下来展示的是《一拳成名》中的拳赛片段。这个案例主要验证AIGC在动作场景生成方面的能力,尤其是两名角色之间拳拳到肉的打斗效果。
在传统AIGC视频生成中,动作的准确性和连贯性一直是制作难点。模型需要理解直拳、勾拳、摆拳、侧踢、鞭腿等不同动作的具体形态及其衔接关系。仅通过文字描述,往往难以准确呈现这些动作。
通过视频模型对经典影视素材进行反向理解,我们可以更好地分析动作结构,并将其应用于新场景的生成。最终呈现的打斗画面中,人物的出招动作更加清晰,动作之间的衔接也更加明确。同时,人物受到击打后的表情变化、皮肤纹理,以及倒地后的肌肉反应、牙套上的血迹等细节,都能够得到较为细致的呈现。这与一些动作模糊、细节不足的粗糙AI短视频存在明显区别。
在视觉方案设计方面,AIGC也为导演和制作团队提供了更多选择。传统真人实拍中,同一场戏可能存在不同的创作思路,例如人物应该如何行动、演员应该如何走位等,通常需要导演结合现场条件作出判断。
借助AIGC技术,同一场景可以快速生成多种视觉方案。例如,一个少年看到家园被烧毁后的错愕与反应,可以呈现为4种不同的画面方案。制作团队可以将这些方案交由导演和摄制组进行比较,选择最符合创作意图的表现方式。
在传统实拍过程中,如果要比较不同方案,可能需要反复调度演员、重新布置场景,甚至重新搭建布景。房屋不可能反复烧毁,许多道具和场景也只有有限的使用机会。AIGC则可以通过生成不同版本的画面,让制作团队在正式制作前完成方案比较。
在修改反馈方面,我们也可以通过文字标注,对前期生成的视频和片段进行调整,并快速将修改结果反馈给制作团队。
后期制作同样可以借助智能体提升效率。传统影视制作通常需要等到全片拍摄完成,再将大量素材交由后期团队进行整理、筛选和剪辑。如果发现某些情节缺少必要镜头,往往还需要重新协调拍摄,而此时摄制组可能已经解散,补拍的成本较高。
在AIGC生产流程中,智能体可以协助梳理后期素材,将适合拼接、剪辑的内容进行归类,并提前识别素材中的问题。如果发现某个情节需要补充镜头,或现有画面存在不足,也可以根据原有设定重新生成相应内容,及时完成调整。
由此,影视制作的审阅和修改环节也发生了变化。传统流程通常要经过文字构思、视觉草案、拍摄制作,直到后期阶段才能较为完整地审阅成片。借助AIGC,制作团队在前期生成视觉草案时,就可以提前审阅画面效果,发现问题并及时修改,从而提高最终成片的准确性与完成度。
除了单个画面的生成,影视作品还需要保证人物风格的一致性、空间关系的稳定性,以及动作和声音的连贯性。这些问题也可以在制作前期进行检查和调整。
大家可以看到,刚才展示的打斗画面在细节表现上较为精细,动作招式清晰,背景场景也保持了相对一致,没有因为镜头切换而出现明显变化。这些都是AIGC影视生产需要重点解决的技术问题。
以上主要从技术创新和生产效率两个方面,介绍了我们在AIGC影视制作中的实践。这两个方面也是当前推动影视生产的重要动力。
最后,介绍一下橘视厅(JST STUDIOS)。我们是一家以产品技术驱动的AI影视制作厂牌,希望从创意源头出发,完成从0到1的S级精品AI影视作品创作。目前,我们的主要产品以中长视频为主,合作模式也比较多元。
在内容合作方面,我们可以开展原创项目合作,也可以根据客户需求进行定制制作。无论是有明确主题和具体要求的定向创作,还是根据当下市场趋势、观众喜好自主策划和制作内容,我们都可以参与其中。
此外,针对平台的具体内容需求,例如平台希望推出某一类型的影片或补充特定题材的内容,我们也可以进行定向创作,提供相应的制作方案。
如果大家对今天分享的技术实践和作品感兴趣,欢迎前往旁边的贵宾厅,了解《一拳成名》及其他几部作品。现场准备了相关成片和更详细的项目介绍,也期待未来能与大家开展进一步合作。