科技·商业·财经

京东开源实时流式视频编辑模型,视频创作开启“边播边改”新时代

   时间:2026-08-06 07:14 作者:陆辰风

在视频创作领域,一场变革正悄然发生。以往,视频创作往往遵循“先有素材再修改”的固定流程,创作者需提前准备好所有素材,再通过后期编辑实现想要的效果。然而,京东宣布开源自研的实时流式视频编辑模型JoyAI-Video-Edit,打破了这一传统模式,让视频创作进入“边观看边创作”的实时互动编辑新时代。

视频实时编辑面临的首要挑战便是速度问题。视频由连续的画面帧构成,若模型处理速度无法跟上播放速度,就会出现卡顿、延迟等状况,严重影响观看体验。JoyAI-Video-Edit基于全自研的JoyAI-Video模型,在720P分辨率下能够实现每秒30帧的模型推理速度。这一速度不仅保证了画面具有较高的清晰度,还能与常见影视视频的播放节奏完美契合,为实时编辑提供了坚实的技术支撑。

视频长度也是流式编辑需要跨越的一道难关。此前,多数流式编辑模型仅能处理几秒或分钟级的视频片段,这极大地限制了视频创作的灵活性和应用范围。而JoyAI-Video-Edit支持任意时长的稳定流式编辑,能够随着视频的持续播放进行实时处理。用户无需等待整段视频生成完成,在播放过程中就能随时修改场景、替换物体、调整人物形象或改变画面风格,真正实现了“边观看边创作”。

这种实时编辑能力为视频创作带来了无限可能。在直播场景中,服饰主播试完白色上衣后,观众若想马上看到蓝色款的效果,即便蓝色款不在身边,也能通过实时编辑轻松实现。创作者还能让视频中的人物连续更换服装,将普通街道瞬间变成充满奇幻色彩的动画世界。在家装设计领域,用户可以尝试不同的家具、墙面和灯光效果,实时看到各种搭配的呈现,为家居装修提供更直观的参考。

视频“边播边改”的能力不仅在创作领域大放异彩,还为多个行业带来了新的技术支持。在零售营销方面,服装与商品展示视频可以快速更换人物穿搭、商品和背景,让消费者更直观地感受不同搭配和场景下的商品效果,提升购物体验。家装视频能够实时切换家具与装修风格,帮助客户更清晰地规划家居布局。影视制作领域,创作者可以更快地尝试不同的人物造型、场景和视觉效果,减少重复拍摄和整段返工的情况,提高制作效率。

除了视频创作,JoyAI-Video-Edit还为具身智能数据大规模合成开辟了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频,但真机数据采集成本高昂,且危险或少见场景难以反复采集。依托JoyAI-Video-Edit对场景、物体与画面内容的可控编辑能力,可将人手操作视频转化为机械手或机械臂操作素材,并在保留物体位置、空间关系与动作轨迹的基础上,替换场景、物体与机器人形态,让一段视频扩展出更多的训练样本,为具身智能大规模数据合成积累底层技术。

 
 
更多>同类内容
全站最新
热门内容