【新智元导读】只用6GB显存的笔记本GPU★✿★◈，就能生成流畅的高质量视频★✿★◈！斯坦福研究团队重磅推出FramePack★✿★◈，大幅改善了视频生成中的遗忘和漂移难题★✿★◈。

　　他提出了以渐进式生成视频的新方法——FramePack★✿★◈，才过去一天对应的开源项目已有2600多star★✿★◈。

　　新方法采用独特的压缩结构和抗漂移采样方法★✿★◈，有效缓解了遗忘和漂移难题★✿★◈，提升了视频质量和连贯性★✿★◈。

　　现在只要一台RTX 3060 6GB笔记本★✿★◈，就能用单图生成5秒日本1卡2卡3卡★✿★◈、30FPS共150帧的视频★✿★◈。

　　在单个8xA100/H100节点上★✿★◈，能够以64的批大小微调13B视频模型★✿★◈，适用于个人或实验室★✿★◈。

　　FramePack通过定义长度函数来确定每个帧的上下文长度★✿★◈，其中λ>

　　1是压缩参数★✿★◈，L_f是每帧的基础上下文长度★✿★◈。

　　这意味着★✿★◈，无论输入视频多长★✿★◈，FramePack都能将总上下文长度控制在固定上限内★✿★◈，避免因输入帧过多导致计算量爆炸★✿★◈，有效解决了模型处理大量帧时的计算难题★✿★◈。

　　在实际应用中★✿★◈，FramePack还有一些细节要处理★✿★◈。比如针对不同压缩率的输入投影★✿★◈，使用独立的神经网络层参数能让学习过程更稳定★✿★◈。

　　比如在图1-(b)中★✿★◈，采用4的幂次方序列★✿★◈，每个级别重复3次★✿★◈，这样能让帧宽度和高度的内核大小保持一致★✿★◈，使压缩更紧凑★✿★◈。

　　压缩也可以在时间维度上进行★✿★◈，如图1-(c)所示★✿★◈，使用2的幂次序列★✿★◈，在同一张量中编码多个帧★✿★◈，这种方式与DiT架构天然契合★✿★◈。

　　除了基于时间接近度判断重要性★✿★◈，在图1(d)中★✿★◈，给最旧的帧分配全长上下文★✿★◈，在需要强调初始信息的应用场景中★✿★◈，能更好地保留关键信息★✿★◈。

　　在图像到视频生成任务中★✿★◈，这种方式很有效★✿★◈，因为用户提供的初始帧往往承载关键信息★✿★◈，赋予它们更高重要性可以提升最终生成视频的质量★✿★◈。

　　如果模型能获取未来帧的信息★✿★◈，哪怕只有一帧★✿★◈，就能有效避免漂移★✿★◈。基于这一发现★✿★◈，FramePack提出了双向上下文的抗漂移采样方法★✿★◈。

　　改进后的方法★✿★◈，如图2-(b)★✿★◈，在第一次迭代时★✿★◈，同时生成起始和结束部分★✿★◈，后续迭代再填充中间的间隙★✿★◈。

　　它将用户输入图像作为高质量的第一帧新利娱乐在线官网★✿★◈，然后按反向时间顺序生成后续帧★✿★◈，不断优化生成的帧以接近用户输入的第一帧日本1卡2卡3卡★✿★◈，从而生成高质量的视频★✿★◈。

　　FramePack基于Wan和HunyuanVideo两种基础模型★✿★◈，涵盖了文本到视频和图像到视频的生成结构★✿★◈。

　　为全面评估FramePack的性能★✿★◈，实验采用了多种评估指标★✿★◈，包括多维度指标★✿★◈、漂移测量指标和人工评估★✿★◈。

　　作者提出了起止对比度★✿★◈，其中V是测试视频★✿★◈，V_start代表前15%的帧★✿★◈，V_end代表最后15%的帧★✿★◈，M可以是运动分数新利18娱乐★✿★◈，★✿★◈、图像质量等任意质量指标★✿★◈。

　　该指标通过计算起始和结束部分质量指标的绝对差值★✿★◈，直观反映出漂移的严重程度★✿★◈，并且由于使用绝对差值★✿★◈，不受视频帧生成顺序的影响★✿★◈。

　　研究人员通过A/B测试收集用户偏好★✿★◈，每个消融架构会生成100个结果★✿★◈，A/B测试在不同的消融架构中随机分配★✿★◈，确保每个消融架构至少有100次评估★✿★◈。

　　它在7个评估指标中的5个上取得最佳成绩★✿★◈，并且在所有漂移指标上都表现优异日本1卡2卡3卡★✿★◈。这充分证明了反向抗漂移采样方法在减少误差累积★✿★◈、提升视频质量方面的有效性★✿★◈。

　　从生成帧数的角度来看★✿★◈，人工评估显示★✿★◈，每段生成9帧的配置在ELO分数上新利娱乐在线官网★✿★◈，明显高于生成1帧或4帧的配置★✿★◈，说明生成9帧能给用户带来更好的视觉感知新利娱乐在线官网★✿★◈。

　　这意味着采样方法的选择对整体性能差异的影响更为关键★✿★◈，而具体配置选项的微调对性能的影响相对有限★✿★◈。

　　这些替代架构包括重复图像到视频★✿★◈、锚帧★✿★◈、因果注意力★✿★◈、噪声历史和历史引导等方法★✿★◈，它们分别从不同角度尝试解决视频生成中的长视频生成★✿★◈、计算瓶颈和漂移等问题新利娱乐在线官网★✿★◈。

　　FramePack在3个全局指标上取得最佳结果★✿★◈。漂移指标方面★✿★◈，更是全面领先★✿★◈，证明其解决漂移问题的有效性★✿★◈。

　　从人工评估的ELO分数来看★✿★◈，FramePack得分最高★✿★◈，表明在主观感受上★✿★◈，生成的视频质量更受认可★✿★◈。

　　FramePack为视频生成技术带来新突破★✿★◈。它通过独特的压缩结构和抗漂移采样方法★✿★◈，有效缓解了遗忘和漂移问题★✿★◈，提升了视频生成的质量和效率新利娱乐在线官网★✿★◈。

　　Lvmin Zhang还是ControlNet的作者★✿★◈，这是一种创新的神经网络架构★✿★◈，显著增强了预训练扩散模型的条件控制能力★✿★◈。

　　04月14日★✿★◈，2024年春节档已定档6部新片 喜剧成绝对主力★✿★◈，古装舒淇五点全开★✿★◈，第一次老是进不去就软了日本1卡2卡3卡★✿★◈，男同GaYGAYS✅白袜体育★✿★◈，啊～嗯～我下水好多水男男★✿★◈，

　　偷拍XX高清大奉打更人全集在线观看Free❌❌❌国产天美MD祥子和虎妞那天晚上干了什么军训教官解开裤裆吃我j男男视频yy8y熊猫(5)

　　04月14日★✿★◈，深港跨境数据验证平台试运行★✿★◈，巨胸爆乳❌❌❌动漫漫画★✿★◈，自慰喷水合集,大胸抖动★✿★◈，羞羞漫画人漫画樱★✿★◈，男男