AIGC Studio：分享AIGC前沿知识和好玩应用

计算机硕士，人工智能领域优质创作者，从事深度学习、计算机视觉、图像处理相关工作，目前关注于AIGC文生图，图生图，文生视频等方向。曾在滴滴，小米任职算法工程师。

原创腾讯的Sora来了！腾讯PCG ARC实验室推出Mira(Mini-Sora)：迈向Sora长视频生成的一小步

Mira (Mini-Sora)，这是对 Sora 风格的高质量、长时间视频生成领域的初步尝试。Mira 在几个关键方面从现有的文本到视频 (T2V) 生成框架中脱颖而出：扩展序列长度：虽然大多数框架仅限于生成短视频（2 秒/16 帧），但 Mira 的设计目的是生成更长的视频序列，可能持续 10 秒、20 秒或更长时间。增强动态：Mira 能够创建具有丰富动态和复杂动作的视频，使其有别于当前视频生成技术的静态输出。

2024-04-18 09:11:02 361

原创北大&字节联合发布视觉自动回归建模（VAR）：通过下一代预测生成可扩展的图像

视觉自回归建模（VAR）是一种新的视觉生成范式，它将图像的自回归学习重新定义为从粗到细的“下一个尺度预测”或“下一个分辨率预测”，与标准光栅扫描“下一个令牌”不同预言”。这种简单、直观的方法允许自回归(AR)转换器快速学习视觉分布并很好地概括。

2024-04-18 09:08:07 468

原创硬刚Suno？StabilityAI推出Stable Audio 2.0，可生成三分钟44.1kHz立体声的高质量完整曲目

Stable Audio 2.0潜在扩散模型的架构经过专门设计，能够生成具有连贯结构的完整音轨。为了实现这一目标，我们对系统的所有组件进行了调整，以提高长期的性能。一种新的高度压缩的自动编码器将原始音频波形压缩为更短的表示形式。对于扩散模型，我们采用类似于stable diffusion 3中使用的扩散变压器 (DiT)来代替之前的U-Net，因为它更擅长处理长序列上的数据。这两个元素的结合产生了一个能够识别和再现高质量音乐作品所必需的大规模结构的模型。自动编码器压缩音频并将其重建回原始状态。

2024-04-17 21:31:02 281

原创斯坦福发布端侧AI模型Octopus V2：推理比GPT-4快168%，准确率超Llama7B

为了更好地适应移动设备的需求，研究团队专为Android系统打造了Octopus-V2-2B版本，力求在Android设备上实现无缝对接，应用场景涵盖了从系统管理到多设备协同工作的广泛领域。Octopus-V2-2B展现出了在复杂场景下生成独立、嵌套和并行函数调用的能力，充分体现了模型的高度灵活性和实用性。在模型训练与数据集构建方面，Octopus-V2-2B独树一帜地引入了功能Token策略，并将其贯穿于训练和推理全过程。

2024-04-17 21:29:00 614

原创腾讯&清华联合提出图像到视频生成方法-Follow-Your-Click：点击图像并加上简单提示词就可让图像动起来！

尽管最近在图像到视频生成方面取得了进展，但更好的可控性和局部动画却很少被探索。大多数现有的图像到视频的方法不具有局部意识，并且倾向于移动整个场景。然而，人类艺术家可能需要控制运动不同物体或区域的。此外，当前的I2V方法需要用户不仅要描述目标运动，还要提供冗余的帧内容详细描述。这两个问题阻碍了当前I2V工具的实际应用。在本文中，我们提出了一个实用的框架Follow-Your-Click，通过简单的用户点击(用于指定要移动的内容)和一个简短的按钮来实现图像动画运动提示符(用于指定如何移动)。

2024-04-16 22:47:39 683

原创福布斯发布2024年人工智能初创企业50强

随着人工智能热潮的持续，一种新的技术经济正在帮助企业开发和部署人工智能驱动的应用程序。在《福布斯》第六届年度“人工智能50强”榜单上，这类新锐企业正大行其道。该榜单遴选了AI领域最有前途的初创公司，由《福布斯》在领先行业专家的帮助下，与数据合作伙伴红杉资本和Meritech Capital共同编制而成。

2024-04-16 22:42:07 588

原创 T-GATE：交叉注意力使文本到图像扩散模型中的推理变得麻烦

交叉注意力在文本到图像扩散模型中的作用在文本到图像的扩散模型中，交叉注意力是一个关键组件，它在模型的初期推理步骤中发挥着重要作用。然而，研究表明，交叉注意力的输出在经过几个推理步骤后会收敛到一个固定点，这一点自然地将整个推理过程分为两个阶段：语义规划阶段和保真度提高阶段。在语义规划阶段，模型依赖交叉注意力来规划以文本为导向的视觉语义；在保真度提高阶段，模型则尝试根据先前规划的语义生成图像。令人惊讶的是，在保真度提高阶段忽略文本条件不仅可以降低计算复杂性，而且还能保持模型性能。

2024-04-08 19:36:45 560

原创微信&中山大学提出SingDiffusion: 可无缝应用到SD和ControlNet中,SD1.5图像生成质量提升33%

大多数扩散模型假设逆过程遵循高斯分布。然而，这种近似尚未经过严格验证，尤其是在t=0和t=1的奇点处。不正确地处理此类奇点会导致应用中的平均亮度问题，并限制极端亮度或黑暗图像的生成。我们主要致力于从理论和实践的角度解决奇点。最初，我们建立逆过程近似的误差界限，并展示其在奇点时间步长的高斯特性。基于这一理论见解，我们确认t=1处的奇点是有条件可去除的，而t=0处的奇点是固有属性。

2024-04-08 19:34:19 325

原创 (CVPR2024)DragGAN作者新作DiffMorpher：可以实现两张图像间的平滑变形

扩散模型取得了超越以前的生成模型的卓越图像生成质量。然而与GAN相比，扩散模型的一个显着局限性是由于其高度非结构化的潜在空间，它们难以在两个图像样本之间平滑插值。这种平滑的插值很有趣，因为它自然可以作为许多应用程序的图像变形任务的解决方案。在这项工作中，我们提出了DiffMorpher，这是第一种使用扩散模型实现平滑、自然图像插值的方法。关键思想是通过分别拟合两个LoRA来捕获两个图像的语义，并在LoRA参数和潜在噪声之间进行插值，以确保平滑的语义转换，其中对应关系会自动出现，无需注释。

2024-04-04 23:13:55 1074

原创 InstantID作者的风格保持新项目InstantStyle发布，一个强化版的IPapadter来了！

基于调整自由扩散的模型在图像个性化和定制领域显示出巨大的潜力。然而，尽管取得了显著进展，目前的模式仍在继续努力应对制作风格一致性的几个复杂挑战图像生成。首先，“风格”的概念本质上是不确定的，包含了多种元素，如颜色、材料、氛围、设计和结构等。其次，基于反演的方法容易出现风格退化，往往导致损失细粒度细节。最后，基于适配器的方法经常需要对每个参考图像进行细致的权重调整，以实现风格强度和文本可控性之间的平衡。在本文中，我们从研究几个引人注目但经常被忽视的问题开始观察。

2024-04-04 23:11:37 473

原创 TextCraftor：一种创新的文本编码器微调技术，无需额外数据集改善图像质量与文本对齐

基于扩散的文本到图像生成模型，例如Stable Diffusion已经彻底改变了内容生成领域。尽管他们在图像编辑和视频合成有很强大的能力，但是这些模型并非没有其局限性。合成一个与输入文本对齐良好的图像仍然是一个挑战，需要详细的提示并多次运行精心制作才能获得满意的结果。为了减轻这些限制，许多研究都在努力利用各种技术微调预训练的扩散模型即UNet。然而，文本到图像扩散模型训练的关键问题一直存在大部分仍未开发。是否可能和可行微调文本编码器来提高文本到图像扩散模型的性能?

2024-04-03 17:06:31 888

原创继阿里EMO后，腾讯也提出了AniPortrait：用于生成由音频和参考肖像图像驱动的高质量动画

这项研究提出了一个新的框架：AniPortrait。生成由音频和参考肖像图像驱动的高质量动画。方法分为两个阶段。最初，我们从音频中提取 3D 中间表示并将其投影到一系列 2D 面部标志中。随后，我们采用鲁棒的扩散模型，结合运动模块，将地标序列转换为逼真且时间一致的肖像动画。实验结果证明了AniPortrait在面部自然度、姿势多样性和视觉质量方面的优越性，从而提供了增强的感知体验。此外，我们的方法在灵活性和可控性方面表现出巨大的潜力，可以有效地应用于面部运动编辑或面部重演等领域。

2024-04-03 17:04:42 462

原创音乐界的ChatGPT来了，Suno V3可以在几秒钟内创建两分钟的完整歌曲，所有用户都可以使用!

Suno v3是第一款能够产生广播质量的音乐。V3可以在几秒钟内创建两分钟的完整歌曲，现在所有用户都可以使用v3来做属于你自己的歌!

2024-03-31 20:29:56 339

原创 FlashFace：一种高保真身份保存的人类形象个性化方法

FlsahFace这是一个实用的工具,用户可以通过提供一个或几个参考面图像和一个文本提示,轻易地将自己的照片个性化。我们的方法不同于人类现有的照片定制方法，从高忠诚身份保存和更好的指导从两个微妙的设计中获益。首先,我们将面孔标识编码成一系列特征映射,而不是像以前的艺术中那样使用一个图像标记,这样模型就可以保留更多的参考面孔细节(例如疤痕,纹身,面部形状）。

2024-03-31 20:26:39 401

原创 Databricks开源1320亿参数规模的混合专家大语言模型DBRX-16×12B，评测表现超过Mixtral-8×7B-MoE，免费商用授权！

Databricks作为数据管理领域的超级独角兽，为了抓住生成式AI的风口，2023年6月26日曾以13亿美元的天价，收购了大模型开源平台MosaicML。MosaicML曾在2023年5月5日发布了类ChatGPT开源大语言模型MPT-7B。（开源地址：https://huggingface.co/mosaicml/mpt-7b）该项目具备可商业化、高性能、算力消耗低、1T训练数据等技术优势。MPT-7B只进行了大约10天的训练，零人工干预，训练成本仅用了20万美元。

2024-03-29 22:15:57 522

原创小米发布SDXS，大幅增强SD图像生成速度，单个GPU实现SD1.5每秒钟100张图，SDXL每秒30张图

最近小米也发布了一个大幅增强SD图片生成速度的项目SDXS，可以在单个GPU 上实现SD1.5每秒100张图的生成速度，SDXL每秒30张图。

2024-03-29 22:14:17 917

原创阿里推出Wear-Any-Way：可控虚拟试衣最新方案，支持一键自由定制试穿，穿着方式由你定！

本文介绍了一种新颖的虚拟试穿框架，称为“Wear-Any-Way”。与以往的方法不同，Wear-Any-Way 是一种可定制的解决方案。除了生成高保真结果外，我们的方法还支持用户精确操纵试穿风格。为了实现这一目标，我们首先构建了强大的标准虚拟试穿管道，支持复杂场景下的单件/多件试穿以及模特到模特的设置。为了使其可操作，我们提出稀疏对应对齐，其中涉及基于点的控制来指导特定位置的生成。通过这种设计，Wear-Any-Way在标准设置下获得了最先进的性能，并为定制佩戴风格提供了新颖的交互形式。

2024-03-23 23:09:57 958

原创最新消息！Stable Diffusion核心研究团队已集体辞职！Stable Diffusion 3后可能再无开源

最新消息，Stable Diffusion核心研究团队已集体辞职！名单包括研究团队领导、论文一作Robin Rombach，共同一作Andreas Blattmann，以及另一位作者Dominik Lorenz合作开发了图像生成模型Stable Diffusion。

2024-03-23 22:59:06 597

原创 Stability AI发布Stable Video 3D模型：可从单张图像创建多视图3D视频，视频扩散模型史诗级提升！

论文提出了稳定视频3D (SV3D)，一种潜在的视频扩散模型，用于高分辨率，图像到多视图生成围绕3D物体的轨道视频。最近的工作三维生成方面，提出了将二维生成模型用于新视图合成(NVS)和三维优化的技术。然而，这些方法有几个缺点由于有限的视角或不一致的NVS，从而影响了3D对象生成的性能。在这个在本文中，我们提出了基于图像到视频扩散模型的SV3D，用于新的多视图合成和3D生成，从而利用了泛化和多视图视频模型的一致性，同时进一步为NVS添加显式摄像机控制。

2024-03-23 22:56:10 1031

原创 SD3刚发布不久，最新的SD3-Turbo就来了：只需要4步就能超过MidjourneyV6！

SD3-Turbo采用了一种新的蒸馏方法：Latent Adversarial Diffusion Distillation (LADD)，与基于像素的ADD（Adversarial Deformation-Driven Diffusion）相比，LADD利用了预训练latent diffusion model的生成特征。将LADD应用于Stable Diffusion 3（8B），得到了SD3-Turbo，这是一个快速的模型，仅使用四步无引导采样就能匹配最先进的文本到图像生成器的性能。

2024-03-20 10:21:58 241

原创最新955不加班的神仙公司名单，收藏起来慢慢看！

今天给大家介绍一个Github上神奇的项目-955.WLB，目前已经有33.8k个star。这里的955指的是工作作息时间，早九晚五，每周五天；而 WLB 是英文 Work Life Balance 的缩写，意为工作生活平衡。简简单单六个字母，饱含了打工人对美好生活的期盼。

2024-03-20 10:15:00 142

原创 StreamMultiDiffusion：可实现用户指定的区域文本提示来生成实时、交互式、多文本到图像的功能

StreamMultiDiffusion 是根据用户指定的区域文本提示生成实时交互式多文本到图像的功能。该视频意味着该项目最终可以让你通过细粒度的区域提示控制来生成大尺寸图像。以前，这是根本不可行的。每次试验花费一个小时意味着你无法多次采样来选择你想要的最佳生成或调整生成过程以实现你的意图。

2024-03-19 09:40:12 1028

原创华为最新文生图模型PixArt-Σ：可直接生成4K分辨率图像，并显著提高与文本提示词的对齐

PixArt-Σ是一个能够直接生成4K分辨率图像的扩散变压器模型(DiT)。PixArt-Σ代表了其前身PixArt-α的重大进步，提供了显着更高保真度的图像，并改进了与文本提示的对齐。PixArt-Σ的一个关键特点是它的训练效率。利用PixArt-α的基础预训练，它通过合并更高质量的数据，从“较弱”的基线发展到“更强”的模型，称之为“弱到强的训练”。

2024-03-19 00:30:00 956

原创就在刚刚，马斯克开源了自家大模型Grok-1：具有314B参数，由 xAI从头开始训练！

Grok模型规模为314B，由8个专家系统组成（其中2个处于活跃状态）。活跃参数总数达到86B。该模型采用旋转嵌入（Rotary Embeddings）技术，而非传统的固定位置嵌入方式。

2024-03-18 10:03:28 598

原创华为PixArt-α：高质量、低成本的文生图模型，训练时长只有SD 1.5的10.8%

PIXART-α是一种基于transformer的T2I扩散模型，其图像生成质量与最先进的图像生成器(例如Imagen, SDXL，甚至Midjourney)相媲美，达到了接近商业应用标准。此外，它支持分辨率高达1024px的高分辨率图像合成，训练成本低。

2024-03-18 09:15:53 1081

原创 OpenAI掀翻机器人圈，首个OpenAI大模型加持机器人Demo，ChatGPT也有身体了

OpenAI大模型加持的机器人，深夜来袭！名曰Figure 01，它能听会说，动作灵活。能和人类描述眼前看到的一切：“我在桌子上看到了一个红色的苹果，沥水架上面还有几个盘子和一个杯子；然后你站在附近，手放在桌子上。听到人类说“想吃东西”，就马上递去苹果。而且对于自己做的事有清楚认知，给苹果是因为这是桌上唯一能吃的东西。还顺便把东西整理，能同时搞定两种任务。

2024-03-15 19:57:36 574

原创快手发布革命性视频运动控制技术 DragAnything，拖动锚点精准控制视频物体和镜头运动

快手联合浙江大学、新加坡国立大学发布了DragAnything ，利用实体表示实现对任何物体的运动控制。该技术可以精确控制物体的运动，包括前景、背景和相机等不同元素。该项目提供了对实体级别运动控制的新见解，通过实体表示揭示了像素级运动和实体级运动之间的差异。与拖动像素范式不同，DragAnything能够使用实体表示实现真正的实体级别运动控制。用户可以通过绘制轨迹与SAM进行互动。该项目能够精确控制物体的运动，生成高质量的视频。

2024-03-15 19:31:43 1123

原创阿里最新开源中文文生图模型-秒笔，与SD1.5同结构，兼容lora、controlnet等主流插件

阿里刚开源的一个中文文生图模型-妙笔，与经典的stable-diffusion 1.5版本拥有一致的结构，兼容现有的lora，controlnet，T2I-Adapter等主流插件及其权重。秒笔直接输入中文就可以完成文生图操作，使用起来非常便捷，生图的效果也十分逼真。

2024-03-14 15:04:43 442

原创阿里Facechain：3张照片就能生成个人写真，开源版本“妙鸭相机”来了！

FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力、支持资深开发者使用python脚本进行训练推理，也支持在sd webui中安装插件使用；FaceChain的模型由开源模型社区提供支持。近期图像生成技术取得了突飞猛进的发展。这得益于StableDiffusion技术，它使用深度学习算法来生成具有高质量、稳定性的图像和视频。

2024-03-13 11:04:57 1151

原创英伟达推出免训练，可生成连贯图片的文生图模型ConsiStory，生成角色一致性解决新方案

论文的核心内容是介绍了一个名为ConsiStory的文本到图像生成模型，该模型能够在无需额外训练的情况下生成连贯的图像序列。ConsiStory模型主要解决了两个问题：一是识别和定位图像中的共同主体，二是在不同图像中保持主体的视觉一致性。为了实现这些目标，ConsiStory采用了主体驱动自注意力（SDSA）和特征注入等核心模块。ConsiStory模型可以作为一种插件，帮助其他扩散模型提升文本到图像生成的一致性和连贯性。

2024-03-13 10:08:53 857

原创 TripoSR：开源3D重建模型，0.5秒就能完成2D到3D图转换

TripoSR利用大型重建模型(LRM)的原理，带来了显着提高3D重建速度和质量的关键进步。该模型以其快速处理输入的能力而闻名，在NVIDIA A100 GPU上不到0.5秒就能生成高质量的3D模型。根据你的平台安装PyTorch：https://pytorch.org/get-started/locally/ [确保本地安装的CUDA主版本与PyTorch附带的CUDA主版本相匹配]TripoSR是由Tripo AI和Stability AI合作开发的最先进的开源模型，用于从单个图像中快速前馈3D重建。

2024-03-11 10:20:58 526

原创何凯明教授在MIT的第一节课

3 月 7 日，何凯明教授在MIT的第一节计算机视觉课《Advances in Computer Vision》6.8300开始授课。700 座的大教室，相比去年增加一倍容量，仍然座无虚席。据参与现场的同学表示，大家在上课与下课时分别给他献上了很长一段掌声。

2024-03-11 10:18:19 557 1

原创 StableDrag：一种基于Diffusion模型的图像编辑，可一键拖拽生成，DragGAN被革新了！

自DragGAN出现以来，基于点的图像编辑引起了人们的广泛关注。最近，DragDiffusion通过将这种拖动技术应用于扩散模型，进一步提高了生成质量。尽管取得了巨大的成功，但这种拖动方案存在两个主要缺陷，即不准确的点跟踪和不完整的运动监督，这可能会导致不理想的拖动结果。为了解决这些问题，我们设计了一种区分点跟踪方法和一种基于置信度的运动监督潜在增强策略，构建了一个稳定和精确的基于拖动的编辑框架，称为StableDrag。

2024-03-08 14:07:24 410

原创女神节快乐，谁说程序猿不懂浪漫, 50多份表白代码收好～

今天是女神节，祝各位女神节日快乐！谁说程序猿不懂浪漫💗。

2024-03-08 09:54:07 435

原创 StickerBaker：一个完全免费开源的AI贴纸魔法工具（附试用链接）

StickerBaker：一个完全免费开源的AI贴纸魔法工具。结合了Stickers SDXL Lora 和 BRIA 背景移除工具。输入你的创意提示词，你可以制作一个属于你的头像贴纸，或者是任何你想象中的图案。效果绝对令人惊艳，而且你可以自由地用于各种场合。效果真的很不错，感兴趣的可体验下。

2024-03-07 10:13:21 477

原创 AtomoVideo：阿里推出高保真图像到视频生成开源模型，具有更好的运动强度和一致性

AtomoVideo是一种新型的高保真图像到视频(I2V)生成框架，可以从输入图像生成高保真视频，实现比现有工作更好的运动强度和一致性，并且兼容各种个性化的T2I模型，无需特定调整。

2024-03-07 09:54:45 975

原创 DynamiCrafter：可实现任意类型静态图像转化为逼真动态视频，港中文、腾讯、北大联合发布

香港中文、腾讯AI LAB和北大团队联合研发的DynamiCrafter模型，能够处理几乎所有类型的图像，并根据文本提示生成逼真的动态内容，用户不再受限于特定的场景或动作，只需提供适当的文本提示，DynamiCrafter就能够创造出各种动画效果，从而大大拓宽了AI视频生成的应用范围。

2024-03-06 09:59:11 1062

原创 AI Icon Generator:免费的AI图标生成器,一键生成你想要的图标（附试用链接）

AI Icon Generator是一款允许任何人使用人工智能技术创建或生成图标的工具。借助 AI 图标生成器，任何人都可以根据文本创建独特的个性化图标。AI Icon Generator 利用 AI 技术实现设计过程自动化，使任何人都可以轻松生成任何图标，无论其设计技能或经验如何。

2024-03-05 11:29:15 502

原创 Anthropic发布Claude 3, 在多任务上达到了新的SOTA，支持100万Token上下文，效果超过GPT-4！

AnthropicAI发布了Claude 3，包含三个模型：Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku，它们在推理、数学、编程、多语言理解和视觉方面达到了新的SOTA，效果超过GPT-4。Opus 和 Sonnet 现在已经可以在 claude.ai 和 Claude API 中使用，后者现在已经在 159 个国家普遍可用。Haiku也将很快推出。

2024-03-05 10:40:04 1526