- 博客(74)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 【AIGC-图片生成视频系列-2】八仙过海，各显神通：AI生成视频相关汇总剖析
最近「图片生成视频系列」层出不穷，我拜读并结合实践（对，就是手撕代码，有开源就撕），并对以下几篇文章的相似点以及关键点稍微做个总结：
2023-12-30 23:02:28
1020
原创 【AIGC-图片生成视频系列-3】AI视频随心而动：MotionCtrl的相机运动控制和物体运动控制
MotionCtrl 提出一个用于视频生成的统一且灵活的运动控制方法，可以实现独立有效地管理生成视频中的相机运动和物体运动。
2023-12-30 22:54:45
1222
原创 【源码汇总】基于RGB-D相机的三维重建总览 包括静态与动态三维重建
大家好，我是三维匠。今天想和各位伙伴分享一些有趣的三维重建方面的工作，同时，本篇文章也是三维匠一路走来接触的相关工作的总览，后续三维匠会继续分享AI与三维重建方面的工作，希望各位伙伴能持续关注~近年来，随着AR，VR，虚拟试衣，自动驾驶等领域的兴起，三维重建技术得到了广泛的应用。三维匠自接触三维重建以来，一直为基于RGB-D相机的三维重建所惊艳。同时，心头一直盘旋着写个总结的想法，相信大家也能体会三维匠的感受，空中阁楼，如鲠在喉。最后亲身实践一番后，终于可以了却心愿。故先写个总览作为备忘，也
2021-02-09 15:18:22
943
2
原创 【AIGC-AI人像生成系列-1】PhotoMaker：定制逼真的人体照片
PhotoMaker可以很好地保留输入图像池中的ID 信息, 并且支持许多有趣的应用程序，例如 (a) 更改属性，(b) 将艺术品或旧照片的人带入现实，或 (c) 身份混合。
2024-01-21 19:56:45
1066
原创 【从零到一AIGC源码解析系列1】文本生成图片Stable Diffusion的diffusers实现
Stable Diffusion是由CompVis、StabilityAl和LAION的研究人员和工程师创建的文本到图像潜在扩散模型。它使用来自LAION-5B数据库子集的512x512图像进行训练。该模型使用冻结的CLIPViT-L/14文本编码器，并根据文本提示词来控制模型生成图片。该模型具有860M参数的UNet和123M参数文本编码器，相对轻量级，可以在许多消费级GPU上运行。*注：本文结合diffusers库来实现。
2024-01-20 15:34:38
486
原创 【AIGC-文本/图片生成视频系列-10】SparseCtrl：在文本生成视频的扩散模型中添加稀疏控制
目前学术界利用密集结构信号（例如每帧深度/边缘序列）来增强可控性，但其收集相应地增加了推理负担。实现对时间稀疏信号的灵活结构控制，仅需要一个或几个输入。它包含一个额外的条件编码器来处理这些稀疏信号，同时保持预训练的 T2V 模型不变。所提出的方法与各种模式兼容，包括草图、深度和 RGB 图像，为视频生成提供更实用的控制，并促进故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了 SparseCtrl 在原始和个性化 T2V 生成器上的泛化能力。
2024-01-16 12:57:04
1100
原创 【AIGC-文本/图片生成视频系列-9】MagicVideo-V2: 多阶段高美感视频生成
MagicVideo-V2 是一个多阶段端到端视频生成管线，能够根据文字描述生成高审美视频、高分辨率的视频。包含以下关键模块：文本到图像模型，可根据给定的文字描述生成高保真的审美图像。图像到视频模型，使用文本提示和生成的图像作为生成关键帧的条件。视频到视频模型，对关键帧进行细化和超分辨率处理，生成高分辨率的视频。视频帧插值模型，对关键帧之间的帧进行插值，以平滑视频运动最后生成高分辨率、流畅、极具美感的视频。
2024-01-14 19:40:05
1348
原创 【AIGC-文本/图片生成视频系列-8】Align your Latents: 基于潜在扩散模型的高分辨率视频合成
回顾LDM的优势：潜在扩散模型 (LDM) 可实现高质量图像合成，同时通过在压缩的低维潜在空间中训练扩散模型来避免过多的计算需求。本文将 LDM 范式应用于高分辨率视频生成，这是一项特别资源密集型的任务。具体步骤如下：1. 首先仅在图像上预训练 LDM；2. 然后，通过向潜在空间扩散模型引入时间维度并对编码图像序列（即视频）进行微调，将图像生成器变成视频生成器。类似地，我们在时间上对齐扩散模型上采样器，将它们转变为时间一致的视频超分辨率模型。1. 提出了一种有效的方法来训练基于LDM的。
2024-01-11 22:16:03
788
原创 【AIGC-图片生成视频系列-7】MoonShot：实现多模态条件下的可控视频生成和编辑
已有问题及解决方法：在视觉外观方面，文字提示词无法精确描述生成的外观。现有解决方法是在一些图片上对模型做微调，从而实现个性化的生成。同样地，对于视频生成，AnimateDiff 依赖于定制的模型权重来注入条件视觉内容，无论是通过 LoRA 还是 DreamBooth。在几何结构生成方面，尽管已有的方法，如 ControlNet 和 T2I-Adapter，利用深度、边缘图作为图像生成的视觉条件，但类似的策略对于视频合成仍然是不确定的。
2024-01-06 22:28:30
1107
原创 【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
上文提到，人们对主题驱动越来越感兴趣。但通过制作完美的文本提示来生成所需的主题内容是一大难点，并且对大多数用户而言门槛略高。分析已有的解决策略，可以发现:主题驱动的图像生成任务通过从参考图像中学习主题，并生成符合身份和风格等特定概念的图像。一种方法是涉及test-time微调，虽然有效，但需要大量的计算资源来学习每个新主题。一种方法是将参考图像编码到图像嵌入中以绕过微调成本。但是基于编码器的模型通常需要与基础扩散模型联合训练，限制了它们的通用性。
2024-01-02 23:22:28
1417
原创 【AIGC-图片生成视频系列-5】I2V-Adapter：一种用于视频扩散模型的通用图像生成视频适配器
在快速发展的数字内容生成领域，焦点已从文本到图像 (T2I) 模型转移到更先进的视频扩散模型，特别是文本到视频 (T2V)和图像到视频 (I2V)。今天要讲解的I2V-Adapter是一种用于视频扩散模型的通用图像生成视频适配器。
2024-01-01 22:15:52
1359
原创 【AIGC-图片生成视频系列-4】DreamTuner：单张图像足以进行主题驱动生成
什么是主题驱动生成？使用一张或几张参考图像生成定制概念的个性化应用。
2023-12-31 23:25:43
3411
1
原创 FLANN GPU 版本测试
转载请注明出处！CUDA 版本10.2#define FLANN_USE_CUDA#include <flann/flann.hpp>#include "cuda_runtime.h"#include "device_launch_parameters.h"#include<iostream>#include <fstream>#include <thrust/host_vector.h>#include <thrust/dev
2021-09-15 09:52:56
999
1
原创 渲染及物理模拟
https://google.github.io/filament/Filament.html渲染https://www.zhihu.com/question/264299347/answer/502924741物理模拟
2021-09-07 16:21:51
169
原创 SMPL forward
import numpy as npimport pickleclass SMPLModel(): def __init__(self, model_path): """ SMPL model. Parameter: --------- model_path: Path to the SMPL model parameters, pre-processed by `preprocess.py`. """ with open(mod.
2021-09-01 20:24:26
499
原创 AzureKinect相关
解析录制Azure 视频程序路径 G:\workSpace\doublefusion\allinone\currentwork\Eigen_Test 视频录制官方文档 https://docs.microsoft.com/en-us/azure/kinect-dk/record-sensor-streams-file
2021-03-05 16:49:45
149
原创 基于单目彩色视频的人体实时捕捉
引自视频号【三维匠心】论文《LiveCap: Real-time Human Performance Capture from Monocular Video》这是德国马普所和斯坦福大学联合发表的关于实时人体捕捉系统的工作。该工作可以仅通过输入一段单视角RGB视频，重建出稠密，时空一致性的，并且穿着日常衣服的整个人体的发生形变后的几何表面。该工作提出了一种新颖的两阶段综合分析优化方法——第一阶段，将蒙皮模板模型与去除背景的输入视频，通过神经网络回归的2D和3D骨架关节点以及一组稀...
2021-02-14 21:24:21
373
2
原创 单目RGB相机重建穿衣服的人
引自视频号【三维匠心】论文：《Learning to Reconstruct People in Clothing from a Single RGB Camera》该工作是德国布伦瑞克工业大学和马普所联合发表的。该工作提出Octopus模型，利用只包含少数帧（例如1-8帧人物移动场景）的单目视频重建个性化的3D人体模型。该工作提出的Octopus模型用时10秒甚至更少，利用SMPL模型加上衣服和头发的参数对3D形状进行重建。具体的整个推理过程主要包含两个关键点：1、通过在一个典型...
2021-02-13 14:35:42
483
2
原创 Eigen&OpenCV 代码和论文结合例子
Emfusionhttps://github.com/EmbodiedVision/emfusion/tree/master/srchomebrewdbhttps://github.com/ilics/homebrewdb/tree/3a294d5d062a0f192563b9c4c26de4934109ba59/sdf_fusion/src/aruco_sdffusion/srchttps://arxiv.org/pdf/1904.03167.pdf
2021-01-26 12:17:55
121
原创 关于SDF & deform & nicp
SDF优化:https://github.com/chyacinth/sdf2sdfhttp://campar.in.tum.de/pub/slavcheva2016eccv/slavcheva2016eccv.pdfhttps://github.com/wangxihao/MeshSDFilterhttps://github.com/wangxihao/MeshReconstructionnicphttps://github.com/RhythmJnh/Non-rigid-ICP
2021-01-26 12:10:31
238
原创 测地距geodesic
http://www.cmap.polytechnique.fr/~peyre/geodesic_computations/
2021-01-26 12:02:47
327
1
原创 关于最优化以及优化器
优化器可视化https://blog.csdn.net/wangwei19871103/article/details/90814987https://gitlab.com/snowhitiger/learn_deep_learning最优化教材http://bicmr.pku.edu.cn/~wenzw/optbook.htmlhttp://bicmr.pku.edu.cn/~wenzw/optbook/pages/contents/contents.html...
2021-01-26 11:51:53
156
原创 Marching Cube
https://graphics.stanford.edu/~mdfisher/MarchingCubes.htmlhttp://paulbourke.net/geometry/polygonise/
2021-01-08 16:58:46
148
原创 大规模线性方程组求解
关于优化1.大规模线性方程组求解https://blog.tsingjyujing.com/game201/linear_eq_solverhttps://zhuanlan.zhihu.com/p/163593656
2020-12-30 14:20:32
787
原创 计算机图形学资源网站
MPIhttps://www.mpi-inf.mpg.de/publicationsGVVhttp://gvv.mpi-inf.mpg.de/index.htmlLihaohttp://www.hao-li.com/Hao_Li/Hao_Li_-_publications.html
2020-12-18 10:04:51
665
转载 旋转矩阵李代数的推导——旋转矩阵的李代数向量对应着旋转矩阵的旋转向量吗
转载https://www.jianshu.com/p/345d0ece5005
2020-12-16 20:20:50
389
原创 Windows下的Preprocessor
windows下有用的全局宏__TBB_NO_IMPLICIT_LINKAGEWIN32_WINDOWSNDEBUGCERES_GFLAGS_NAMESPACE=google_USE_MATH_DEFINES_VARIADIC_MAX=10GFLAGS_DLL_DECLARE_FLAG=GFLAGS_DLL_DEFINE_FLAG=GLOG_NO_ABBREVIATED_SEVERITIESGOOGLE_GLOG_DLL_DECL=GFLAGS_IS_A_DLL=0CMAKE_
2020-12-07 14:21:34
114
原创 二叉树的下一个结点
题目描述给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。结合图，我们可发现分成两大类：1、有右子树的，那么下个结点就是右子树最左边的点； 2、没有右子树的，也可以分成两类，a)是父节点左孩子 ，那么父节点就是下一个节点 ； b)是父节点的右孩子,找他的父节点的父节点的父节点...直到当前结点是其父节点的...
2019-08-07 10:48:31
71
原创 删除链表中重复的结点
题目描述在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5思路：1. 首先添加一个头节点，以方便碰到第一个，第二个节点就相同的情况2.设置 pre ，cur指针， pre指针指向当前确定不重复的那个节点，而cur...
2019-08-06 23:48:07
88
原创 链表中环的入口结点
题目描述给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，输出null。思路：两个结论：1、设置快慢指针，假如有环，他们最后一定相遇。2、两个指针分别从链表头和相遇点继续出发，每次走一步，最后一定相遇与环入口。证明结论1：设置快慢指针fast和low，fast每次走两步，low每次走一步。假如有环，两者一定会相遇（因为low一旦进环，可看作fast在后面追赶low...
2019-08-06 22:21:25
71
原创 正则表达式匹配
题目描述请实现一个函数用来匹配包括'.'和'*'的正则表达式。模式中的字符'.'表示任意一个字符，而'*'表示它前面的字符可以出现任意次（包含0次）。 在本题中，匹配是指字符串的所有字符匹配整个模式。例如，字符串"aaa"与模式"a.a"和"ab*ac*a"匹配，但是与"aa.a"和"ab*a"均不匹配思路：解这题需要把题意仔细研究清楚，反正我试了好多次才明白的。首先，...
2019-08-06 21:16:14
82
原创 把字符串转换成整数
题目描述将一个字符串转换成一个整数(实现Integer.valueOf(string)的功能，但是string不符合数字要求时返回0)，要求不能使用字符串转换整数的库函数。 数值为0或者字符串不是一个合法的数值则返回0。输入描述:输入一个字符串,包括数字字母符号,可以为空输出描述:如果是合法的数值表达则返回该数字，否则返回0示例1输入+2147483647 ...
2019-08-06 16:22:43
137
原创 数组中重复的数字
题目描述在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。class Solution {public: // Parameters: // ...
2019-08-06 15:26:28
73
原创 孩子们的游戏(圆圈中最后剩下的数)
题目描述每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任意的挑选礼物,并且不再回到圈中,从他的下一个小朋友开始,继续0...m-1报数....这样下去.....
2019-08-06 14:43:16
65
原创 扑克牌顺子
题目描述LL今天心情特别好,因为他去买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张^_^)...他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,如果抽到的话,他决定去买体育彩票,嘿嘿！！“红心A,黑桃3,小王,大王,方片5”,“Oh My God!”不是顺子.....LL不高兴了,他想了想,决定大\小 王可以看成任何数字,并且A看作1,J为11,Q为12,K...
2019-08-05 17:28:08
91
原创 翻转单词顺序列
题目描述牛客最近来了一个新员工Fish，每天早晨总是会拿着一本英文杂志，写些句子在本子上。同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am a student.”。Cat对一一的翻转这些单词顺序可不在行，你能帮助他么？思路：算法思想：...
2019-08-05 16:07:19
60
原创 和为S的两个数字
题目描述输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。输出描述:对应每个测试案例，输出两个数，小的先输出。思路：证明如下，清晰明了：//输出两个数的乘积最小的。这句话的理解？假设：若b>a,且存在，a + b = s;(a - m ) + (b + m) = s则：(a -...
2019-08-05 15:09:33
67
原创 和为S的连续正数序列
小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!输出描述:输出所有和为S的连续正数序列。序列内...
2019-08-05 11:25:11
63
原创 数组中只出现一次的数字
题目描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。思路:首先：位运算中异或的性质：两个相同数字异或=0，一个数和0异或还是它本身。当只有一个数出现一次时，我们把数组中所有的数，依次异或运算，最后剩下的就是落单的数，因为成对儿出现的都抵消了。依照这个思路，我们来看两个数（我们假设是AB）出现一次的数组。我们首先还是先异或，剩下的数...
2019-08-05 00:39:07
89
原创 第一个只出现一次的字符
题目描述在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.代码:class Solution {public: int FirstNotRepeatingChar(string str) { int len =str.size(); ...
2019-07-22 01:44:36
68
空指针 不知空哪 大神求助！！！
2014-10-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人