- 博客(206)
- 资源 (57)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 【一些网站的收集】包含机器学习深度学习大牛主页等
数学概念部分旋转矩阵、欧拉角、四元数的比较欧拉角和四元数的表示四元数与旋转B样条曲线非常好的概率统计学习的主页误差方差偏差编程语言学习C#编程视频OpenGL编程NeHeOpenGL官网OpenGL“我叫MT“纯手工3D动画制作之1——基础介绍【强大】非常好的OpenGL教程2D和3D的OpenGL教程【Python】从入门到机器学习的视频教...
2016-06-18 21:59:16
21648
9
原创 【caffe-Windows】caffe+VS2013+Windows+GPU配置+cifar使用
好吧，先说一个坑~~~千万千万不要擅自去安装CUDNN的v5版本，caffe貌似真的是不支持哇，表示本人已跳进这个坑，花了一下午才发现此坑，并跳出来了先来波地址：CUDA：链接：http://pan.baidu.com/s/1nvyA3Qp 密码：h0f3 官方网址：https://developer.nvidia.com/cuda-toolkitcudnn：链接：http:/
2016-05-31 21:37:19
28924
44
原创 【caffe-Windows】caffe+VS2013+Windows无GPU快速配置教程
首先来一波地址：happynear大神的第三方caffe：http://blog.csdn.net/happynear/article/details/45372231Neil Z大神的第三方caffe：https://initialneil.wordpress.com/2015/01/11/build-caffe-in-windows-with-visual-studio-2013-cu
2016-05-09 22:02:48
78843
282
原创 UE自带重定向原理
UE自带重定向方法验证核心源码在VS的解决方案中的位置：UE4\Source\Developer\AssetTools\Private\AssetTypeActions\AnimSequence.cpp中第3237行RemapTracksToNewSkeleton函数跳转方法AssetTypeActions_AnimationAsset.cpp的RetargetNonSkeletonAnimationHandler函数调用了RetargetAnimationHandler跳转到EditorA
2022-02-11 20:51:55
2780
2
原创 卡通角色表情驱动系列二
前言之前介绍了使用传统算法求解BS系数的表情驱动方法，其中提到过的三种方法之一是基于网格形变迁移做的，那么这篇文章就是对《Deformation Transfer for Triangle Meshes》做表情驱动的解析。国际惯例，参考博客：论文原文《Deformation Transfer for Triangle Meshes》大佬的代码本博文实现几乎照搬大佬代码，但是大佬代码实在是太多太复杂了，搞了很多库和函数，还有很多重复的实现，所以本博客一边解析论文，一边按照大佬的代码简化实现，把几
2021-07-17 22:51:43
3906
2
原创 opencv相机标定和人头姿态估计案例
前言头部驱动除了之前关注的表情驱动外，还有眼球驱动和头部方向驱动。本博客基于opencv官方文档和部分开源代码来研究如何基于人脸关键点获取头部的朝向。国际惯例，参考博客：opencv:Camera Calibration and 3D Reconstructionopencv:Real Time pose estimation of a textured objectcv.solvePnP位姿估计旋转向量精度分析头部姿态估计原理及可视化重磅！头部姿态估计「原理详解 + 实战代码」来啦！相机矩
2021-04-09 16:27:44
4249
1
原创 卡通角色表情驱动系列一
前言分析完ThreeDPoseTracker来做卡通角色的身体驱动，接下来在卡通驱动领域还有一个是表情驱动。对这个真的是一窍不通啊，只能慢慢看论文了。国际惯例，参考博客/论文：《Landmark-guided deformation transfer of template facial expressions for automatic generation of avatar blendshapes》《FACSvatar: An Open Source Modular Framework fo
2021-04-07 17:45:41
7986
17
原创 卡通驱动项目ThreeDPoseTracker——关键点平滑方案解析
前言之前对ThreeDPoseTracker的深度学习模型和unity中的驱动方法进行过解析，还有一个比较重要的就是从深度学习模型出来的3D关键点数据会有抖动，在ThreeDPoseTracker源码中有做两次平滑，一部分是卡尔曼滤波，还有一部分是低通滤波。这次就是对这部分类型进行解析。国际惯例参考博客：ThreeDPoseTracker源码VNectBarracudaRunner.cs理论与代码复现在源工程的VNectBarracudaRunner.cs脚本中，有一个函数KalmanUpdate
2021-03-18 17:17:42
5868
10
原创 卡通驱动项目ThreeDPoseTracker——模型驱动解析
前言之前解析过ThreeDPoseTracker这个项目中的深度学习模型，公众号有兄弟私信一些问题，我刚好对这个项目实现有兴趣，就分析一波源码，顺便把问题解答一下。这个源码其实包括很多内容：3D姿态估计，坐标平滑，骨骼驱动，物理仿真等，非常值得分析。参考博客：ThreeDPoseTracker源码理论与实现核心代码是源码中的VNectModel.cs，主要是用预测出的3D坐标驱动卡通人体模型，包括内容有：根关节位置各关节旋转信息其核心在于旋转量的确定，至于根关节位置的确定，感觉涉及到很
2021-03-09 19:30:40
12924
8
原创 Unity中BVH骨骼动画驱动的可视化理论与实现
前言找了很久使用BVH到unity中驱动骨骼动画的代码，但是都不是特别好用，自己以前写过，原理很简单，这里记录一下。理论初始姿态在BVH或者其它骨骼动画中，一般涉及到三种姿势：A-pose，T-pose，其它姿势。其中A-pos或者T-pos通常是作为骨骼定义的姿势或者第一帧骨骼姿势。比如在unity中，导入某个模型时，通常为T-pose的姿态，如unity娘模型刚导入的时候：这个Tpose在CMU提供的BVH骨骼动画数据中，第一帧数据也是T-pose，比如：但是在Maya中设计角色，或者
2021-01-09 16:58:09
7229
23
原创 OBJ可视化——UV还原(修正)
前言前面写过一篇obj格式解析的博客，但是这篇文章中可视化的工作是参考PRNet的源码进行的，后来细细思考了一下，有点问题，具体看下面。问题来源在PRNet源码的render.py中有个函数render_texture，是作者用于将uv展开图重新映射回3D模型中，具体流程可以看出是：找到当前三角形的uv坐标和3D坐标将三个顶点的uv图颜色取平均，作为当前面片的颜色tri_tex = (colors[:, triangles[0,:]] + colors[:,triangles[1,:]]
2020-12-30 14:31:02
3557
7
原创 径向基函数RBF三维网格变形
前言之前写过径向基函数(RBF)神经网络做分类或者拟合。然后挖了个坑说在《Phase-Functioned Neural Networks for Character Control》里面提到了用于做地形编辑，所以这篇博客就是解析一下如何用RBF做网格编辑系统。参考博客：Noe’s tutorial on deforming 3D geometry using RBFs基于参考博客的人脸网格编辑code有很多网格变形算法的python包PyGem《Real-Time Shape Editing
2020-12-14 18:56:30
5262
1
原创 OpenCV学习——形态学
前言继续学习图像里面的形态学知识——结构元、腐蚀、膨胀、开运算、闭运算、击中/不击中变换。以及部分基本形态学算法，包括边界提取、空洞填充、连通分量的提取、凸壳、细化、粗化、骨架、裁剪、形态学重建。其实就是对冈萨雷斯的《数字图像处理》中第9章节《形态学处理》的简要理解。如果你认为腐蚀是减小白色区域，膨胀是扩充白色区域，请务必看本博客，注意不同结构元的结果。参考博客：OpenCV官方的形态学运算文档冈萨雷斯的《数字图像处理》第9章某位大佬的形态学总结理论与实践结构元结构元实际就是一个自定义的
2020-12-07 15:14:17
2261
原创 RBF神经网络理论与实现
前言最近发现有挺多人喜欢径向基函数(Radial Basis Function,RBF)神经网络，其实它就是将RBF作为神经网络层间的一种连接方式而已。这里做一个简单的描述和找了个代码解读。之前也写过一篇，不过排版不好看，可以戳这里跳转国际惯例，参考博客：维基百科径向基函数《模式识别与智能计算——matlab技术实现第三版》第6.3章节《matlab神经网络43个案例分析》第7章节tensorflow2.0实现RBF理论基本思想用RBF作为隐单元的“基”构成隐藏层空间
2020-11-02 18:46:51
36129
13
原创 OpenCV学习——轮廓检测
前言轮廓检测是传统视觉中非常常用的功能，这里简单记录一下opencv中的轮廓检测算法使用方法，至于理论，后续有机会再去细品。国际惯例：OpenCV官方的轮廓检测教程python版OpenCV中的二值化方法教程OpenCV轮廓层级官方文档维基百科：图像矩(Image Moment)调用流程和方法OpenCV里面通常要求是针对二值图像进行二值化，所以轮廓检测包含如下步骤：载入图像灰度化二值化轮廓检测代码实现如下：img =cv2.imread("blackBG.jpg")# g
2020-10-31 16:30:43
14920
5
原创 Flask服务部署与简单内网穿透
前言最近学习部署的时候，想到深度学习里面通常用的部署方法是flask做服务端，然后使用nginx做负载均衡，貌似也能做内网穿透。不过我不太懂负载均衡，只想利用本地电脑搭建一个简单的服务器，实现外部调用API服务的功能。所以本文会介绍到的内容有：flask服务端与客户端的通信ngrok简单地做内网穿透，使得非同一个局域网的电脑能够通过公网IP访问服务国际惯例，参考博客：flask官方文档ngrok官方入口ngrok的官方文档Flask服务端和客户端基于flask写一个上传文件的功能，不管
2020-10-21 15:42:50
3780
3
原创 obj格式解析
前言最近处理一些网格渲染的时候，需要解析Obj文件，从Free3D上随便找了个免费的人体obj模型解析测试一波国际惯例，参考博客：本文所使用的从Free3D下载的模型.obj文件格式与.mtl文件格式详解3D中的obj文件格式3D中OBJ文件格式解析obj文件解析维基百科Wavefront .obj fileObject Files (.obj)MTL Files Material Definitions for OBJ Filespython读取objobj的可视化软件MeshLa
2020-10-15 19:36:24
7690
1
原创 仿射变换和透视变换
前言在前面做换脸的博客中提到了使用仿射变换和透视变换将两张不同的人脸基于关键点进行对齐，保证一张人脸贴到另一张人脸时，大小完全一致；所以有必要理解一下这两个概念的区别，由于以实用性为目的，所以所有的图像算法都会以opencv为例，去探索其用法。国际惯例，参考博客：opencv中的warpAffineopencv中的warpPerspective【opencv实践】仿射变换和透视变换仿射变换与透视变换区别图像处理的仿射变换与透视变换Affine and Projective Transform
2020-10-15 00:36:49
1156
1
原创 Ogre共享骨骼与两种骨骼驱动方法
前言最近业务中用到Ogre做基于3D关键点虚拟角色骨骼驱动，但是遇到两个问题：身体、头、眼睛、衣服等mesh的骨骼是分开的，但是骨骼结构都是一样的，需要设置共享骨骼驱动的时候可以直接修改骨骼旋转量，或者将旋转量存到动画帧里面去，后者会根据播放时间间隔自动插帧国际惯例，参考博客：Ogre3D 实现角色换装【Ogre-windows】旋转矩阵及位置解析Ogre 换装系统 shareSkeletonInstanceWith代码实现下面分别包括：共享骨骼、关节驱动、动画帧驱动、遇到的坑其中关
2020-10-13 16:33:19
831
原创 ColorSpace颜色空间简介
前言如果看过之前的介绍的图像颜色迁移《color transfer between images》和颜色协调模型Color Harmoniztion就会发现，大部分图像处理算法虽然输入输出是RGB像素值，但是中间进行算法处理时很少直接更改RGB值，而是转换到其它空间，使得各颜色分量之间的影响越小越好，而RGB像素值互相影响比较严重，有文章研究发现当图像蓝色通道值比较大的时候，红绿通道值也比较大，不然会出现一些诡异的颜色。为了更好地理解各类传统的图像算法理论，我们需要对色彩空间有一个大概的认识。国际惯例
2020-10-10 19:44:59
13011
原创 图像颜色迁移《color transfer between images》
前言前段时间，在深度学习领域不是有个比较火的方向叫风格迁移的嘛，对于我这种不喜欢深度学习那种不稳定结果的人来说，还是想看看传统图像处理领域有什么类似的技术，发现了一个颜色迁移的算法，很久前的论文了。国际惯例，参考博客:原论文《color transfer between images》大佬的python实现大佬的matlab实现知乎解析《Color transfer between images》理论与对应代码复现这篇文章的用途在于：利用一张图片的颜色去矫正领一张图片，比如你在昏暗的场景
2020-10-09 16:33:17
6716
5
原创 OpenVINO——配置与道路分割案例
前言最近看到了一个深度学习库OpenVINO，专门用于Intel硬件上部署深度学习模型，其内置了非常非常多使用的预训练模型，比如道路分割、人脸提取、3D姿态估计等等。但是配置和调用有点小恶心，这里以道路分割为例，展示如何配置OpenVINO的环境，以及模型下载和调用国际惯例，参考博客：OpenVINO提供的所有预训练模型列表OpenVINO的物体分割文档OpenVino (二） Win10 python配置配置需要注册一个账号下载OpenVINO，按照官网给出的win10安装方法 一直各种下一
2020-08-17 12:38:17
1475
2
原创 一个简单好用的磨皮祛斑算法理论和python实现
前言最近看了一个磨皮算法祛斑感觉效果不错，效果图看文末就行，个人觉得效果非常不错滴。国际惯例，参考博客：磨皮算法的源码：YUCIHighPassSkinSmoothingHow To Smooth And Soften Skin With Photoshop图像算法—磨皮算法研究汇总妹纸们的最爱 - 美颜算法，美颜SDK.Net里面的coreImageIOS里面的coreImageCore Image Kernel Language ReferenceCore Image Filter
2020-08-04 20:54:05
4073
原创 简易的素描图片转换流程与实现
前言之前经常在网上看到用PS实现真实图片到素描图片的转换，但是流程都大同小异，身为一只程序猿，必须来个一键转化额。国际惯例，参考博客：Photoshop基础教程：混合模式原理篇颜色减淡的原理讲解以及应用ps是如何通过最小值获得描边效果的？图纸转线稿背后的计算机绘图原理步骤与实现网上的流程大都分为四个步骤：去色：直接把彩图转成灰度图或者转成HSV/HSL后将饱和度S的值置零反向：将去色后的图像颜色去反，直接用255减滤镜：高斯模糊或者PS里面的最小值滤镜颜色减淡：PS里面叫color
2020-08-02 20:50:25
1651
原创 3D姿态估计——ThreeDPose项目简单易用的模型解析
前言之前写过tensorflow官方的posenet模型解析，用起来比较简单，但是缺点是只有2D关键点，本着易用性的原则，当然要再来个简单易用的3D姿态估计。偶然看见了ThreeDPose的项目，感觉很强大的，所以把模型扒下来记录一下调用方法。参考博客：ThreeDPose官方代码微软的ONNX模型解析库ONNX解析库的pythonAPI文档3D姿态估计最大的好处就是卡通角色的肢体驱动了，其实就是单目摄像头的动捕方法。理论和代码解析可以从官方去下载模型,戳这里，或者在文末的百度网盘下载。
2020-07-22 15:05:41
10115
26
原创 3D人脸表情驱动——基于eos库
前言之前出过三篇换脸的博文，遇到一个问题是表情那一块不好处理，可行方法是直接基于2D人脸关键点做网格变形，强行将表情矫正到目标人脸，还有就是使用PRNet的思想，使用目标人脸的顶点模型配合源人脸的纹理，可以让表情迁移过来，但是这个表情是很僵硬的。比如笑脸的3D顶点模型，结合不笑人脸的纹理图，生成的笑脸是非常奇怪的。有兴趣可以翻csdn前面的文章，或者关注公众号检索人脸相关文章。这里针对表情，采用另一种方案——blendshape。这个理论在表情动画中经常使用到，目的就是驱动人脸表情，无论是动画人脸还是真
2020-06-23 17:15:40
10993
31
原创 OpenCV使用Tensorflow2-Keras模型
前言最近工作上需要在C++上快速集成Tensorflow/Keras训练好的模型，做算法验证。首先想到的就是opencv里面的dnn模块了，但是它需要的格式文件比较郁闷，是pb格式的模型，但是keras通常保存的是h5文件，查阅了很多资料，最后找到了很方便的方法。国际惯例，参考博客Frozen_Graph_TensorFlow这个地址的大佬用fashion mnist写的训练和测试，我这里用更简单的线性回归为例。训练老样子，引入相关的包，创建数据集import numpy as npimpo
2020-05-26 15:17:11
2146
原创 PCA、SVD、ZCA白化理论与实现
简介在UFLDL中介绍了主成分分析这一块的知识，而且当时学机器学习的时候，老师是将PCA和SVD联系起来将的，同时UFLDL也降到了使用PCA做数据白化whitening处理，这个词经常在论文里面看到。国际惯例，参考博客：UFLDL的PCA章节PRML的第12.1 PCA章节知乎深入理解PCA与SVD的关系PCA and SVD explained with numpyRelatio...
2020-04-21 01:31:21
1355
3
原创 tensorflow2安装时候的一个dll找不到的错误
电脑环境：vs2015python3.7.6，使用anaconda安装的CUDA 10.1cuDnn 7.6.5tensorflow2.1.0错误内容File "C:\Users\zb116\anaconda3\lib\imp.py", line 242, in load_module return load_dynamic(name, filename, file) ...
2020-04-12 22:47:04
734
原创 tensorflow官方posenet模型解析
前言tensorflow官方有个姿态估计项目，这个输入和openpose还有点不一样，这里写个单人情况下的模型输出解析方案。国际惯例，参考博客：博客: 使用 TensorFlow.js 在浏览器端上实现实时人体姿势检测tensorflow中posnet的IOS代码解析不要下载官方overview网址下的posenet模型multi_person_mobilenet_v1_075_flo...
2020-03-15 16:04:01
7008
8
原创 3D人脸重建——PRNet网络输出的理解
前言之前有款换脸软件不是叫ZAO么，分析了一下，它的实现原理绝对是3D人脸重建，而非deepfake方法，找了一篇3D重建的论文和源码看看。这里对源码中的部分函数做了自己的理解和改写。国际惯例，参考博客：什么是uv贴图？PRNet论文PRNet代码本博客主要是对PRNet的输出进行理解。理论简介这篇博客比较系统的介绍了3D人脸重建的方法，就我个人浅显的理解，分为两个流派：1.通过算...
2020-02-06 23:13:06
16338
70
原创 换脸系列——整脸替换
前言前面介绍了仅替换五官的方法，这里介绍整张脸的方法。国际惯例，参考博客：[图形算法]Delaunay三角剖分算法维诺图（Voronoi Diagram）分析与实现Delaunay Triangulation and Voronoi Diagram using OpenCV ( C++ / Python )Face Swap using OpenCV ( C++ / Python )...
2020-02-04 23:17:42
4344
原创 换脸系列——眼鼻口替换
前言想着整理一下换脸相关的技术方法，免得以后忘记了，最近脑袋越来越不好使了。应该会包含三个系列： 仅换眼口鼻；换整个面部；3D换脸先看看2D换脸吧，网上已经有现成的教程了，这里拿过来整理一下，做个记录。国际惯例，参考博客：Switching Eds: Face swapping with Python, dlib, and OpenCVopencv人脸关键点检测模型这里面一般涉及到脸与...
2020-01-20 18:46:33
2614
6
原创 Openpose推断阶段原理
前言之前出过一个关于openpose配置的博客，不过那个代码虽然写的很好，而且是官方的，但是分析起来很困难，然后再opencv相关博客中找到了比较清晰的实现，这里分析一波openpose的推断过程。国际惯例，参考博客：opencv官方文档，只有单人大佬的实现，包括多人解读直接使用opencv的dnn库调用openpose的caffe模型，然后对输出进行后处理。重点是代表关节连接亲密度的...
2020-01-19 20:13:55
6743
7
原创 颜色协调模型Color Harmoniztion
前言最近做换脸，在肤色调整的那一块，看到一个有意思的文章，复现一波玩玩。不过最后一步掉链子了，有兴趣的可以一起讨论把链子补上。主要是github上大佬的那个复现代码和原文有点差异，而且代码复杂度过高，阅读费劲，这里为了清晰理解理论知识，就一步一步按照论文的每个章节走，不过有很大一部分代码都借鉴大佬了。国际惯例，参考文献：论文《Color Harmonization》opencv超像素分割...
2020-01-17 17:58:38
1921
19
原创 骨骼动画——论文与代码精读《Phase-Functioned Neural Networks for Character Control》
前言最近一直玩CV，对之前学的动捕知识都忘得差不多了，最近要好好总结一下一直以来学习的内容，不能学了忘。对2017年的SIGGRAPH论文《Phase-Functioned Neural Networks for Character Control》进行一波深入剖析吧，结合源码。额外多句嘴，这一系列的研究有：在2016年SIGGRAPH有一篇《A Deep Learning Framewo...
2020-01-15 15:53:29
6224
22
原创 Tensorflow 指令加速
一直没注意过使用Tensorflow的时候有一条warning：Warning: your cpu supports instructions that this tensorflow binary was not compiled to use: avx2 fma这玩意是可以用来加速推断的，分CPU和GPU版，业务相关部署在CPU上，实测使用CPU加速能提升3倍左右，但是编译过程有点复杂。...
2019-10-14 15:12:05
622
原创 【TensorFlow-serving】初步学习模型部署
前言初步学习tensorflow serving的手写数字识别模型部署。包括简单的模型训练、保存、部署上线。因为对docker和网络不太熟悉，可能会有部分错误，但是看完博客，能跑通整个流程。此博客将详细介绍流程，但是不详细介绍每个流程的每步的含义，因为这些步骤不会随着任务的不同而发生太大改变。在后续博客中可能会精细介绍每一步的含义。国际惯例，参考博客：tensorflow官方文档：低阶API...
2019-09-03 21:13:42
3918
2
原创 【TensorFlow-windows】keras接口——利用tensorflow的方法加载数据
前言之前使用tensorflow和keras的时候，都各自有一套数据读取方法，但是遇到一个问题就是，在训练的时候，GPU的利用率忽高忽低，极大可能是由于训练过程中读取每个batch数据造成的，所以又看了tensorflow官方的加载数据方法。主要是利用了tf.data.Dataset这里面的一系列操作。国际惯例，参考博客：tensorflow官方加载数据集方法官方文档对应的代码images...
2019-08-23 22:07:11
1226
1
原创 深度学习特征归一化方法——BN、LN、IN、GN
前言最近看到Group Normalization的论文，主要提到了四个特征归一化方法：Batch Norm、Layer Norm、Instance Norm、Group Norm。此外，论文还提到了Local Response Normalization(LRN)、Weight Normalization(WN)、Batch Renormalization(BR)。国际惯例，参考博客：Gr...
2019-08-20 17:34:46
3353
Modeling Facial Expressions in 3D Avatars.pdf
2021-03-16
3danimationcourse—IK3.pdf
2021-03-10
基于unity的卡通角色驱动(有问题可加Q群583442643)
2020-12-15
Sample.zip
2020-04-08
test_infer.ipynb
2020-01-19
data_input.rar
2019-08-23
音频处理相关
2018-06-07
高斯过程隐变量模型-运动捕捉MOCAP
2017-08-02
Implicit mixtures of Conditional Restricted Boltzmann Machines
2017-03-26
Factored Conditional Restricted Boltzmann Machines for Modeling Motion Style
2017-03-26
modeling human motion using binary latent variables
2017-03-26
时序RBM做运动生成
2017-03-22
请问各位做算法开发的大大都用什么系统呢？
2017-02-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人