o0Helloworld0o的博客

原创 Learning Signed Distance Field for Multi-view Surface Reconstruction（ICCV21）

暂无

原创 Contrastive Learning for Unpaired Image-to-Image Translation（ECCV20）

源代码：https://github.com/taesungp/contrastive-unpaired-translation注意事项设置display_id=-1，以禁用visdomtrain.py代码中total_iters每次累加当前的batch_size，所以设置print_freq应该是batch_size的整数倍注意设置save_epoch_freq，以节约磁盘空间日志epoch编号从1开始测试时，options/test_option.py默认eval为False，最好设置为T

原创 Head Pose系列

BIWI数据集下载kinect_head_pose_db.tgz，解压如下hpdb ├─01 │ ├─depth.cal │ ├─rgb.cal │ ├─frame_00003_depth.bin, frame_00003_pose.txt, frame_00003_rgb.png │ ├─frame_00004_depth.bin, frame_00004_pose.txt, frame_00004_rgb.png │ ├─ ... │ └─frame_00

原创 工程开发建议

训练代码基于某个框架，就一直用它部署代码每一个可能的环节都要对齐，每一个有用的可视化都要进行开发，弄一个debug_flag一目了然，实际使用设置为False不会有任何影响，一旦发现不对，打开debug_flag=True，一目了然平时多花点时间做一些保险，实际调试起来就会很顺畅...

原创 Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild（CVPR20）

本文的效果其实也一般，去网站demo跑一下就知道了，一个明显的瑕疵是眼睛容易被预测成尖的；尽管如此，还是可以从源代码中学习到很多东西（因为支持透视投影）同时，可以对比一下DECA，因为DECA也是使用了displacement map本文的方法对于嘟嘴，也无法重建出来，一是因为嘟嘴被投影成图像后，信息丢失太多了，难度很大；二是数据集中本身嘟嘴的图像就不多3. Method本文的方法不仅局限于人脸，只要是同一个类别的object就行As we have only raw images to lea

原创 Face Alignment Across Large Poses: A 3D Solution（CVPR16，TPAMI17）

Face Alignment Across Large Poses: A 3D Solution（CVPR16）AbstractFace alignment, which fits a face model to an image and extracts the semantic meanings of facial pixels, has been an important topic in CV community.这算是对Face Alignment的含义的权威解释吗yaw=0～45°属

原创 img2pose: Face Alignment and Detection via 6DoF, Face Pose Estimation（CVPR21）

可视化pose_references/vertices_trans.npyc=0, [-0.891652, 0.890319], span=1.781972c=1, [-0.975868, 1.000126], span=1.975995c=2, [-0.751428, 0.774013], span=1.525441center = [-0.00005079 -0.00001977 -0.00001119]

原创 零零碎碎

原创 FaceScape：a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction（CVPR）

源代码理解固定3D关键点，2D投影关键点，求s, R, tdef _optimize_rigid_pos(self, scale, trans, rot_vector, lm_pos_3D, lm_pos)scale: 标量trans: 2维向量rot_vector: 3维向量lm_pos_3D: (68, 3)lm_pos: (68, 2)核心调用from scipy.optimize import least_squaresresult = least_squares(self._

原创 Towards Fast, Accurate and Stable 3D Dense Face Alignment（ECCV20）

从源代码理解3DDFA_V2的推理过程默认crop_policy = 'box'，bbox宽和高的平均值记为old_size，找到bbox的中心(center_x, center_x)，从中心向四周扩展尺寸为int(old_size * 1.58)，从而截取出一个正方形resize截取正方形，使得尺寸为120x120，输入网络，输出为一个62维向量解析62维向量...

原创 Pillow Library Memo

基础操作img = img.transpose(Image.ROTATE_270) # 逆时针旋转270

原创 Apple ARKit Expression BlendShape

browDownRight, browInnerUp, browOuterUpRight

原创 Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images（CVPR20）

首先进行一些科普3D Face FittingV=[v1,v2,⋯ ,vn]∈Rn×3\mathbf{V}=\left [ v_1, v_2, \cdots, v_n \right ]\in\mathbb{R}^{n\times3}V=[v1​,v2​,⋯,vn​]∈Rn×3表示一个含有nnn个顶点的3D mesh将3D mesh按照P={f,R,h2d}\mathbf{P}=\left \{ f, \mathbf{R}, \mathbf{h}_\text{2d} \right \}P={f,R,h2

原创 StyleRig: Rigging StyleGAN for 3D Control over Portrait Images（CVPR20 oral）

4. Semantic Rig Parameters

原创 MobileNetV2: Inverted Residuals and Linear Bottlenecks

PyTorch代码

原创 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

定义输入feature map尺寸为DF×DF×MD_F\times D_F\times MDF​×DF​×M，输出feature map尺寸为DF×DF×ND_F\times D_F\times NDF​×DF​×N，假设卷积前后空间维度不变，通道数由MMM变为NNN

原创 Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization（ICCV17）

Perceptual Losses for Real-Time Style Transfer and Super-Resolution（ECCV16）给定输入图像xxx，经过一个网络得到yyy，同时有content image ccc和style image sss，使用一个VGG19来计算loss，令yyy的content与ccc相似，同时令yyy的style与sss相似...

原创 Image Style Transfer Using Convolutional Neural Networks（CVPR16）

Abstract之前的工作不太成功，是因为缺乏一种表示图像semantic information的representations，用来分离图像的content和style1. IntroductionTransferring the style from one image onto another can be considered a problem of texture transfer.style transfer本质上是texture transfer，所以本文的目标是按照source

原创 Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation（CVPR20）

No Independent Component for Encoding (NICE).

原创 经典GAN网络结构

首先是Encoder部分 (N, 3, 256, 256)【Conv 3->64 7x7 s=1 fp=2】【IN + ReLU】 (N, 64, 256, 256)【Conv 64->128 3x3 s=2 p=1】【IN + ReLU】 (N, 128, 128, 128)【Conv 128->256 3x3 s=2 p=1】【IN + ReLU】 (N, 256, 64, 64)接下来是9个ResnetBlock...

原创 开源人脸数据集

VGGFace2test_list.txt 共169396行testn000001n009294

原创 Numpy/Pandas Note

整型变量分组# 相邻2个数字构成左开右闭区间bins = [-1, 3, 11, 17, 29, 40, 55, 65, 80, 100]labels = ['age_group%d' % i for i in range(len(bins) - 1)]df['age_group'] = pd.cut(x=df['age'], bins=bins, labels=labels)df['age_group'] = df['age_group'].astype(str)df = df.join.

原创 Diverse Image-to-Image Translation via Disentangled Representations（ECCV18）

3 Disentangled Representation for I2I Translationtwo visual domains：X∈RH×W×3\mathcal{X}\in\mathbb{R}^{H\times W\times 3}X∈RH×W×3，Y∈RH×W×3\mathcal{Y}\in\mathbb{R}^{H\times W\times 3}Y∈RH×W×3如Fig.3所示，整个framework包含content encoders {EXc,EYc}\left \{ E_\mat

原创 Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Conv

Proposed MethodologyHeatmap Regression将预测AU intensity vector的问题转换为预测multiple AU heatmapsFig.2给出了每一个AU的central locationQ：每一个点都应该由68个landmarks通过某些规则计算得到的吧，文中没有仔细说明...

原创 Controllable Person Image Synthesis with Attribute-Decomposed GAN（CVPR20）

3. Method Descriptionframework中涉及到pose P∈R18×H×WP\in\mathbb{R}^{18\times H\times W}P∈R18×H×W表示为18通道的heatmap3.1. GeneratorGenerator的输入为source person image IsI_sIs​和target pose PtP_tPt​，输出为generated ...

原创 LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup（ICCV19）

3. LADN3.1. Problem Formulation定义domain，X⊂RH×W×3X\subset \mathbb{R}^{H\times W\times 3}X⊂RH×W×3为before-makeup faces，Y⊂RH×W×3Y\subset \mathbb{R}^{H\times W\times 3}Y⊂RH×W×3为after-makeup faces数据集包括{x...

原创 BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network（ACMMM18）

3 OUR APPROACH: BEAUTYGANnon-makeup image domain A⊂RH×W×3A\subset \mathbb{R}^{H\times W\times 3}A⊂RH×W×3，makeup image domain B⊂RH×W×3B\subset \mathbb{R}^{H\times W\times 3}B⊂RH×W×3生成器(IsrcB,IrefA)=G...

原创 PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer（CVPR20）

3. PSGAN3.1. Formulationsource image domain XXX, reference image domain YYY{xn}n=1,⋯ ,N,xn∈X\left \{ x^n \right \}_{n=1,\cdots,N}, x^n\in X{xn}n=1,⋯,N​,xn∈X，{ym}m=1,⋯ ,M,ym∈Y\left \{ y^m \right \}_...

原创 Guided Image-to-Image Translation with Bi-Directional Feature Transformation（ICCV19）

不同于一般的image-to-image translation，本文主要针对带guided信息的image-to-image translation

原创 TensorFlow Memo

multi-label使用的损失函数loss = tf.losses.sigmoid_cross_entropy(tensor_label, tensor_logit)

原创 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks（ICCV17）

3. Formulation2个domain记作XXX和YYY，unpaired data {xi}i=1N,xi∈X\left \{ x_i \right \}_{i=1}^N, x_i\in X{xi​}i=1N​,xi​∈X，{yj}j=1M,yj∈Y\left \{ y_j \right \}_{j=1}^M, y_j\in Y{yj​}j=1M​,yj​∈Y记data distri...

原创 MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets（AAAI20）

MarioNETte ArchitectureFig.2展示了MarioNETte的框架图给定driver image x\mathbf{x}x，一组target images {yi}i=1⋯K\left \{ \mathbf{y}^i \right \}_{i=1\cdots K}{yi}i=1⋯K​，整个framework输出一幅Reenacted image注意：driver x\...

原创 CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation

II. PROPOSED CSGAN ARCHITECTURE数据集X∈{(Ai),(Bi)}i=1nX\in\left \{ (A_i), (B_i) \right \}_{i=1}^nX∈{(Ai​),(Bi​)}i=1n​，包含nnn个样本，每个样本包含来自domain AAA和BBB的2幅paired images学习目标是2个生成器：GAB:A→BG_{AB}: A\rightarr...

原创 Landmark Assisted CycleGAN for Cartoon Face Generation

3. Our Method3.1. Review of CycleGAN给定来自两个domain的unpaired training samples x∈X,y∈Yx\in X, y\in Yx∈X,y∈Y，对于其从XXX到YYY的mapping GX→YG_{X\rightarrow Y}GX→Y​，及其判别器DYD_YDY​，adversarial loss定义如下LGAN(GX→Y,D...

原创 Make a Face: Towards Arbitrary High Fidelity Face Manipulation（ICCV19）

3. Method定义face image x∈Xx\in Xx∈X，给定target facial structural information ccc，学习一个mapping G\mathcal{G}G，将xxx转换为output image x~\tilde{x}x~

原创 Face Video Generation from a Single Image and Landmarks

3. Proposed Framework本文提出MotionGAN，给定source image sss及其landmark lll，还有一段target landmark序列 l1T=[l1,l2,⋯ ,lT]l_1^T=\left [ l_1, l_2, \cdots, l_T \right ]l1T​=[l1​,l2​,⋯,lT​]，生成的一段video f~1T=[f~1,f~2,⋯ ...

原创 Few-Shot Adversarial Learning of Realistic Neural Talking Head Models（ICCV19）

3.2. Meta-learning stagesimulating episodes of K-shot learning (K = 8 in our experiments)随机选取第iii个视频xi\textbf{x}_ixi​中的第ttt帧xi(t)\textbf{x}_i(t)xi​(t)，接着再从这个视频中额外抽取KKK帧，也就是KKK个index，记为s1,s2,⋯ ,sKs...

原创 Variational AutoEncoders

VAE属于Explicit density，因为VAE使用极大似然估计，需要考虑data likelihood pθ(x)p_\theta(x)pθ​(x)VAE属于Approximate density，因为VAE涉及一个intractable posterior density pθ(z∣x)p_\theta(z\mid x)pθ​(z∣x)，使用encoder network qϕ(z∣...

原创 信息论

文章参考自：Visual Information Theory编码假设有一个朋友Bob，他只说4个单词：dog、cat、fish、bird，并且交流时使用2进制码表示信息。使用定长的2位二进制码可表示4个单词，此时的平均码长为2。单词和二进制编码的对应关系如下可将此编码方式画图显示如下，方块的面积之和越大，表示平均码长越长上述编码方式没有考虑每个单词出现的概率。现在已知Bob特别喜欢d...

原创 【Note】pytorch-CycleGAN-and-pix2pix

下载数据集summer2winter_yosemite，文件夹结构如下summer2winter_yosemite ├─ testA 310幅256x256图像 ├─ testB 239幅 ├─ trainA 1232幅 └─ trainB 963幅训练模型python train.py --dataroot datasets/summer2winter_yosemite ...