- 博客(19)
- 收藏
- 关注
RSS订阅原创 Pytorch Dataloader OSError: Too many opened files error.
在使用pytorch dataloader 有时候会爆OSError的问题可能是每一个batch的形成的时候就已经超过了系统的打开文件的数量要么提高系统的打开的文件的数量先查看系统设置 ulimit -n设置新的daxiao ulimit -n xxxx要么就设置pytorch使用系统的限定import torch.multiprocessing torch.multiproces...
2020-04-30 11:17:48
2402
翻译 Pytorch Reproducity（复现问题）
可复现性是炼丹所必要的。很多的blog都提到说要在训练前设定好 各种随机种子。 torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using multi-GPU. np.random.seed(seed) # Num...
2020-04-26 17:11:25
339
原创 大量小文件服务器间传输
一般来说少量的文件在服务器间传输我们会常用scp。但是当大量的小文件在两个服务之间传输时，scp并不能充分的利用带宽。可以通过tar + ssh 建立管道在两个服务器之间进行文件传输：tar -c /path/to/dir | ssh remote_server 'tar -xvf - -C /absolute/path/to/remotedir'或者通过rsync`tar -c /pa...
2020-03-05 16:06:02
1578
原创 Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered
Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggeredtensorflow中写代码麻烦，pytorch写起来简单，但是有发现bug，因为是框架内的问题就无法修改。在确定output已经使用了sigmoid，确定了label和logits都是[0，1]BCEloss 在...
2020-02-04 12:29:57
1350
1
原创 C3D feature extraction (No Root)
C3D feature extractionC3D installC3D install要使用GPU集群进行特征提取，在follow别人工作的时候发现要使用Caffe，而且不是直接能Anaconda安装的caffe，而是要编译的。一看到多数的blog都说要sudo，没有sudo的就要自己本地编译，然后把.so 链接起来，折腾了下，贼麻烦。。 库与库之间的依赖比你想象中的麻烦。其实，可以直接在...
2019-09-24 16:00:03
768
3
原创 Pytorch 自定义子Module .cuda() tensor失败的问题
最近在刚从tensorflow转入pytorch，对于自定义的nn.Module 碰到了个问题，即使把模组 modle=Model().cuda()，里面的子Module的parameter都没有被放入cuda，导致输入是torch.cuda.FloatTensor，但是比如CNN的weight却还是torch.FloatTensor（当然最粗暴的方法就是直接在子模组里面都用了 .cuda()...
2019-03-21 10:35:17
3112
1
原创 预训练Pytorch模型跨python2/3版本读入的编码问题
当想读入现有的模型，而且并不是同意台电脑预训练的模型，而且需要跨python版本，就会出现下面的情况。官方也有issue说这个, 里面的方法我并没有解决问题上面的方法读出来只是一个int，至于为什么还没弄清。虽然官方说已经在写好patch，但是大概没有在现有版本中release. github.request这其实是python 2/3 对于str的编码方式的差别的问题。源码中的注...
2019-03-06 16:07:16
1600
原创 torch7预训练模型读出与转换为numpy
模型跨框架迁移Torch -> Others?最近在做的一个项目需要用到Torch7的预训练模型，（由于该模型的作者在github中之给出了训练好的模型却没有给模型的实现代码，不清楚怎么搭的，不过这可以通过读取Torch7模型获取的得到）lua和Torch7 现在都是很小众，所以没打算继续基于Torch7来开发，所以想将模型参数参数得到，然后付给新的模型，从而完成跨框架迁移。Torc...
2019-02-03 00:06:11
1104
原创 CVPR 2018：对抗训练的异常分类器
Adversarially Learned One-Class Classifier for Novelty Detectioncode paper1. Novelty DetectionNovelty Detection 字面翻译是新颖性检测。本质上就是发现输入的新的对象/模式，其实就是Anomaly Detection，不同名字而已。发现一些与目标类某些方面存在差异的现象。异常类型总是缺...
2018-11-29 20:53:42
2211
6
原创 异常检测概述（一）： An Overview of Video Anomaly Detection，part 1
视频异常检测概述1 异常检测的问题定义及设定1.1 在ML中异常检测问题的定义1.2 三种异常检测的训练设定1.3 WDAD假设 （Well-Defined Anomaly Disturibution）1.4 部分难以识别的异常1.5 ML做异常检测的方法2 Video Anomaly Detection2.1 视频异常检测和ML中的区别0.引用1 异常检测的问题定义及设定1.1 在ML中异常...
2018-11-20 15:49:43
7354
10
原创 CVPR2018: 更为鲁棒的分类器 卷积原型学习CPL
CVPR2018：更为鲁棒的分类器 卷积原型学习CPLCVPR2018: 更为鲁棒的分类器 卷积原型学习CPL一、 论文概述二、以往相关的工作三、Prototype Cluster四、模型架构4.1 最小分类错误损失4.2 边缘分类损失4.3 距离交叉熵损失4.4 采用原型损失的泛化CPL五. 实验结果CVPR2018: 更为鲁棒的分类器 卷积原型学习CPL一、 论文概述本篇论文提出了导致C...
2018-11-11 13:06:45
2027
3
原创 ICCV2017:ReST 以迭代空间变形实现的免纠正的脸部识别模型
ICCV2017: Recursive Spatial Transfromer (ReST) for Alignment-Free Face Recognition (以迭代空间变形实现的免纠正的脸部识别模型)Background:传统的脸部识别流程：预定义的平均脸做纠正 输入CNN 提取特征用以识别传统的脸部纠正方法：Active Shape Model Active Ap...
2018-07-13 21:59:49
897
原创 CVPR2018 Best Paper:Taskonomy： 揭开任务迁移学习的秘密
CVPR 2018 Best Paper | 任务学： 揭开任务迁移学习的秘密Introduction 直觉告诉我们视觉任务之间存在着关联，但是这些关联是怎样的呢？这篇论文提出了一个完全通过计算的方法构建视觉任务的空间结构：一个有向图，节点为任务，每一条的权重作为任务间的关联度。 当我们得知任务的边界的时候，知道哪些任务之间是有着比较好的关联度，那么利用迁移学习能够降低...
2018-07-13 21:55:02
3730
3
原创 近三年脸部识别顶会论文lists(更新中...)
脸部识别三年来顶会论文lists1. ICCV 2017大多数的论文涉及的是脸部纠正的内容，还有脸部的3D重建，还有就是对于小尺度的脸部检测方面，和视频识别脸部的内容。 S3FD: Single Shot Scale-Invariant Face Detector(单照片的尺寸比例无关脸部检测器)//更多在于解决基于锚定点的检测器随着物体的减小而检测效果恶化的问题Cross-View Asymme...
2018-06-21 20:57:24
2309
原创 CVPR 2016： DeepFashion: (健壮有效的有大量标签的服装识别与检索)
CVPR 2016： DeepFashion: Pwoering Robust Clothes Recognition and Retrieval with Rich Annotations (健壮有效的有大量标签的服装识别与检索)Abstract：提出一个大规模的数据集，超过80000张图片，被大量标记的。服装类型的模型评测数据集。而且图片拍摄于于多个场景（店拍、街拍、消费者自拍）/多种姿势提出...
2018-05-29 23:11:04
4459
2
原创 LPA图标签传递算法
1. 简述本文提出一种迭代的标签传递算法，利用没有标记的数据来帮助已经标记的数据来进行分类。另外利用基于启发式的最小生成树来和熵最小化来学习参数。2. 背景在监督学习当中，我们会有大量已经标记的数据，这样我们就可以很轻松的学习到分类的信息以及依赖的特征。但是当我们只有少量已经标记的数据，而大多数都是没有被标记的话，那么我们就没有办法像监督学习那样，比较轻易的获得分类所依赖的特征。但...
2018-05-26 22:15:26
2743
原创 CVPR 2017:Interspeices Knowledge Transfer for Facial KeyPoint Detection（跨物种脸部关键点检测知识迁移）
CVPR 2017: Interspeices Knowledge Transfer for Facial KeyPoint Detection（跨物种脸部关键点检测知识迁移） 一、介绍 本文主要涉及到变换将人脸关键点检测的方法以及已有知识转移到其他动物脸部识别中，借助迁移学习避免大量收集动物脸部照片再重新建模训练的麻烦，提出一种通过首先训练一个wraping network 将动物脸部...
2018-04-12 00:28:50
2289
1
原创 微信小游戏跳一跳作弊方法
微信小游戏跳一跳作弊方法本实现方法代码来源：https://zhuanlan.zhihu.com/p/32473340原理粗解微信小游戏跳一跳，本质上时一个半离线游戏，它的与服务器的通信其实是在于或者在达到某些超越好友的时候回下载头像信息，或者是在最终游戏结束之后返回游戏结果给服务器，或者是获取现有的排行榜的时候才会向服务器要信息。所以说整个游戏并不是时时与服务器通信，也就是意味着双方沟通上下文关联
2017-12-30 16:46:57
7013
原创 Linux Socket 网络编程（一）
Socket 其实是通过在 应用层和 传输层之间 建立一个Socket层的一个中间层，向下可以连接UDP，TCP，当然也可以用作本地进程间通信。主要包括有socket(int domain, int type, int protocol);这里的domain 包含有挺多种的协议族，但我们主要用到两个，AF_UNIX一个是用于UNIX域协议，（文件系统套接字）另外一个是AF_
2017-11-30 17:58:48
380
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人