- 博客(546)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 新系统Ubuntu18.4以上深度工具合集安装(Nvidia+CUDA+Tensorflow+Caffe+Torch)
之前在装有caffe的基础上,换CUDA7.5不成功,然后终于找到github上一个教程,一定要按里面的流程安装.把市面上用到的深度工具都装在ubuntu14.04上.现在更新了新系统Ubuntu18.04，显卡还是4路1080Ti，问题贼多，系统装完开机黑屏，无界面，卸载驱动出现循环登录可能，还可能界面鼠标顿卡，记录一下这三天的心塞历程，更新在最后面。有问题请留言.深度学习理论基础知识与进阶...
2016-06-03 16:53:50
12569
5
原创 linux的mount bind命令
1、mount bind用法mount命令的标准格式如下：mount -t type -o options device dir device: 要挂载的设备（必填）。有些文件系统不需要指定具体的设备，这里可以随便填一个字符串 dir: 挂载到哪个目录（必填） type： 文件系统类型（可选）。大部分情况下都不用指定该参数，系统都会自动检测到设备上的文件系统类型 options： 挂载参数（可选）。 options一般分为两类，一类是Linux VFS所提供的
2021-04-06 10:58:35
7177
3
转载 目标检测：Object Detection in 20 Years: A Survey
Abstract：论文中引用411片文献，涵盖了许多主题，包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构件、加速技术以及最新的检测方法。还综述了行人检测、人脸检测、文本检测等重要的检测应用，该论文完整的归纳了object detection的发展。
2020-12-14 15:57:43
9723
转载 C++二义性问题之Most Vexing Parse
仅供学习，禁止商用。Most Vexing Parse0.导语Most Vexing Parse 翻译为最烦人的解析，在使用 C++11 中 std::thread 创建对象的时候会遇到这种问题，除此之外，也会遇到，本文来看看在哪些场景可以遇到以及在 C++11 标准后的解决方案。1.自己编写一个类假设自己写了这么一个类，我们想调用 copy 构造：class Strin...
2020-01-14 11:05:02
746
原创 python3中的pandas删除部分数据，报错“Int64HashTable.get_item”
删除操作需谨慎！！！！！！！问题记录一下，File "pandas\core\series.py", line 766, in __getitem__ result = self.index.get_value(self, key) File "\pandas\core\indexes\base.py", line 3103, in get_value tz=geta...
2019-12-11 12:22:31
2275
3
原创 生成数据的详细报告pandas-profiling库(python3)
pandas-profiling第一印象应该是pandas吧，pandas-profiling确实和pandas有点关系，pandas-profiling能够使用DataFrame自动生成数据的详细报告，相比describe生成的profile要详细的多。pandas_profiling基于pandas的DataFrame数据类型，可以简单快速地进行探索性数据分析。对于数据集的每一列，...
2019-10-23 18:25:49
2753
转载 解决conda的“Solving environment: failed”问题
1.问题代码最近conda装软件包的时候一直出现下述问题，网上查了很多解决办法都没解决我这个问题。参见linkCollecting package metadata (current_repodata.json): doneSolving environment: failed with current_repodata.json, will retry with next repod...
2019-10-23 16:24:24
59365
12
原创 Ubuntu18的回收站爆了，节点爆了
由于近期训练网络，小碎片已经到达几十亿，经常手动删除文件夹，然后虽然文件清理了，可是INode爆满，也无法进行复制啊删除啊创建啊等操作。之前碰到过但是稍微删除一下就可以运行了，这次怎么也不行，百度了好多，清理tmp目录，其实都无效。然后查看节点发现home节点爆满100%。记录一下过程：首先看个linux命令dfdf命令作用是列出文件系统的整体磁盘空间使用情况。可以用来查看磁盘已被使用多...
2019-10-18 15:46:24
521
转载 机器学习中的Embedding
来自知乎的一个解释：（版权归原作者所有，仅供学习，禁止商用）https://zhuanlan.zhihu.com/p/46016518解释还是有点感觉迷糊，数学解释：Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和st...
2019-10-17 15:31:30
5446
转载 离散余弦变换 - Discrete Cosine Transform
图像模糊丢失高频信息，可以用于模糊评估离散余弦变换的定义与傅里叶变换的思想相似，离散余弦变换（Discrete CosineTransform - DCT）将函数表达为许多不同幅度和频率的余弦函数的和。对于图像这样一种二维函数而言，在对其进行离散余弦变换后，图像中大部分的，在视觉上比较重要的信息都会集中在小部分的DCT系数上面。由于这个原因，DCT经常被用于图像压缩的应用场景当...
2019-10-11 16:08:52
4107
原创 python3读取中文路径（亲测有效）
读取图片是碰到一个中文路径或者中文名字的问题。解决方案：def cv_imread(file_path = ""): img_mat=cv2.imdecode(numpy.fromfile(file_path,dtype=numpy.uint8),-1) return img_mat...
2019-09-16 15:43:16
7011
1
转载 Python 自省指南与反射
Python 自省指南：https://www.ibm.com/developerworks/cn/linux/l-pyint/From：https://my.oschina.net/taisha/blog/55597什么是自省？在日常生活中，自省（introspection）是一种自我检查行为。自省是指对某人自身思想、情绪、动机和行为的检查。伟大的哲学家苏格拉底将生命中的大部分时间用...
2019-08-29 11:13:21
465
原创 python3的enumerate
Python enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。语法以下是 enumerate() 方法的语法:enumerate(sequence, [start=0])参数sequence：一个序列、迭代器或其他支持迭代对象。 start：下标起始位置。返回值返回...
2019-08-29 11:03:08
1743
转载 python3的ChainMap
ChainMap类用于快速链接多个映射，以便将它们视为一个单元。它通常比创建新字典和多次调用update()快得多。该类可用于模拟嵌套作用域，在模板中很有用。class collections.ChainMap(*maps)ChainMap将多个字典或其他映射组合在一起以创建单个可更新视图。如果未指定maps，则提供单个空字典，以便新链始终至少具有一个映射。底层映射存储在列表中。该...
2019-08-28 16:42:52
3771
转载 python3的deque
1.什么是双端队列deque的英文意思是Double-Ended Queue，从字面的意思来看，他就是一个双向队列。我们使用list存储数据的时候，按索引访问元素很快，因为list是线性存储，数据量很大的时候在列表头插入和删除元素的效率就会很慢。为什么list效率低呢?因为list有append()和insert(index,value)两个添加方法，append()方法只能在在列表的尾部...
2019-08-28 14:11:57
2784
转载 Faiss相似性搜索类库
Facebook 人工智能实验室（FAIR）基于十亿级别的数据集构建了最近邻搜索算法的实现，这比之前介绍的已知文献中在 GPU 上实现的最先进且最快的 k-selection 算法还要快大约 8.5 倍，因此创造了新的记录，包括第一个基于十亿高维向量构建的 k 最近邻图。关于相似性搜索传统的数据库是由包含符号信息的结构化数据表组成。比如，一个图片集可以表示为一个数据表，每行代表一个被索引的...
2019-08-28 10:13:23
2814
转载 python3的OrderedDict
OrderedDict 是 collections 提供的一种数据结构， 它提供了有序的dict结构。先把源代码贴一下：class OrderedDict(dict): '记住插入顺序的字典' # 一个继承自dict的键值对字典 # 继承的字典提供 __getitem__, __len__, __contains__, get 方法 # 所有方法的O() 均与...
2019-08-26 16:24:30
1922
转载 Python3的namedtuple
因为元组的局限性：不能为元组内部的数据进行命名，所以往往我们并不知道一个元组所要表达的意义，所以在这里引入了collections.namedtuple这个工厂函数，来构造一个带字段名的元组。具名元组的实例和普通元组消耗的内存一样多，因为字段名都被存在对应的类里面。这个类跟普通的对象实例比起来也要小一些，因为 Python 不会用 __dict__ 来存放这些实例的属性。namedtupl...
2019-08-26 14:00:08
3271
转载 Python3的Counter类
1.Counter类Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。1.1 创建下面的代码说明了Counter类创建的四种方法：Counter类的创建Python 1...
2019-08-23 10:36:18
4825
转载 Timsort排序算法
算法实现原理TimSort原理：现实数据通常会有部分是已经排好序，TimSort正是利用这一点，将数组拆成多个部分已排序的分区，部分未排序分区重新排序，最后将多个分区合并并排序。例如：array[] =[24,63,70,55,41,92,81,80]，排序步骤如下：1. 拆分分区：[24,63],[70,55],[41,92],[81,80]2. 重排分区：[24,63]...
2019-08-22 17:07:37
1069
转载 图像检索：Spreading Vectors for Similarity Search
Thinking in Reverse.Spreading Vectors for Similarity Search是小白菜崇拜的Matthijs Douze和Herve Jegou的作品，发表于ICLR 2019，是一篇对思维方法非常有启发作用的paper，可能会成为利用DNN构建索引方面的经典。这样一篇因为思维的光辉而动人的paper，小白菜很乐意成为它的布道者，并希望借自己的绵薄之...
2019-08-19 12:54:28
8580
转载 图像检索：图像拷贝检索PHash改进方案
感知哈希是用来做图像拷贝检索（Copy Detection）最容易操作的一种方法，实际上除了感知哈希、均值哈希，还有很多的从图像本身出发计算出来的图像哈希值，在OpenCV 3.3及其以后的版本中，包含了很多图像哈希的计算方法，具体的可以参考The module brings implementations of different image hashing algorithms，其中各种图像哈...
2019-08-19 12:00:22
880
转载 图像检索：Fisher Vector
Fisher Kernels原理模式分类的技术主要可以划分为生成式和判别式两大类。生成式模型关注类条件概率的建模，判别式模型则直接关注问题的本身——分类。这也解释了判别式模型相对于生成式模型理论上的优越性。尽管如此，生成式模型也具有判别式模型不具备的许多特性，使生成式模型被广泛使用。如生成式模型可以处理长度不一的数据。其中，Fisher kernels的引入结合了...
2019-08-19 11:05:17
1242
转载 图像检索：ANN Search
每逢碰到这个ANN的简称，小白菜总是想到Artificial Neural Network人工神经网络，不过这里要展开的ANN并不是Artificial Neural Network，而是已被小白菜之前写过很多次的Approximate Nearest Neighbor搜索。虽然读书的那会儿，这一块的工作专注得比较多，比如哈希，也整理过一个像模像样的工具包hashing-baseline-for-...
2019-08-19 10:46:48
2428
转载 图像检索：layer选择与fine-tuning性能提升验证
这个世界上肯定有另一个我，做着我不敢做的事，过着我想过的生活。一个人逛街，一个人吃饭，一个人旅行，一个人做很多事。极致的幸福，存在于孤独的深海。在这样日复一日的生活里，我逐渐和自己达成和解。作为迁移学习的一种，finetune能够将general的特征转变为special的特征，从而使得转移后的特征能够更好的适应目标任务，而图像检索最根本的问题，仍在于如何在目标任务上获得更好的特征表达(共...
2019-08-19 10:44:54
652
转载 理解 product quantization 算法
1. 引言Product quantization，国内有人直译为乘积量化，这里的乘积是指笛卡尔积（Cartesian product），意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化（quantization）。这样每个向量就能由多个低维空间的量化code组合表示。为简洁描述起见，下文用PQ作为product quantization的简称。...
2019-08-16 13:10:44
1954
转载 最新FB的一篇MultiGrain图像检索论文加code
《 MultiGrain: a unified image embedding for classes and instances》论文阅读笔记主要亮点：（1）无论是用于分类任务还是检索任务，使用的特征是相同的，并且各自的表现都不错。但是对于分类任务是额外训练了一个线性分类器，而检索任务使用余弦距离。并不是我之前以为返回一系列图片...
2019-08-15 12:20:09
4344
7
原创 linux---输入import导致鼠标锁死
在linux下输入import导致鼠标锁死用ps -e |grep importkill -9 id脑残了。。。。。。。。其实import是截屏命令import常用命令：1、抓取区域：命令：import mypicture.jpg描述：可以使用鼠标选择的范围2、延时抓取：命令：sleep 5;import mypicture.jpg描述：等待5秒钟...
2019-08-13 17:44:39
232
转载 深入理解python的axis
一、理解axis如果你像我一样，发现API中有axis这个参数，但不知道是什么意思。可能就会搜搜axis到底代表的什么意思。于是可能会类似搜到下面的信息：使用0值表示沿着每一列或行标签索引值向下执行方法(axis=0代表往跨行)使用1值表示沿着每一行或者列标签模向执行对应的方法(axis=1代表跨列)但我们又知道，我们的数组不单单只有二维的，还有三维、四维等等。一旦维数超过二维，就无法...
2019-07-24 15:21:20
5667
1
转载 Python 中的defaultdict
默认值可以很方便众所周知，在Python中如果访问字典中不存在的键，会引发KeyError异常。但是有时候，字典中的每个键都存在默认值是非常方便的。例如下面的例子：strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')counts = {}for...
2019-07-24 10:49:33
198
转载 python的__slots__的内存节省篇
在Python中，每个类都有实例属性。默认情况下Python用一个字典来保存一个对象的实例属性。这非常有用，因为它允许我们在运行时去设置任意的新属性。然而，对于有着已知属性的小类来说，它可能是个瓶颈。这个字典浪费了很多内存。Python不能在对象创建时直接分配一个固定量的内存来保存所有的属性。因此如果你创建许多对象（我指的是成千上万个），它会消耗掉很多内存。不过还是有一个方法来规避这个问题。...
2019-07-23 17:08:45
632
转载 Python函数的默认参数踩坑
引子栽在 Python 的默认参数的“坑”中几次之后打算专门弄一篇博客来说一下这个事情。但是最近看到一篇很好地英文文章（Default Parameter Values in Python，Fredrik Lundh | July 17, 2008 | based on a comp.lang.python post），鞭辟入里。珠玉在前，就不舞文弄墨了。当然，也算是偷个懒，在这里简单翻译一下...
2019-07-19 16:34:48
1308
转载 python中用修饰器进行异常日志记录
当脚本中需要进行的的相同的异常操作很多的时候，可以用修饰器来简化代码。比如我需要记录抛出的异常：在log_exception.py文件中，import functoolsimport loggingdef create_logger(): logger = logging.getLogger("test_log") logger.setLevel(logging.I...
2019-07-16 17:25:50
558
转载 理解 Python 装饰器
最近在看装饰器或者叫修饰器，有点困惑，然后记录一下。仅供学习参考。讲 Python 装饰器前，我想先举个例子，虽有点污，但跟装饰器这个话题很贴切。每个人都有的内裤主要功能是用来遮羞，但是到了冬天它没法为我们防风御寒，咋办？我们想到的一个办法就是把内裤改造一下，让它变得更厚更长，这样一来，它不仅有遮羞功能，还能提供保暖，不过有个问题，这个内裤被我们改造成了长裤后，虽然还有遮羞功能，但本质上它...
2019-07-16 17:04:08
178
1
转载 Python 二分查找与 bisect 模块
Python 的列表（list）内部实现是一个数组，也就是一个线性表。在列表中查找元素可以使用 list.index() 方法，其时间复杂度为O(n)。对于大数据量，则可以用二分查找进行优化。二分查找要求对象必须有序，其基本原理如下：1.从数组的中间元素开始，如果中间元素正好是要查找的元素，则搜素过程结束； 2.如果某一特定元素大于或者小于中间元素，则在数组大于或小于中间元素的那一半中查找，...
2019-03-20 20:53:18
442
转载 Python中字符串拼接的N种方法
拼接方法，使用起来的话，我经常用第二种和第七种方法。python拼接字符串一般有以下几种方法：①直接通过（+）操作符拼接s = 'Hello'+' '+'World'+'!'print(s)输出结果：Hello World!使用这种方式进行字符串连接的操作效率低下，因为python中使用 + 拼接两个字符串时会生成一个新的字符串，生成新的字符串就需要重新申请内存，当拼接字符...
2019-03-20 20:18:55
692
转载 应对非均衡数据集分类问题的八大策略
因为训练数据集不均衡情况太多，所以我现在也没有找到有效的方法，仍在尝试中。。。。。。。以下作为学习的一个参考。原文在此：8 Trips to Combat Imbalanced Classes in You Machine Learning Dataset by Jason Brownlee当你遇到非均衡数据集的时候，即便是你得到准确率为90%的分类模型，只要你仔细研读你会发现，分类中基...
2019-02-20 15:35:01
3455
转载 元学习Meta Learning/Learning to learn
1 前言Meta Learning 元学习或者叫做 Learning to Learn 学会学习 已经成为继Reinforcement Learning 增强学习之后又一个重要的研究分支（以后仅称为Meta Learning）。对于人工智能的理论研究，呈现出了Artificial Intelligence --> Machine Learning --> Deep Learni...
2018-12-11 12:56:35
74577
2
原创 LeetCode的TWO-SUM(一)
/*Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution, and you may not use the sam...
2018-11-22 20:24:48
330
Tensorflow 实战Google深度学习框架&&TensorFlow;实战(二)
2017-10-17
Mastering Object oriented Python
2017-01-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人