LittleStudent12的博客

转载 Windows10下更换Git用户名或密码

公司内部账号密码定期需要更换，windows下记录的git登录账号会出错，更改这些账号密码的方式。https://jingyan.baidu.com/article/642c9d3435a6e9644a46f732.html

原创 python的readline和leadlines如何使用

python 的read 、readline和 readlines以及如何读取大文件1、在实际使用中readlines方法在读取小文件的时候很好用，一次性读取整个个文件生成一个list，可以直接由索引定位到具体的行。利用一个for循环即可以遍历整个文件。2、readline方法每次只能读取一行，有两种办法遍历文件，while循环和for循环。while-break结合使用，for循环给一个...

原创 将三列数据加载为双层字典的方法

pandas转换成字典的办法 #三列数据为 id, name, name_standard；最后生成id为一级索引，name为二级索引。test1 = pd.read_excel(name_standard_dict) d = dict() for _, row in test1.iterrows(): id, name, name_standard =...

原创 hive加载csv文件时出现乱码情况

乱码情况原因分析：excel保存的csv文件为GB编码，而linux默认为utf-8编码，所以在linux内部会显示乱码现象。修改：另存为csv文件，选择工具菜单，更改编码为Unicode，不要选更改为Unicode(Utf-8)因为仍然显示乱码。得到另存为的csv文件后，使用notepad++文本编辑器打开文档，在右下角可以看到文档的编码方式。打开表头的编码文件夹，选择对...

原创 安装caffe并训练MNIST数据集

Ubuntu安装Caffe并训练MNIST重点在copy一份Makefile.config，命令为cp Makefile.config.example Makefile.config然后修改其中的参数设置一个可用的版本为## Refer to http://caffe.berkeleyvision.org/installation.html# Contributions ...

原创 python语法与常用函数

map函数实现将list中的string转换为int。假设存在一个list为list = ['1','2','3']需要转换为num = [1,2,3]对list的转换不可以使用int直接操作解决办法为使用map函数python2中num = map(int, list)python3中num = list(map(int, list))...

转载 LSTM

http://jeffdonahue.com/lrcn/ 

转载 图片风格转换

Tensorflow实现照片风格的迁移利用神经网络进行艺术风格迁移神经风格迁移（Neural Style Transfer）程序实现（Caffe）A tensorflow implementation for fast neural style! https://deepart.io/#https://github.com/hzy46/fast-neural-style-ten...

转载 caffe模型ensemble的方法

dlcv_for_beginners/random_bonus/multiple_models_fusion_caffe/在Caffe中实现模型融合https://blog.csdn.net/qq_36620489/article/details/78847401https://github.com/frombeijingwithlove/dlcv_for_beginners/tree...

转载 split()方法

描述python split（）通过指定分隔符对字符串进行切片，如果参数num有指定值，则仅分隔num个字符串。语法str.split(str="", num=string.count(str)).参数str分隔符，默认为所有的空字符，包括空格、换行（\n）、制表符(\t)等。num为分割次数返回值返回分割后的字符串列表。实例#!/usr/bin/pythonstr = "Line1-abcd...

转载 rfind（）方法

http://www.runoob.com/python/att-string-rfind.html描述python rfind()返回字符串最后一次出现的位置（从右向左查询），如果没有匹配项则返回-1.语法rfind()方法语法：str.rfind(str, beg=0 end=len(string))参数：str 查找的字符串；beg开始查找的位置，默认为0；end结束查找位置，默认为字符串的...

转载 os.listdir()方法

os.listdir()方法用于返回指定的文件夹包含的文件或文件夹的列表。这个列表以字母顺序。不包含‘.’和'..'，即使它在文件夹中。语法listdir()语法格式如下：os.listdir(path)参数：path需要指定的目录路径返回值：返回指定路径下的文件和文件夹列表实例#!/usr/bin/python# -*- coding: UTF-8 -*-import os, sys#...

转载 zip（）函数

zip()函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回有这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，里利用*号操作符，可以将元组解压为列表。zip 方法在 Python 2 和 Python 3 中的不同：在 Python 3.x 中为了减少内存，zip() 返回的是一个对象。如需展示列表，需手动 list() 转换。...

转载 enumerate( )函数

enumerate（）函数用于将一个可遍历的数据对象（如列表、元组、字符串）组合成为一个索引序列，同时列出数据和数据下标，一般用在for循环当中。语法说明enumerate(sequence, [start=0])参数：sequence为一个序列、迭代器或其他支持迭代对象。start下标起始位置。返回值：返回enumerate（枚举）对象。实例>>>s...

转载 pickle模块的用法

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。1、pickle对象串行化pickle模块将任意一个python对象转化成一系统字节的操作过程叫做串行化对象。2、pickle模块的dump()方法pick...

原创 python中的join( )，os.sep , os.path.join()函数

os.sep是什么python是跨平台的。在Windows上，文件的路径分隔符是'\'，在Linux上是'/'。为了让代码在不同的平台上都能运行，那么路径应该写'\'还是'/'呢？使用os.sep的话，就不用考虑这个了，os.sep根据你所处的平台，自动采用相应的分隔符号。举例Linux下一个路径，/usr/share/python,那么上面的os.sep就是‘/’wind...

转载 图片风格转换《A Neural Algorithm of Artistic Style》

一个艺术风格化的神经网络算法(A Neural Algorithm of Artistic Style)（译）文章地址：《A Neural Algorithm of Artistic Style》. arXiv:1508.06576 Github链接：https://github.com/jcjohnson/neural-style  对于好的艺术作品，尤其是画作，人们已经掌握了通过在一幅图像的内...

转载 tensorflow学习一：基本使用

明白tensorflow：使用图（graph）来表示计算任务；在被称为会话（Session）的上下文（context）中执行图；使用tensor表示数据；通过变量（Variable）维护状态；使用feed和fetch可以为任意的操作（arbitrary operation）赋值或者从中获取数据。综述：TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为 op (ope...

转载 tensorflow的数据流图

TensorFlow学习系列之八：什么是数据流图？TensorFlow的工作流程，实际上它体现出来的是一个“惰性”方法论。（1）构建一个计算图。图中的节点可以是TensorFlow支持的任何数学操作。（2）初始化变量。将前期定义的变量赋初值。（3）创建一个会话。这才是图计算开始的地方，也是体现它“惰性”的地方，也就是说，仅仅构建一个图，这些图不会自动执行计算操作，而是还要显式提交到一个会话去执行，...

原创 人脸识别的一些背景知识

人脸识别的最新进展以及工业级大规模人脸识别实践探讨人脸识别的基本流程人脸检测-人脸关键点定位-人脸矫正（alignment）-人脸特征提取人脸1:N搜索一张待检索图片，大小为N的人脸库，判断库中是否有目标人物。人脸N:N搜索大量的摄像头，都在实时抓拍，有很多待确认的抓拍人脸，有个相对比较大的库。人脸虚拟ID的聚类虚拟ID就是不知道每个人的证件信息，只有大量的摄像头抓拍结果，根据这些人脸的图像特...

原创 Caffe in a Day Tutorial

翻译 Caffe Tutorial(Interfaces:command line,Python,and MATLAB Caffe)

interfacesCaffe有日常使用的命令行，Python和MATLAB接口，与研究代码和快速原型接口。虽然Caffe是一个C ++库，并且它提供了一个用于开发的模块化接口，但并非每次都需要自定义编译。cmdcaffe，pycaffe和matcaffe界面在这里为您服务。1、Command line命令行界面 - cmdcaffe - 是用于模型训练，评估和诊断的caffe工具。运行caf...

翻译 Caffe Tutorial(Caffeinated Convolution:how Caffe computes convolutions)

Caffe的卷积策略是将问题减少到矩阵 - 矩阵乘法。这种线性代数计算在BLAS库中进行了较大调整，并可在GPU设备上进行高效计算。更多细节：Convolution in Caffe: a memo.在过去的几个月里，与人们聊起Caffe，我得到的一个共同评论是：“Caffe的卷积有一些内存问题。”虽然这在某种意义上是真的，但我不确定这是否是一个真正的问题 -在我仅用两个月的时间编写Caffe框架...

原创 Caffe Tutorial (Data : how to caffeinate data for model input)

Data数据采用blob格式流经caffe。数据层通过将Blob转换为其他格式来加载输入并保存输出。像平均减法（mean-subtraction）和特征缩放(feature-scaling)这样的常见转换是通过数据层配置完成的。通过开发一个新的数据层来支持新的输入类型 - 网络的其余部分遵循Caffe层目录的模块化准则。数据层定义为：layer { name: "mnist" # Data...

原创 Caffe Tutorial（Loss:the task to be learned is defined by the loss）

三、Loss在Caffe中，和大多数机器学习一样，学习是由损失函数（也称为error，cost或objective function目标函数）驱动的。损失函数通过将参数设置（即，当前网络权重）映射到指定这些参数设置的“不良”的标量值来指定学习的目标。因此，学习的目标是找到一个最小化损失函数的权重设置。Caffe的loss由网络的正向传递计算。每一层都有一组输入（底部）blobs，并产生一组输出（顶...

原创 Caffe Tutorial（Forward / backward:the essential computations of layered compositional models）

二、forward and backward前向forward和反向backward过程是网络的基本计算过程。考虑一个简化的LR分类器正向传递计算给定推理输入的输出。 在前进中，Caffe组成每层的计算来计算由模型表示的“函数”。 这个过程从下到上。数据x通过g（x）的内积层，然后通过h（g（x））和softmax损耗的softmax给出fW（x）。反向传播过程计算给定学习损失的梯度。向后通过计算...

原创 Caffe Tutorial（Nets,Layers,and Blobs:对caffe模型的结构剖析）

Caffe Tutorial1、Nets,Layers,and Blobs:对caffe模型的结构剖析深度网络是组合模型，自然地表示为在大量数据上工作的互联层集合。caffe在其模型结构中通过方式定义网络...

转载 RNN股票预测项目

1、Predict stock market prices using RNN

原创 各框架练手文章与项目

Caffe1、AgeGenderDeepLearning配套网站：Age and Gender Classification Using Convolutional Neural Networks2、Implementation for《sphereface:deep hypersphere embedding for face recognition》 in CVPR'17. MXnet1、In...

原创 基于 CNN的年龄和性别检测《age and gender classification using CNN》

基于 CNN的年龄和性别检测《age and gender classification using CNN》Getting the known gender based on name of each image in the "Labeled Faces in the Wild" dataset. （Tensorflow版本）路径问题我解决了很久，最后改写该脚本，使用绝对路径 by k...

原创 caffe中卷积网络norm层的解释

layers { name: "norm1" type: LRN bottom: "pool1" top: "norm1" lrn_param { local_size: 5 alpha: 0.0001 beta: 0.75 }}Local Response Normalization (LRN)层此层是对一个输入的局部区域进行归一化，达到“侧抑制...

转载 AMSoftmax

人脸识别系列（十六）：AMSoftmax论文链接：Additive Margin Softmax for Face VerificationAMSoftmaxSoftmaxASoftmax这是在SphereFace中提出来的损失函数 AMSoftmax 这就是本文新提出的损失函数了。其变化就在于修改了Cos(mθ)为一个新函数： 与ASoftmax中定的的类似，可以...

转载 【论文理解】ArcFace: Additive Angular Margin Loss for Deep Face Recognition（InsightFace）

【论文理解】ArcFace: Additive Angular Margin Loss for Deep Face Recognition（InsightFace）论文地址：https://arxiv.org/abs/1801.07698github：https://github.com/deepinsight/insightface 这篇论文基本介绍了近期较为流行的人脸识别模型，lo...

转载 详细解释CNN卷积神经网络各层的参数和链接个数的计算

详细解释CNN卷积神经网络各层的参数和链接个数的计算卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。       图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这...

转载 卷积神经网络CNN原理详解(一)——基本原理

卷积神经网络CNN原理详解(一)——基本原理神经网络的预备知识     为什么要用神经网络？特征提取的高效性。 　　大家可能会疑惑，对于同一个分类任务，我们可以用机器学习的算法来做，为什么要用神经网络呢？大家回顾一下，一个分类任务，我们在用机器学习算法来做时，首先要明确feature和label，然后把这个数据"灌"到算法里去训练，最后保存模型，再来预测分类的准确性。但是这就有个问题，即我们需要实...

转载 深度学习中的损失函数总结已经Center Loss函数笔记

深度学习中的损失函数总结已经Center Loss函数笔记图片分类里的Center Loss目标函数,损失函数,代价函数损失函数度量的是预测值与真实值之间的差异.损失函数通常写做L(y,y).y代表了预测值,y代表了真实值.目标函数可以看做是优化目标,优化模型的最后目标就是使得这个目标函数最大或者最小.代价函数类似于目标函数.区别:目标函数(代价函数)可以包含一些约束条件如正则化项.一般不做严格区...

转载 详解卷积神经网络(CNN)

详解卷积神经网络(CNN)详解卷积神经网络CNN概揽Layers used to build ConvNets卷积层Convolutional layer池化层Pooling Layer全连接层Fully-connected layer卷积神经网络架构Layer PatternsLayer Sizing PatternsCase Studies参考卷积神经网络（Convolutional Neur...

转载 深度学习新的采样方式和损失函数--论文笔记

深度学习新的采样方式和损失函数--论文笔记论文《Sampling matters in deep embedding learning》论文地址：https://arxiv.org/pdf/1706.07567.pdf 该论文为2017年6月上传至arxiv。主要研究的是深度嵌入学习（deep embedding learning）中的采样问题和损失函数的问题。作者分析了contrasti...

转载 [论文笔记] 损失函数整理

[论文笔记] 损失函数整理损失函数集合损失函数对于机器学习，就像一把尺子，用来度量模型，指导模型训练用，因此损失函数的设计和模型结构设计一样重要。损失函数用来评价预测值和真实值间的关系，好像大多数关于loss的论文都出在人脸辨识和细粒度分类领域。Contrastive Loss对比损失函数，来自Yann LeCun的论文Dimensionality Reduction by Learning an...

转载 损失函数改进之Large-Margin Softmax Loss

损失函数改进之Large-Margin Softmax Loss 最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax...