四海龙王Black-CSDN博客

原创实习点滴（11）--TensorFlow快速计算“多分类问题”的混淆矩阵以及精确率、召回率、F1值、准确率

在机器学习中，我们会利用一些指标（混淆矩阵、精确率、召回率、F1值、准确率）来判断我们模型的好坏，从而改进优化模型。下面介绍如何在TensorFlow下快速计算这些指标。

2017-08-24 11:39:12 11471 2

原创实习点滴（10）--BiLstm+CRF介绍

在序列标注问题中，HMM和CRF是当前比较成熟的技术，但是，随着DL（深度学习）又热起来之后，RNN做序列标注的热潮也开始了。个人而言，HMM和CRF是成熟的技术，但上升空间有限；LSTM的潜力会更大一些。于是乎，开始学习BiLstm+CRF模型了。顾名思义，这是一个双向LSTM+CRF层的模型双向的LSTM可以得到上下文的信息在输出层后再增加CRF层，加

2017-08-15 14:49:27 7590 1

原创实习点滴（9）--LSTM是如何解决RNN中的“梯度消失”

我们都知道RNN到迭代后期会出现“梯度消失”的问题；我们也知道LSTM是RNN的变形和改进，它解决了RNN中的“梯度消失”问题；我们还知道LSTM的各种门（遗忘门、输入门、输出门）。但是，我们不知道究竟LSTM是如何通过这些门解决“梯度消失”的，反正之前我一直很含糊，现在，我们就一探究竟。

2017-08-15 11:44:20 15339 14

原创条件随机场专题（3）--说起CRF，不得不提的HMM

说起CRF（条件随机场），不得不提起HMM（隐马尔可夫模型），因为HMM和CRF很像。只不过HMM是生成模型，运用的是统计概率；而CRF是判别模型，运用的是生成判别函数，进行迭代求参。

2017-08-08 15:51:33 589

原创实习点滴（8）--收敛优化方法：牛顿法、BFGS算法与L-BFGS算法

在了解CRF推导与参数估计的时候，会用到收敛优化方法去迭代求解凸优化问题，至此，总结一下我对牛顿法、BFGS算法和L-BFGS算法这三种方法的理解。

2017-08-04 11:51:56 2442 1

原创条件随机场专题（2）--CRF模型

CRF是一种典型的判别式模型，它是根据模板，得到相应的特征函数，再通过这些特征函数进行参数的优化计算，那么在介绍CRF模型前，就有必要先介绍判别式模型和生成式模型。

2017-08-01 17:02:29 879

原创条件随机场专题（1）--CRF介绍

CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一。

2017-07-31 15:53:24 938

原创实习点滴（7）--《Investigating LSTM for Punctuation Prediction》论文笔记

原文地址：http://lxie.nwpu-aslp.org/papers/2016ISCSLP-XKT.pdf本文是利用BiLstm（双向Lstm）+CRF模型，对词组间的标点符号进行预测。

2017-07-26 16:01:15 1082 5

原创实习点滴（6）--关于机器学习的一些有用的东西

这本是一篇论文，我在借鉴这篇论文的同时，加上自己在机器学习方面的一些感悟，总结一番。

2017-07-26 11:14:01 590 1

原创实习点滴（5）--Tensorflow文档学习

学习了一段时间CRF之后，自己也将重点转移到了TensorFlow的学习上，写写博客，就当是做做笔记了。

2017-07-25 11:12:36 523

原创实习点滴（4）--CRF算法的特征模板总结

最近工作中接触到了CRF算法以及CRF++，于是乎，去了解了关于这些的一系列的东西，打算总结总结CRF算法里的模板问题。我们知道，深度学习（Deeplearning）是不需要特征模板的，它会自己学习里边的规律，而CRF则是需要特征模板的，所以，选择什么样的特征模板是至关重要的。

2017-07-19 11:28:53 10262 4

原创实习点滴（3）--以“词性标注”为例理解CRF算法

看了CRF相关的东西好几天了，现在也过来总结总结。我本人喜欢以讲故事的方式阐述一些东西，纯理论总是很抽象，而且很容易让人失去耐心。那就以“词性标注”为切入点，去理解一下CRF（Conditional Random Field）条件随机场的算法原理（难免有不对或者不全的地方，持续更新）。

2017-07-13 09:42:27 5708

原创实习点滴（2）--python统计ip地址出现的个数

今天，在完成任务的时候，用到了统计ip地址出现的个数，现在就做一下总结，写一个统计ip地址的函数

2017-07-12 13:19:07 1175

原创实习点滴（1）--Xshell如何运行Python中的某个函数

这是实习的这五天来第一次来到CSDN博客，想写个专题，来记录我的第一份实习所学习到的知识，声明：不涉及到公司的机密，只是记录所学到的技术。来到公司，自然不仅仅会在自己的PC机上运行程序，还会在公司的服务器上运行，难免会用到Xshell等相关工具，现在说说如何在Xshell工具上运行Python中的某个函数（需要传参的哦）。

2017-07-07 10:45:25 7328

原创自然语言处理基础（4）--数据平滑技术

所谓“数据平滑技术”，是指为了产生更准确的概率来调整最大似然估计的技术，基本思想就是提高低概率（如零概率），降低低概率，尽量使概率分布趋于平均。

2017-06-21 09:05:02 6877 1

原创自然语言处理基础（3）--自底向上的句法分析

自底向上句法分析一般采用LR分析法，该刚发要求文法不包含移进--归约或者归约--归约冲突，由于自然语言的歧义性，不可避免的存在各种冲突，因此，自底向上分析法并不适合汉语句法分析

2017-06-20 08:41:45 1970

原创自然语言处理基础（2）--自顶向下的句法分析

一种语言的文法可以表示为一个四元组：G=，其中T为终结符集合（用来表示词类），N为非终结符集合（用来表示语法成分），P为产生式（用来表示句法规则），S为起始符，它是N的一个元素。自顶向下的分析是从树根开始推导的，它作用于如下形式的推导：S-->z1-->z2-->...-->zn，开始的时候，这个推导只包含起始符S，并且n=0。

2017-06-19 19:36:07 1034

原创自然语言处理基础（1）--基本分词方法

基本的分词方法包括最大匹配法、最大概率法（最短加权路径法）、最少分词法、基于HMM的分词法、基于互现信息的分词方法、基于字符标注的方法和基于实例的汉语分词方法等。

2017-06-19 10:03:48 2644

原创 DeepLearning（基于caffe）实战项目（10）--Python编写网络配置文件

你一定有这样一种感受，就是当网络模型层数较少的时候，还可以接受手动写配置文件，当网络层数多了之后，就会自己写的写的就乱了，现在介绍用Python编写配置文件，不仅方便编写，而且观看也比较舒服。以mnist的LeNet为例，直接上代码：# encoding: utf-8#!/usr/bin/python'''Created on 2017.06.12示例：Pytho

2017-06-12 22:01:41 495

原创 DeepLearning（基于caffe）优化策略（3）--调参篇

我们都知道，DeepLearning是一个非常好用的方法，纵使很多人认为DeepLearning是炼药炉，学习它的是炼药师，但不可否认的是，很多场景下，DeepLearning有着非常好的效果，比如说人脸识别等等。 DeepLearning中有着成千上万个参数（每一层都有很多的参数），调参自然而然也就成为了一个不可避免的话题。接下来，总结一下深度学习中的调参方法。

2017-06-09 14:09:36 559

原创人脸识别方向论文笔记（3）-- Sparsifying Neural Network Connections for Face Recognition

原文地址：

2017-06-04 09:43:26 1594 3

原创人脸识别方向论文笔记（2）-- Latent Factor Guided Convolutonal Neural Networks for Age-Invariant Face Recognition

原文地址：http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Wen_Latent_Factor_Guided_CVPR_2016_paper.pdf

2017-06-03 09:46:08 1425

原创 DeepLearning（基于caffe）优化策略（2）--防拟合篇：Dropout

DeepLearning，甚至机器学习，都或多或少的会出现过拟合的现象。防止过拟合，就成为了一个大家普遍关注的话题。过拟合的原因，大致分为这几种：数据量过小、数据有噪声、学习的网络模型更复杂（例如：本来是二次的方程，如果过于拟合成三次甚至更高，导致训练的loss特别小，测试时则不然，会比较大）。

2017-06-02 20:07:41 2124

原创人脸识别方向论文笔记（1）-- A Light CNN for Deep Face Representation With Noisy Labels

原文地址：https://arxiv.org/pdf/1511.02683.pdf这篇论文中，创新点有两个：1.提出了一种新的激活函数Max-Feature-Map（MFM不仅能区分开噪声数据和信息数据，而且在特征选择方面起着重要的作用）2提出了三种网络（两个小网络+一个大网络：Light CNN-4、Light CNN-9、Light CNN-29）。

2017-06-01 14:55:48 9545 3

原创 DeepLearning（基于caffe）优化策略（1）--Normalization篇：BN、WN、LN

我们知道，深度学习是一种高性能的解决模式识别问题的模型算法，尤其是在计算机视觉方面，但随之而来的，对深度学习进行优化也成为了一个大家讨论的话题。这次总结的是三种深度学习的Normalization。

2017-05-31 11:01:04 2040

原创 DeepLearning（基于caffe）实战项目（9）--Python测试训练好的model

之前曾用Matlab测试训练好的model（详细见：http://blog.csdn.net/sihailongwang/article/details/72700482），现在打算用Python测试训练好的model，这里用imagenet为例。

2017-05-30 10:27:55 772

原创 DeepLearning（基于caffe）实战项目（8）--修改caffe源代码从添加loss(层)函数开始

在caffe中摸爬滚打了一个多月了，修改caffe源代码，早就想练练手了，loss层是一个比较独立的一个层，而且可以仿照caffe给的样例进行添加，难度会稍微小点。

2017-05-27 19:03:32 4265 5

原创 DeepLearning（基于caffe）实战项目（7）--从caffe结构里函数总结一览caffe

我觉得学习caffe，必须得做到会修改源码，刚开始可以不需要知道所有的函数是如何实现的，但必须得知道里边都有哪些函数，这些函数都可以干什么。用网上流行的比喻：Blobs,Layers,Nets的关系就好比，Blob是砖块，Layer是墙，net是一栋大楼。Blob:Blob是一个模板类，在内存中表示4维数组，维度从低到高为：width、height、channels（颜色通道）、num

2017-05-27 14:38:37 1289 1

原创 DeepLearning（基于caffe）实战项目（6）--探索leNet模型的真谛

到目前为止，我们训好了模型，测试了模型，也知道如何看学习曲线，那么就很好奇，通过怎么个流程，能让一幅图片转换成了一个结果（数字），接下来将一探究竟。首先，需要明确的是我们训练集是60000张32*32的图片，测试集是10000张32*32的图片。

2017-05-26 11:26:19 603

原创 DeepLearning（基于caffe）实战项目（5）--Matlab画学习（Loss）曲线

话说，我们的model也训练好了，也能进行相应的（分类）预测了，但是怎么才能判断我们的model拟合的到底好还是不好呢，如何才能很直观的看出我们model拟合的怎么样，这样，我们就需要从训练日志里找寻相应的（Loss）值，然后画出曲线，在网上，我找了找看有没有现成的代码，发现，大部分都是用原有的Python程序，于是我打算用matlab自己写一个画学习曲线的程序。

2017-05-25 18:48:27 3053 4

原创 DeepLearning（基于caffe）实战项目（4）--Matlab测试训练好的model

好了，现在我们已经训练好自己的model，如何用这个model去预测我们待测样本的标签，就成了一个需要解决的问题。这里我们主要说的是Matlab程序调用训练好的model来预测标签。但是在说这个之前，有必要说说如何用caffe文件中的classification.exe

2017-05-24 19:24:42 2242

原创 DeepLearning（基于caffe）实战项目（3）--我们关心的caffe输出

经过这一通训练，总算可以得到相应的模型了（具体操作网上已经烂大街了），我们要是修改caffe参数，甚至是修改caffe内部程序，必须是以输出结果为动力，现在我们就看看我们关心的caffe输出都有哪些，虽然每一层都可以输出，但是我们最关心的有Loss层。深度学习就是通过最小化输出和目标的Loss来驱动的。值得注意的是：以mnist为例，我们所得到的ip2层已经是我们预测（分类/回归）的结果，

2017-05-23 20:04:05 1248