丁磊_ml的博客

原创 java设计模式---

文章目录设计模式在软件中哪里？设计模式的七大原则单一职责原则接口隔离原则（Interface Segregation Principle）设计模式在软件中哪里？面向对象 ==> 功能模块[设计模式+算法（数据结构）] ==> 框架[使用到多种设计模式] => 架构[服务器集群]设计模式的七大原则编写软件过程中，程序员面临着来自耦合性，内聚性以及可维护性，可扩展性，重用性，灵活性等多方面的挑战，设计模式是为了让程序（软件），具有更好的1）代码重用性（即：相同功能的代码，不用多次编写

原创 linux使用札记

文章目录1. 磁盘挂载2. ubuntu 局域网服务器上网-----代理设置2.1 主机A安装 CCProxy2.1 局域网服务器 pip 代理设置2.2 局域网服务器 apt-get install 代理设置其他思路2.3 网速慢的问题3. vi使用1. 磁盘挂载~$ df -hFilesystem Size Used Avail Use% Mounted onudev 16G 0 16G 0% /devtmpfs 3.2

原创 命名实体识别 NER

文章目录搭建NER分类器评估NER分类器NER方法基于规则的方法(Rule-based Approach)投票模型(Majority Voting)基于分类模型-----非时序模型：逻辑回归，SVM ...特征工程Feature Encoding搭建NER分类器定义实体种类准备训练数据训练NER评估NER分类器精确率/召回率F1-scoreNER方法基于规则（比如正则）投票模型（Majority Voting）利用分类模型非时序模型：逻辑回归，SVM …时序模型：HMM，C

原创 解一个难题的思路

原创 自然语言处理：专家系统简介

专家系统的工作流程推理引擎推理引擎可以扩展 知识库中的知识。解决规则冲突选择最小规则子集

原创 自然语言处理-----语言模型 Language Model

文章目录Language Model(LM) 简介Chain Rulesparsity 稀疏性问题马尔可夫假设Language Model: Unigram, Bigram, N-gram举例：Unigram, Bigram 模型的训练过程和使用UnigramBigram语言模型的评估-----Perplexity平滑函数Add-one Smoothing (也就是 拉普拉斯平滑)Add-K SmoothingInterpolationGood-Turning Smoothing语言模型的应用：生成句子

原创 机器学习---背后数学原理--总结

文章目录2020-06学习报告线性回归LASSO 回归Ridge 岭回归感知机算法PLApocket算法线性判别分析逻辑回归高斯判别分析PCAhard-margin SVMsoft-margin SVM2020-06学习报告本月学习机器学习常见算法，并做相应的数学推导。具体的数学推导见文件夹中的pdf文件。本word是对上面的算法进行简单的总结。机器学习模型 主要包括以下流程：首先根据实际问题(比如 一些 先验信息的假设)，思考自己的解决方案 (算法思路)将这个解决方案 用 数学的公式 表达出

原创 机器学习---背后数学原理--指数族分布

文章目录指数族分布公式指数族分布三大特性与三个模型充分统计量共轭最大熵模型将高斯分布写成指数族分布形式对数配分函数 A(η)A(\eta )A(η) 与充分统计量之间的关系极大似然估计求参数 与 充分统计量 之间的关系事实上，我们之前学的很多种概率分布都是指数族分布。指数族分布公式指数族分布三大特性与三个模型充分统计量共轭最大熵模型将高斯分布写成指数族分布形式对数配分函数 A(η)A(\eta )A(η) 与充分统计量之间的关系将这个定理带入到 高斯分布（一种指数族

原创 机器学习---背后数学原理--SVM之核函数

文章目录核函数正定核核函数在有的数据样本中，样本本就不是线性可分的。所以，我们就希望 找到一个非线性函数，将样本数据由低维映射到高维，从而使得样本在高维空间下，是可以线性可分的。cover theonemy: 高维比低维更容易线性可分。即通过非线性带来高维的转换假设这个非线性的映射函数为z=ϕ(x)z = \phi(x)z=ϕ(x)则，映射之后，样本的特征由x变为z但是有的时候ϕ(x)\phi(x)ϕ(x)维度非常高，甚至为无限维。导致ϕ(xi)T∗ϕ(xj)\phi(x_i)^T*\

原创 机器学习---背后数学原理--soft-margin SVM

文章目录所以soft-margin SVM的中心实现：在原hard-margin SVM模型的基础上，允许样本操作一定的误差。

原创 机器学习---背后数学原理--线性回归

文章目录线性回归的地位线性回归--最小二乘法估计与极大似然法则线性回归模型最小二乘估计，极大似然 ，及二者的关系（用频率派的角度理解最小二乘）最小二乘估计极大似然最小二乘估计 与 极大似然 的关系线性回归--正则化岭回归 l2 正则化 （频率派角度）从贝叶斯派的角度 理解 L2正则化正则化中 频率派和贝叶斯派 是一样的。综上所述线性回归的地位线性回归–最小二乘法估计与极大似然法则线性回归模型当前目标 是 找到 模型f(w)=wTxf(w)=w^Txf(w)=wTx，也就是求出参数 w。下面介绍

原创 机器学习---背后数学原理--线性分类

文章目录线性分类的背景感知机线性判别分析逻辑回归高斯判别分析线性分类的背景感知机https://blog.csdn.net/MosBest/article/details/52029217 这篇文章讲了 感知机算法和pocket算法线性判别分析线性判别分析 其实是一种降维的思想。假设样本是p维，二线性判别分析就是将所有p维的样本投影到 一维上（一条线上）。然后在这条线上进行 分类。逻辑回归高斯判别分析...

原创 机器学习---背后数学原理--SVM

文章目录SVM思想及其数学模型SVM的中心思想：用数学模型来表示SVM的中心思想建立思想将思想转化为数学表达式（数学模型）这个数学模型就是一个优化问题，求解这个优化问题即可。（梯度下降，EM算法，等等其他）SVM思想及其数学模型SVM有三宝：间隔，对偶，核技巧SVM分三类:hard-margin SVMsoft-margin SVMkernel SVMSVM的中心思想：用数学模型来表示SVM的中心思想下一步，就是要用数学公式表示出 margin(w, b)具体思路可见

原创 机器学习---背后数学原理--降维PCA(主成分分析)

文章目录维度灾难过拟合的三种解决方案：PCA(主成分分析)数学 预备知识PCA(主成分分析)的核心思想PCA的目标：最大投影方差最小重构距离PCA(主成分分析)------最大投影方差角度PCA(主成分分析)------ 最小重构距离角度PCA(主成分分析)------SVD角度PCA(主成分分析)------概率角度维度灾难从数据的角度上来看当你的模型增加一个特征(属性)后，你所需要的数据是以指数幂的形式增加从几何的角度上来看模型维度的增加，会导致数据的稀疏性过拟合的三种解决方案

原创 机器学习---背后数学原理--开篇：频率派 VS 贝叶斯派

文章目录机器学习方法最终引入 概率 是一个必然趋势，于是 最终 演化成 两大流派：频率派贝叶斯派本片blog就是来讲解这两大流派的异同。前提假设：样本 xi=(xi1,xi2,...,xip)x_i = (x_{i1}, x_{i2}, ... , x_{ip})xi​=(xi1​,xi2​,...,xip​): 第i个样本，且每个样本为p维向量样本集 X: 共有N个样本，则XN∗P=(xij)X_{N*P}=(x_{ij})XN∗P​=(xij​)参数θ\thetaθ: param

原创 设计原则

注意：本笔记整理于 极客时间 设计模式之美文章目录SOLID原则单一职责原则（SRP）开闭原则里式替换原则接口隔离原则依赖反转原则KISS原则YAGNI原则DRY原则LOD迪米特法则SOLID原则SOLID原则：由5个设计原则组成的，它们分别是：O：开闭原则L：里式替换原则I：接口隔离原则D：依赖反转原则单一职责原则（SRP）单一职责原则(Single Responsibilit...

原创 面向对象思想

注意：本笔记整理于 极客时间 设计模式之美文章目录面向对象编程思想面向对象、设计原则、设计模式、编程规范、重构，这五者有何关系？面向对象编程封装（Encapsulation）抽象（Abstraction）继承（Inheritance）多态（Polymorphism）面向对象与面向过程 二者的区别抽象类和接口基于接口而非实现编程多用组合少用继承面向对象编程思想现在，主流的编程范式或者是编程风格...

原创 mysql索引篇

文章目录查询结构的进化史何为索引索引模型哈希索引有序数组实现索引树形索引InnoDB中的索引模型sql语句创建索引InnoDB中表的存储方式索引分类主键索引和非主键索引聚集索引 和 非聚集索引索引创建方法创建表时，自增主键 与 把业务逻辑字段作为主键自增主键业务逻辑的字段做主键最左前缀原则 与 模糊匹配索引优化，在建立联合索引的时候，如何安排索引内的字段顺序索引优化，如何避免回表过程何为回表索引优...

原创 mysql基础结构

注意：本笔记整理于 极客时间 mysql实战45讲文章目录mysql 基础架构Server层长连接 与 短连接，--- 尽量使用长连接大多数情况下建议不要使用查询缓存存储引擎层redo log（重做日志）和binlog（归档日志）redo log 与 binlog 的不同？为什么会有这两份日志？mysql如何解决 更新数据 与 写入磁盘 两个操作之间的效率冲突 ----- WAL技术 redo...

原创 python常见知识点

注意以下内容，大部分为 极客时间 Python核心技术与实战 整理得到文章目录装饰器与闭包GIL何为GILGIL如何工作CPython引入GIL概念原因+=导致的线程不安全问题（有了GIL，线程也不一定安全）容器，可迭代对象，迭代器容器迭代器可迭代对象生成器多进程编程，多线程编程IO多路复用（select, poll, epoll）select协程并发编程之Futures并发编程之Asyncio...

翻译 TensorFlow 之 TFRecord

文章目录为什么每个TensorFlow开发人员都应该了解TFRecord！什么是TFRecord？让我们看看代码之间的区别 - Naive vs TfrecordNaive普通方式Tfrecord方式从tfrecord阅读原英文文章是：https://www.skcript.com/svr/why-every-tensorflow-developer-should-know-about-tfre...

原创 目标检测 SSD网络结构

原创 卷积神经网络中各个模型结构的优劣对比(Alexnet,VGGNet,ResNet,InceptionNet,MobileNet)

转载 sql 语句大全

下列语句部分是Mssql语句，不可以在access中使用。　　SQL分类：　　DDL—数据定义语言(CREATE，ALTER，DROP，DECLARE)　　DML—数据操纵语言(SELECT，DELETE，UPDATE，INSERT)　　DCL—数据控制语言(GRANT，REVOKE，COMMIT，ROLLBACK)　　首先,简要介绍基础语句：　　1、说明：创建数据库CREATE D...

原创 mysql的 索引 ，视图 ， 导入 ， 导出 ， 备份 ， 恢复

文章目录3.1 索引索引是一种与表有关的结构，它的作用相当于书的目录，可以根据目录中的页码快速找到所需的内容。当表中有大量记录时，若要对表进行查询，没有索引的情况是全表搜索：将所有记录一一取出，和查询条件进行一一对比，然后返回满足条件的记录。这样做会消耗大量数据库系统时间，并造成大量磁盘 I/O 操作。而如果在表中已建立索引，在索引中找到符合查询条件的索引值，通过索引值就可以快速找到表中的...

原创 mysql的查询语句SELECT

文章目录SELECT语句限制条件WHERE“AND”与“OR”　，BETWEENIN和NOT IN通配符是 _ 和 %对结果排序SQL 5 个内置函数和计算SELECT语句SELECT 要查询的列名 FROM 表名字 WHERE 限制条件;#基本的SELECT语句SELECT * FROM 表名字 WHERE 限制条件;#查询表的所有内容,星号 * 号代表要查询表中所有的列...

原创 mysql基本操作

文章目录对数据库的操作对表的操作对表的列的操作对表的行的操作对表的具体某个值的操作对数据库的操作SHOW DATABASES;`# 显示包含的所有的数据库DROP DATABASE test_01;#删除名为 test_01 的数据库对表的操作#重命名一张表,三种方法方法１：RENAME TABLE 原名 TO 新名字;方法２：ALTER TABLE 原名 RENAME 新名;方...

原创 mysql学习

文章目录基本理论操作安装开启sql基本操作退出基本理论表的每一行称为记录（Record），记录是一个逻辑意义上的数据。表的每一列称为字段（Column），同一个表的每一行记录都拥有相同的若干字段。字段定义了数据类型（整型、浮点型、字符串、日期等），以及是否允许为NULL。注意NULL表示字段数据不存在。一个整型字段如果为NULL不表示它的值为0，同样的，一个字符串型字段为NULL也不表...

原创 mysql数据结构

在刚才新建表的过程中，我们提到了数据类型，MySQL 的数据类型和其他编程语言大同小异，下表是一些 MySQL 常用数据类型：整数型：整数除了 INT 外，还有 TINYINT、SMALLINT、MEDIUMINT、BIGINT。字符型：CHAR 和 VARCHAR 的区别: CHAR 的长度是固定的，而 VARCHAR 的长度是可以变化的，比如，存储字符串 “abc"，对于 CHAR(10...

转载 python之路

文章目录列表生成式生成器构造生成器，方法一：构造生成器，方法二：yield关键字打印生成器：方法一：调用next(g)方法二：for循环迭代器列表生成式要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]可以用range(1, 11)：>>> range(1, 11)[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]但如果要生成[...

原创 python之路-----函数

文章目录语法定义默认参数**非固定参数***args 会把多传入的参数变成一个元组形式**kwargs 会把多传入的参数变成一个dict形式匿名函数 lambda高阶函数语法定义#改成用函数写def summ(x,y)::#函数名 res = x+y return res c = summ(a,b)#调用函数print(c)默认参数def stu(country...

原创 python之路——基本语法

转载 python之路——开始

此博客，完全来自于一位大牛的博客，仅仅是重新改了一遍（金角大王等待唐僧的日子，https://www.cnblogs.com/alex3714/）原文是博客目录编译和解释的区别是什么？.py执行过程python是什么语言？简述Python的运行过程.pyc和.PyCodeObject是个什么鬼？Python解释器python安装执行python代码字符编码ASCII关于中文UnicodeUTF...

转载 Tensorflow学习笔记——Summary用法

来自博客： https://www.cnblogs.com/lyc-seu/p/8647792.html 最近在研究tensorflow自带的例程speech_command,顺便学习tensorflow的一些基本用法。 其中tensorboard 作为一款可视化神器，可以说是学习tensorflow时模型训练以及参数可视化的法宝。 而在训练过程中，主要用到了tf.summary()的...

原创 ubuntu16.04下卸载Anaconda,升级python为３.5，安装pip3，安装tensorflow==1.0.0

卸载Anaconda（一）删除整个anaconda目录： 由于Anaconda的安装文件都包含在一个目录中，所以直接将该目录删除即可。到包含整个anaconda目录的文件夹下，删除整个Anaconda目录：sudo rm -rf anaconda文件夹名（二）建议清理下.bashrc中的Anaconda路径：1.到根目录下，打开终端并输入： sudo gedit ~/.bash...

原创 tensorflow

tensorflow安装安装anaconda 链接: https://pan.baidu.com/s/1igQnoYfm7XkQQfCZWibqbg 密码: mcnj安装windows版tensorflow pip install tensorflow 注意是在cmd中输入的，其中cmd要以 “管理员”的方式打开tensorflow使用基本概念...

原创 Semi-supervised Learning ;半监督学习

1. 进入半监督学习2. 半监督学习 出现的原因？？？原因：收集样本数据容易，但是给每个样本打标签 成本就很高。 Collecting data is easy, but collecting “labelled” data is expensive.3. 本篇博客讲解的半监督学习的内容？3.1 Semi-supervised Learning for Gene...

原创 为什么越deep，越可以learning?

1. 模型深且瘦，要优于 矮且胖？ 在参数一样的前提下，是模型深且瘦好些，还是矮且胖好些？？？ **答案：在参数一样的前提下，模型越深越好。**2. 在参数不变前提下，为什么模型越深越好？？？其实，“加大深度”就相当于函数中的模块化。 也就是“并不急于解决问题，而是把问题切成比较小的问题，再解决”。 而且这样的好处是：“数据集要求低，并不需要太多的数据” 比如： ...

原创 台大李宏毅--CNN

CNN与普通深度学习（全网络连接 ）的很大区别就是：CNN是关注图片的一小部分，一小部分的。而普通深度学习是把图像的每一个像素全部拉长，都作为输入。一：CNN整体流程1. CNN – Convolution CNN 的Convolution与 普通DNN （Fully Connected ）的异同 **由上面的三个图可以看见，CNN的卷积过程，其实就是 ...

原创 台大李宏毅--深度学习tip（模型优化）

训练结果不好，并不总是因为过拟合训练结果不好，并不总是因为过拟合。有可能是你的training data都没有训练好，那最终结果一定不好深度学习的层数越多，网络越复杂，并不一定模型会越复杂。有时会使得模型变简单，变成欠拟合。在机器学习中，要想让training data 训练的结果非常好是很容易做到的。比如，用svm，甚至可以使得raining data 的训练结果为10...