千君一发-CSDN博客

原创关于 LambdaMART 的六个疑惑

目录前言LAMBDAMART的由来LAMBDAMART的原理要点总结前言工作的关系，最近接触到lambdamart算法，通过查资料、学习、读代码，对该算法有了一定程度的理解，因此以笔记的形式记录在这里。一家之言，结论不一定可靠，欢迎网友留言讨论。LAMBDAMART的由来LAMBDAMART的原理要点总结...

2020-07-25 20:17:47 1798 2

原创 Ubuntu16.04下面安装mysqldb

pip install mysql-python若报错:1. sudo apt-get install libmysqlclient-dev2. pip install mysql-python

2018-01-09 17:39:56 1458

转载使用GPU跑程序

查看机器上GPU情况命令： nvidia-smi功能：显示机器上gpu的情况命令： nvidia-smi -l功能：定时更新显示机器上gpu的情况命令：watch -n 3 nvidia-smi功能：设定刷新时间（秒）显示GPU使用情况其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。在终

2018-01-05 20:03:02 42369 14

原创 Ubuntu下rm指令重定向

1、Install trash-clisudo apt-get install trash-cli2、Set up the scriptsudo gedit /usr/local/bin/trash-rmcopy#!/bin/bash# command name: trash-rmshopt -s extglobrecursive=1declare

2017-12-17 17:45:47 1334

转载 27 个Jupyter Notebook的小提示与技巧

27 个Jupyter Notebook的小提示与技巧Jupyter notebook, 前身是 IPython notebook, 它是一个非常灵活的工具，有助于帮助你构建很多可读的分析，你可以在里面同时保留代码，图片，评论，公式和绘制的图像。Jupyter具有非常强的可扩展性，支持很多编程语言，并且易于部署到你的个人电脑和几乎所有的服务器上 -- 你只需要使用ssh

2017-10-23 10:02:09 623

原创为什么L1稀疏L2平滑？

两种解释————————————1、从L1和L2的来源看当你想从一个手头的数据集中学习出一套规则时，贝叶斯学派认为仅仅使用这些数据是不够的，还需要加入先验知识。如果你在损失函数中使用了L1正则项，那么其实质就是加入了拉普拉斯先验分布，即认为数据是符合拉普拉斯分布的；如果你使用了L2正则项，那么就是加入了高斯先验分布，即认为数据是符合高斯分布的。一般由于推导和计算方便，会对分布函数取

2017-08-28 16:06:22 6261 4

原创机器学习笔记——无监督学习

1、有啥用？2、聚类（1）K-Means（2）HAC-分层聚类2、降维（1）PCAPCA的另一种解释与SVD的关系与自动编码的关系PCA的缺点SVD学习预测SVD升级版本SVD的应用其他相关技术

2017-08-25 16:16:52 427

原创机器学习笔记——半监督学习

1、简介2、半监督生成模型具体的为什么呢3、低密度分割例1例2例34、平滑假设实际应用例子实现方法1实现方法25、寻找更好的表达

2017-08-25 10:01:27 417

原创机器学习笔记——集成学习

1、什么时候用集成学习？集成学习有利于减少模型方差，因此当模型复杂度复杂度太高时可以用集成学习方法参加kaggle等比赛的时候2、bagging和boosting的基学习器有一样的特点？bagging的基学习器更强一些，它们学习的对象都是目标任务，最终的预测模型是直接拿子模型的决策结果投票或者做平均；boosting的基学习器更弱一些，可以说是非常弱，它们学习的都只是目标任务的一部

2017-08-24 19:50:38 323

原创深度学习笔记——why “deep”？

1、多层的学习效果往往比单层要好，即便参数的个数一样2、在用C语言进行结构化编程时，我们从来不会把大量的功能写到一个函数里面，而是写很多函数同过函数调用实现目标。神经网络也类似，一个层可以看做一个函数实现了一个功能，多层结构更清晰，功能也更强大。3、如下图所示，如果只有一层的话就很难识别长头发男生，因为其样本太少增加一层实现识别性别的功能，在此基础上进一步区

2017-08-21 20:59:11 324

原创深度学习笔记——CNN

1、为什么需要CNN（卷积神经网络）？CNN其实是一种比FNN（全连接神经网络）要简单的网络结构，也就是说CNN的参数要比FNN少很多。那么，为什么需要这种网络结构呢？假如我们现在要识别一张图片中的一只飞鸟，FNN采用整体策略，把一整只鸟当做目标pattern去识别。CNN呢？CNN在一开始学习的时候就把鸟这个大的目标pattern分成很多小pattern，比如嘴、翅膀、脖子、爪子等，甚至更小

2017-08-20 10:46:55 522

原创深度学习笔记——深度学习技巧

1、模型在训练数据上表现不好，why？（1）过拟合（2）激活函数（3）学习率2、梯度消失？盲目增加网络层数很容易导致发生梯度消失现象，尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响，当层数很多时这种影响甚至可以忽略不计。在权重更新环节，靠近输出端的权重梯度较大，靠近输入端的权重梯度很小，这使得后端权重更新的很快、很快就

2017-08-19 16:02:46 376

原创机器学习笔记——逻辑回归

决策函数：sigmoid损失函数：cross-entropy为什么不用平方误差做损失函数？因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。逻辑回归的

2017-08-18 19:35:22 621

原创机器学习笔记——概率生成模型

假设有两类数据，每一类都有若干个样本；概率生成模型认为每一类数据都服从某一种分布，如高斯分布；从两类训练数据中得到两个高斯分布的密度函数，具体的是获得均值和方差两个参数；测试样本输入到其中一个高斯分布函数，得到的概率值若大于0.5，则说明该样本属于该类，否则属于另一类。算法的核心在于获取分布函数的两个参数。具体的做法是：利用训练数据，构造似然函数，使得该似然函数最大的参数即为所求。事实

2017-08-18 16:44:03 9521 3

原创最大似然估计，高斯分布，高斯混合模型，EM算法

1、最大似然估计似然的概念与概率类似，但是又很不相同。假如随机变量X服从某种分布（比如高斯分布），概率是指在给定参数（均值，方差）的条件下，X=x的可能性；而似然则指X=x的条件下，某一组参数反映了X=x的真实性大小。最常见的应用是最大似然估计。假设有N个数据点，服从某种分布Pr(x;θ)，我们想找到一组参数θ，使得生成这些数据点的概率最大，这个概率就是称为似然函数（Lilel

2017-08-09 16:18:22 9985

原创深入理解朴素贝叶斯（Naive Bayes）

朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，总是看过即忘，这是写这篇博文的初衷。当然，更大的动力来在于跟大家交流，有论述不妥的地方欢迎指正。

2017-07-27 10:48:51 91830 13

原创推荐引擎—概述

最近在看推荐系统相关的资料，发现一篇很棒的概述文章，于是整理出了这篇个人笔记【转载、引用请注明出处】。原文在这里：推荐引擎初探1、概念：相对于“搜索引擎”而存在的另外一种信息发现技术。搜索引擎，用户借助于网络通过输入关键词获取自己感兴趣的信息。但是，诚如乔布斯所言，大多数用户并不知道自己想要什么，直到你把它摆在他或她的面前，于是推荐引擎就产生了。这当然是优雅的说法，推荐引擎的产生原因还包括信息

2017-07-26 10:37:50 863

原创 SVM松弛变量解读

1.松弛变量反映了SVM模型对野点的容忍程度，只有野点有对应的松弛变量。也就是说，软间隔的SVM允许部分样本点分类错误来换取模型更强的泛化能力。2.松弛变量本质是个变量，而且不能小于0。软间隔SVM为其配备了惩罚参数C。C越大意味着松弛变量要越小，对野点容忍度更低；C越小则模型允许更多的野点分类错误。3.SVM处理非线性可分问题除了引入松弛变

2017-07-25 10:40:04 3970

原创范数-简介

1.定义L0范式||W||0：向量中非0元素的个数L1范式||W||1：向量中各元素绝对值之和L2范式||W||2：向量中各元素平方之和2.解读（1）L0和L1可以实现模型稀疏，好处是：特征选择，简化模型增加模型解释性（2）L0和L1在一定条件下效果等价，但是L1更常用，因为：L0是不好求解（NP难问题）L1是L0的最优凸近似，相对容易求解

2017-07-23 11:14:38 737

原创 Linux下便捷安装 Pytorch命令指南

1.pip install http://download.pytorch.org/whl/cu75/torch-0.1.12.post2-cp27-none-linux_x86_64.whl 2.pip install torchvision

2017-07-19 21:41:30 27475 8

原创评价指标——P，AP，MAP

P：precision，预测正确的个数/测试总个数AP：average precision，每一类别P值的平均值MAP：mean average precision，对所有类别的AP取均值×××××注意：这里的P与预测顺序有关。例如：假设有两个查询，查询1有4个相关文档，查询2有5个相关文档。某系统对查询1检索出4个相关文档，其rank分别为1,2,

2017-07-18 10:54:29 18713 4

原创 Ubuntu16.04下为pycharm设置快速启动项

1. sudo gedit /usr/share/applications/Pycharm.desktop2.[Desktop Entry]Type=ApplicationName=PycharmGenericName=Pycharm5Comment=Pycharm5:The Python IDE Exec="/home/zifa/pycharm/bin

2017-07-17 17:46:38 799

原创 pycharm下安装opencv3到anaconda2

1.安裝opencv3到anaconda2（1）Windows下—— 下载opencv2並解压缩，将 \opencv\build\python\2.7\x64\下的cv2.pyd拷贝到Anaconda2的 \Anaconda2\Lib\site-packages目录下即可。（2）Ubuntu16.04下——打開pycharm，進入終端，輸入命令：conda install -c

2017-07-13 18:04:35 487

原创模型压缩技术，卷积核解读

1. Compressing and regularizing deep neural networks（1）权重值的大小反映了连接的重要性——删除不够重要的连接（called pruning）。（2）权重值轻微的变动对模型的预测能力影响甚微——权重共享（值接近的权重共享同一个权重值，通过索引表查找） ——带来的好处是：减少过拟合，计算，存储，耗能。增加可解释性（私以为）。

2017-07-06 17:08:29 895

原创 ubuntu常用命令

1.ubuntu常用命令（1）sudo apt-get update（2）sudo apt-get upgrade（3）bash package.sh——安装.sh程序（4）dpkg -i package.deb——安装.deb程序（5）tar xvf package.tar.gz——解压; ./name.sh——启动应用程序

2017-07-05 22:17:06 601

原创正态分布/BP算法—笔记

1.为什么正太分布在自然界如此常见？（1）n个独立同分布随机变量，根据中心极限定律，当n趋于无穷时，其平均值服从正太分布（高斯分布）。一个指标受到若干因素影响，但是单个因素又对指标构不成决定性影响，则该指标服从中心极限定律，收敛与正太分布——林徳伯格-费勒中心极限定理。（2）正太分布的信息墒最大（3）统计学三大分布：卡方分布，t分布，f分布都与正太分布有关（4）Everyone b

2017-07-03 09:30:01 1308

原创感知机/Pytorch—笔记

Variable—— 创建：v = Variable （tensor， requires_grad = Ture）转换为Tensor类型：v.data 转换为Numpy类型：v.data.numpy（）计算反向梯度：v.backward() 2. 获取列表某元素的索引：li

2017-07-02 19:57:57 1092

li8zi8fa的博客