- 博客(185)
- 收藏
- 关注
RSS订阅转载 机器学习大牛最常用的5个回归损失函数，你知道几个？
“损失函数”是机器学习优化中至关重要的一部分。L1、L2损失函数相信大多数人都早已不陌生。那你了解Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失么？这些可都是机器学习大牛最常用的回归损失函数哦！机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。...
2019-04-17 20:09:50
900
转载 triplet loss 原理以及梯度推导
最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function，而triplet loss是用的非常广泛的一种。【理解triplet】如上图所示，triplet...
2019-04-10 15:43:39
836
转载 Python：functools partial详解
Python：functools partial详解首先从一个例子说起：首先我们定义了一个function add ，它接收两个参数a和b，返回a和b的和。然后我们使用partial ，第一个参数是fun ，即传入我们的函数add，然后再传入一个参数 ，这里是 1 ，它返回给我们一个新的function （addOne）。我们发现这个新的function 只需要接受一个参数，然后返回这个参...
2019-03-28 10:54:49
538
原创 自动摘要生成技术
一、概念 二、Extractive抽取式算法 - TextRank 1、TextRank算法提取关键词 2、TextRank算法提取关键词短语 3、TextRank算法生成摘要 1）文本相似度 - BM25算法 4、TextRank算法优势 5、TextRank算法存在的问题及解决策略 三、Abstractive抽取式算法 1、seq2seq + attent...
2019-03-07 15:51:41
24614
5
转载 50个最常用的Linux命令
转载自：https://www.cnblogs.com/midiyu/p/7738243.htmltar grep find ssh sed awk vim diff sort export args ls pwd cd gzip bzip2 unzip shutdown ftp crontab service ps free top df k...
2018-11-12 11:52:20
462
转载 Learning to Rank for IR
1.信息检索的评价指标1.1MAP平均准确率，一个query对应的准确率为AP，所有query对应的平均准确率为MAP。MAP反映系统在全部相关文档上性能的单值指标，系统检索出的相关文档越靠前，MAP就越高。1.2NDCGhttps://www.cnblogs.com/eyeszjwang/articles/2368087.html 2.Learning to rank介绍...
2018-11-12 11:20:38
383
原创 寻找数组最小小的k个数
思路1：利用快排的思想，寻找第k个位置上正确的数，k位置前面的数即是比k位置小的数组，k后面的数即是比k位置元素大的数组 public ArrayList<Integer> GetLeastNumbers_Solution(int [] input, int k) { ArrayList<Integer> res = new ArrayList<...
2018-11-04 12:27:44
161
转载 机器翻译、自动文摘评价指标
自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S原文：https://blog.csdn.net/qq_25222361/article/details/78694617机器翻译自动评估-BLEU算法详解https://blog.csdn.net/qq_31584157/article/details/77709454BLEU，ROUG...
2018-10-20 21:42:49
1354
转载 困惑度理解
引子：语言模型简介所谓语言模型（Language Model，LM），即给定一句话的前k个词，我们希望语言模型可以预测第k+1个词是什么，即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1x2...xk)。衡量一个语言模型的好坏，最好的方法就是将其应用到具体的问题当中，比如机器翻译、speech recognition、spelling corrector等。然后看这个语言模型在...
2018-09-12 17:36:25
3391
转载 nohup用法
在应用Unix/Linux时，我们一般想让某个程序在后台运行，于是我们将常会用 & 在程序结尾来让程序自动运行。比如我们要运行mysql在后台： /usr/local/mysql/bin/mysqld_safe –user=mysql &。可是有很多程序并不想mysqld一样，这样我们就需要nohup命令，怎样使用nohup命令呢？这里讲解nohup命令的一些用法。no...
2018-09-05 17:42:18
4990
转载 ROC，AUC，Precision，Recall，F1的介绍与计算
1. 基本概念1.1 ROC与AUCROC曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，ROC曲线称为受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve），AUC（Area Under Curve）是ROC曲线下的面积。在计算ROC...
2018-09-03 11:19:10
1518
转载 Hive HiveQL基础知识及常用语句总结
https://blog.csdn.net/u012386109/article/details/78214894https://blog.csdn.net/u010385646/article/details/53167707基础语句CREATE DROP 建表、删表建表---------------------------------------- 1. 直接建表---...
2018-08-07 20:45:20
682
转载 深入理解LDA和pLSA
主题模型LDA 在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获：通过上文的第2.2节，我们知道beta分布是二项式分布的共轭先验概率分布： “对于非负实数和，我们有如下关系 其中对应的是二项分布的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭...
2018-08-05 23:28:31
860
转载 协同过滤算法(collaborative filtering)
协同过滤算法(collaborative filtering)https://www.cnblogs.com/xuanku/p/recsys.html简介CF算法的原理是汇总所有<user,item>的行为对, 利用集体智慧做推荐。其原理很像朋友推荐, 比如通过对用户喜欢的item进行分析, 发现用户A和用户B很像(他们都喜欢差不多的东西), 用户B喜欢了某个item, 而...
2018-08-05 17:51:06
64398
2
转载 使用TensorFlow训练WDL模型性能问题定位与调优
转载自：美团算法团队，https://tech.meituan.com/tensorflow_performance_bottleneck_analysis_on_hadoop.html使用TensorFlow训练WDL模型性能问题定位与调优郑坤 ·2018-04-08 19:53简介TensorFlow是Google研发的第二代人工智能学习系统，能够处理多种深度学习算法模型，以功...
2018-07-31 08:33:51
535
转载 深度学习在文本领域的应用
转载自：美团技术团队，https://tech.meituan.com/deep_learning_doc.html深度学习在文本领域的应用美团算法团队 ·2018-06-21 23:39背景近几年以深度学习技术为核心的人工智能得到广泛的关注，无论是学术界还是工业界，它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累、计算能力的提升和算法模型的改进...
2018-07-31 08:32:13
8295
转载 ResNet,DenseNet,以及残差家族
系统学习深度学习（二十）--ResNet,DenseNet,以及残差家族转自：http://blog.csdn.net/cv_family_z/article/details/50328175CVPR2016 https://github.com/KaimingHe/deep-residual-networks这是微软方面的最新研究成果， 在第六届ImageNet年度图像识别测试中，微...
2018-07-24 09:31:27
479
转载 DenseNet
CVPR 2017最佳论文作者解读：DenseNet 的“what”、“why”和“how”｜CVPR 2017 Huang G, Liu Z, Weinberger K Q, et al. Densely connected convolutional networks[J]. arXiv preprint arXiv:1608.06993, 2016. 如何评价Densely Con...
2018-07-20 10:10:31
200
转载 信息检索评价指标
信息检索评价是对信息检索系统性能（主要满足用户信息需求的能力）进行评估的活动。通过评估可以评价不同技术的优劣，不同因素对系统的影响，从而促进本领域研究水平的不断提高。信息检索系统的目标是较少消耗情况下尽快、全面返回准确的结果。IR的评价指标，通常分为三个方面：（1）效率(Efficiency)—可以采用通常的评价方法：时间开销、空间开销、响应速度。（2）效果(Effectiveness)：...
2018-07-19 23:06:41
1819
转载 LSA潜在语义分析
https://blog.csdn.net/roger__wong/article/details/41175967浅层语义分析（LSA）是一种自然语言处理中用到的方法，其通过“矢量语义空间”来提取文档与词中的“概念”，进而分析文档与词之间的关系。LSA的基本假设是，如果两个词多次出现在同一文档中，则这两个词在语义上具有相似性。LSA使用大量的文本上构建一个矩阵，这个矩阵的一行代表一个词，一列代表...
2018-07-15 16:43:28
1288
转载 理解GloVe模型
理解GloVe模型概述模型目标：进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。输入：语料库输出：词向量方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。开始统计共现矩阵训练词向量结束统计共现矩阵设共现矩阵为XX，其元素为Xi,jXi,j。 Xi,jXi,j的意义为：在整个语料库中，单词ii和单词jj共同出现在一个窗口中的次数。 举个栗子： 设有...
2018-07-15 16:05:49
1875
转载 LDA主题聚类
LDA（Latent Dirichlet Allocation）学习笔记最近在看LDA算法，经过了几天挣扎，总算大致了解了这个算法的整体框架和流程。示例LDA要干的事情简单来说就是为一堆文档进行聚类（所以是非监督学习），一种topic就是一类，要聚成的topic数目是事先指定的。聚类的结果是一个概率，而不是布尔型的100%属于某个类。国外有个博客[1]上有一个清晰的例子，直接引用：Suppose ...
2018-07-08 10:00:25
21909
1
转载 C++文件读写详解（ofstream,ifstream,fstream）
在看C++编程思想中，每个练习基本都是使用ofstream,ifstream,fstream，以前粗略知道其用法和含义，在看了几位大牛的博文后，进行整理和总结：这里主要是讨论fstream的内容：[java] view plain copy print?#include <fstream> ofstream //文件写操作 内存写入存储设备 ifstream ...
2018-07-07 11:59:33
181
转载 四种常用的IO模型
1) 同步阻塞IO（Blocking IO）2) 同步非阻塞IO（Non-blocking IO）3) IO多路复用（IO Multiplexing）4) 异步IO（Asynchronous IO）注意以下概念:1.同步/异步同步和异步是相对的同步 前后两件任务, 有严格的顺序一致性(依赖和递进), 按顺序执行, 执行完一个再执行下一个, 需要等待、协调运行异步 对顺序的要求和依赖关系没那么强, ...
2018-07-07 11:48:58
836
转载 c++迭代器介绍与Vector赋值方法
迭代器的简介 （1）：迭代器类似于指针类型，它也提供了对对象的间接访问。 （2）：指针是c语言中就有的东西，迭代器是c++中才有的，指针用起来灵活高效，迭代器功能更丰富些。 （3）：迭代器提供一个对容器对象或者string对象的访问的方法，并且定义了容器范围。使用迭代器 迭代器和指针不一样，容器和string有迭代器类型同时拥有返回迭代器的成员。比如，容器都有的成员begin和end，其中begi...
2018-07-02 10:26:14
8611
转载 C++迭代器介绍
迭代器的简介 （1）：迭代器类似于指针类型，它也提供了对对象的间接访问。 （2）：指针是c语言中就有的东西，迭代器是c++中才有的，指针用起来灵活高效，迭代器功能更丰富些。 （3）：迭代器提供一个对容器对象或者string对象的访问的方法，并且定义了容器范围。使用迭代器 迭代器和指针不一样，容器和string有迭代器类型同时拥有返回迭代器的成员。比如，容器都有的成员begin和end，其中begi...
2018-07-01 16:37:09
652
转载 神经网络 epoch， iteration， batchsize相关理解和说明
https://blog.csdn.net/qq_20259459/article/details/53943413batchsize：中文翻译为批大小（批尺寸）。简单点说，批量大小将决定我们一次训练的样本数目。batch_size将影响到模型的优化程度和速度。为什么需要有 Batch_Size :batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 Batch_Size的取...
2018-06-24 22:19:46
295
转载 python __init_.py文件和from __future__ import absolute_import
Python __init__.py 作用详解__init__.py 文件的作用是将文件夹变为一个Python模块,Python 中的每个模块的包中，都有__init__.py 文件。通常__init__.py 文件为空，但是我们还可以为它增加其他的功能。我们在导入一个包时，实际上是导入了它的__init__.py文件。这样我们可以在__init__.py文件中批量导入我们所需要的模块，而不再需要...
2018-06-24 14:57:23
804
转载 深度学习中的Batch Normalization
Batch Normalization原理 为了减少深度神经网络中的internal covariate shift，论文中提出了Batch Normalization算法，首先是对”每一层“的输入做一个Batch Normalization 变换批标准化（Bactch Normalization，BN）是为了克服神经网络加深导致难以训练而诞生的，随着神经网络深度加深，训练起来就会越来越困难...
2018-06-23 21:36:30
216
转载 Python之NumPy（axis=0 与axis=1）区分
转自：http://blog.csdn.net/wangying19911991/article/details/73928172https://www.zhihu.com/question/58993137 https://www.cnblogs.com/rrttp/p/8028421.htmlpython中的axis究竟是如何定义的呢？他们究竟代表是DataFrame的行还是列？...
2018-06-23 15:42:06
473
转载 LSF-SCNN：一种基于 CNN 的短文本表达模型及相似度计算的全新优化模型
本篇文章是我在读期间，对自然语言处理中的文本相似度问题研究取得的一点小成果。如果你对自然语言处理 (natural language processing, NLP) 和卷积神经网络（convolutional neural network, CNN）有一定的了解，可以直接看摘要和LSF-SCNN创新与技术实现部分。如果能启发灵感，应用于更多的现实场景中带来效果提升，那才是这篇文章闪光的时刻。如果...
2018-06-22 11:17:23
985
1
转载 python中@classmethod @staticmethod区别
python中@classmethod @staticmethod区别Python中3种方式定义类方法, 常规方式, @classmethod修饰方式, @staticmethod修饰方式.class A(object): def foo(self, x): print("executing foo(%s,%s)" % (self, x)) print('s...
2018-06-20 11:19:27
370
原创 本地上传到github
1.首先在github帐号中新建repositories2.在本地电脑使用ssh-keygen -t rsa -C "[email protected]" 得到id_ras.pub3.打开文件，复制，之后在github - Account - Settings - ssh中粘贴key4.进入要上传的文件夹git config --global user.name "hlang8160"git con...
2018-06-18 09:33:22
176
转载 C++中头文件（.h）和源文件（.cpp）都应该写些什么
头文件(.h)： 写类的声明（包括类里面的成员和方法的声明）、函数原型、#define常数等，但一般来说不写出具体的实现。 在写头文件时需要注意，在开头和结尾处必须按照如下样式加上预编译语句（如下）： #ifndef CIRCLE_H#define CIRCLE_H//你的代码写在这里#endif 这样做是为了防止重复编译，不这样做就有可能出错。 在编译实现声明的函数，开...
2018-06-15 15:38:04
321
1
转载 浅谈C/C++引用和指针的联系和区别
为什么C/C++语言使用指针？ 答案：①一方面，每一种编程语言都使用指针。不止C/C++使用指针。 每一种编程语言都使用指针。C++将指针暴露给了用户(程序员)，而Java和C#等语言则将指针隐藏起来了。 “Everything uses pointers. C++ just exposes them rather than hiding them,” It’s easier to giv...
2018-06-14 21:38:40
152
转载 C语言中malloc()和calloc()c函数用法
函数malloc()和calloc()都可以用来动态分配内存空间,但两者稍有区别。 malloc()函数有一个参数,即要分配的内存空间的大小: void *malloc(size_t size); calloc()函数有两个参数,分别为元素的数目和每个元素的大小,这两个参数的乘积就是要分配的内存空间的大小。 void *calloc(size_t numElements,size_...
2018-06-13 10:13:47
964
转载 C/C++ typedef详细用法
第一、四个用途用途一：定义一种类型的别名，而不只是简单的宏替换。可以用作同时声明指针型的多个对象。比如： char* pa, pb; // 这多数不符合我们的意图，它只声明了一个指向字符变量的指针， // 和一个字符变量； 以下则可行： typedef char* PCHAR; // 一般用大写 PCHAR pa, pb; // 可行，同时声明了两个指向字符变量的指针 虽然：...
2018-06-12 16:54:35
136
原创 O2O优惠券消费
划分测试集、验证集和训练集(date_received)，领取优惠券日期 领取优惠券日期和使用优惠券日期 测试集 dateset3: 20160701~20160731 (113640),features3 from 20160315~20160630 (off_test) 验证集 dateset2: 20160515~201...
2018-06-03 16:22:09
630
转载 Markdown语法入门
Markdown 语法入门（Mou） 刘邓诏初 关注2016.04.21 19:43* 字数 1008 阅读 20868评论 5喜欢 46MouMou icon** 如果你觉得这篇文章对你有帮助或启发，请点下关注，谢谢 _**导语：Markdown 是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式。一、Markdown 官方文档Markdown 中...
2018-06-02 16:18:08
229
转载 Integer.parseInt("") Integer.valueOf("")和new Integer("")之间的区别
把一个String转换成int有Integer.parseInt("")、 Integer.valueOf("")和new Integer("")这么几种方式，它们之间有什么区别呢？我们可以分别看一下它们的源码//Integer.parseInt("")public static int parseInt(String s) throws NumberFormatException { re...
2018-05-26 15:26:45
295
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人