8 默一鸣

尚未进行身份认证

我要认证

韬光养晦

等级
TA的排名 1k+

C++读写配置文件的类

共用版.h文件//----------------------------------------------------------------------------// 程序名称:ConfigFile.h// 程序说明:类 ConfigFile 的定义// 程序作者:// 程序版本:1.0// 开始日期:1999-01-10

2020-08-04 17:19:02

linux下安装了软件却提示command not found

问题描述 : 安装了软件却提示没有原因:bash找不到,没有添加到系统路径中解决:1.将可执行文件的目录添加到系统路径中(使用自定义的安装路径常用)或者2.将可执行文件软连接到已经存在的系统路径中(使用默认的安装路径但是可执行文件不在默认的/usr/bin中常用)下面是找到可执行文件在哪里的方法:以 php-fpm 为

2020-08-04 17:18:57

BN在CNN和RNN中的应用

Batch Normalization的基本思路和价值在之前一篇文章“Batch Normalization导读”介绍了,此处不赘述,背景知识请参考上面文章。看到BN后,很明显能够看到这等于往传统的神经网络中增加了一个BN层,而且位置处于神经元非线性变换前,基本大多数网络结构都能很自然地融合进去,于是很自然的想法就是:如果用在CNN或者RNN效果会如何?是否也会增加收敛速度以及模型分类性能?CNN...

2020-08-04 17:18:53

LSTM图示和公式

LSTM网络long short term memory,即我们所称呼的LSTM,是为了解决长期以来问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。LSTM 同样是这样的结构,但是重复的模块拥有一个不同的结构。不同于单一神经网络层,这里是有四个,以一种非常特殊的方式进行交互。不...

2020-08-04 17:18:29

机器学习中的各种损失函数

1. 损失函数损失函数(Loss function)是用来估量你模型的预测值f(x)f(x)与真实值YY的不一致程度,它是一个非负实值函数,通常用L(Y,f(x))L(Y,f(x))来表示。损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项,通常如下所示:θ∗=argminθ1N∑i=1NL(...

2020-08-04 17:16:00

课程学习与自步学习Curriculum learning and self-paced learning:极简入门

Curriculum Learning在谈论self-paced learning之前,我们需要先了解一下课程学习(curriculum learning)。Bengio [1] 提出了课程学习的概念,其直觉来自于人类从易到难的学习过程:将数据看作模型所学习的内容的话,我们自然需要一个合理的课程(curriculum)来指导模型学习这些内容的方式。在课程学习中,数据被按照从易到难的顺序逐渐加入模型的训练集,在这个过程中训练集的熵也在不断提高(包含更多的信息)。A model is learned b

2020-08-04 17:08:29

MapReduce实现两表的Join--原理及python和java代码实现

用Hive一句话搞定的,但是有时必须要用mapreduce方法介绍1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。2. 常见

2017-04-19 16:58:11

在电力智能测量数据应用中的分层时间序列预测正则化(Regularization in Hierarchical Time Series Forecasting with Application to)

论文链接 原文链接 Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI-17) 文中所有的公式都没有弄过来,太麻烦了,都用()代替了,需要对照原文看。Regularization in Hierarchical Time Series Forecasting with Appli

2018-02-07 14:40:10

h5py pytorch dataset 报错:KeyError: 'Unable to open object (wrong B-tree signature)'

dataloader多线程加载数据时,读h5文件的code不能写在dataset class的init方法中,不然会导致多线程读这个文件可以写在getitem中,判断下,只第一次读这个文件,之后有了就不用读了

2020-05-09 18:16:08

通俗易懂的NCE Loss

NCE loss : Noise Contrastive Estimation他的直观想法:把多分类问题转化成二分类。之前计算softmax的时候class数量太大,NCE索性就把分类缩减为二分类问题。之前的问题是计算某个类的归一化概率是多少,二分类的问题是input和label正确匹配的概率是多少。问题:通常训练例如word2vec的时候,我们最后用full softmax预...

2020-05-04 18:09:12

深度学习各种优化算法(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)

標準梯度下降法:彙總所有樣本的總誤差,然後根據總誤差更新權值SGD隨機梯度下降:mini batch代替全部樣本曲面的某個方向更加陡峭的時候會被困住Xt+1=Xt-α Δf(x1)隨機抽取一個樣本誤差,然後更新權值 (每個樣本都更新一次權值,可能造成的誤差比較大)批量梯度下降法:相當於前兩種的折中方案,抽取一個批次的樣本計算總誤差,比如總樣本有10000個...

2019-04-18 21:04:29

基于远端新建分支/修改远端分支名/查看当前分支upstream

基于远端新建分支1. 切换到被copy的分支(master),并且从远端拉取最新版本$git checkout master$git pull2. 从当前分支拉copy开发分支$git checkout -b devSwitched to a new branch 'dev'3. 把新建的分支push到远端$git push origin dev4. 关联$git...

2018-12-05 17:03:52

git cherry-pick 的时候出现git cherry-pick xxx  fatal: bad object xxx

解决git cherry-pick xxx  fatal: bad object xxx        我的情况是在B分支的同步A分支的一个commit,出现了如标题的错误。我是直接在web上看到A分支新提交的这个commit,然后我直接在本地的B分支中进行git cherry-pick xxx。就出现了这个问题。经过尝试问题是出在了我没有切到B分支pull一下。总结过来就是git cherry...

2018-11-05 19:32:53

最长增长子序列(串),最大公共子序列(串),

300. Longest Increasing Subsequence子序列,不需要连续的。思路一:传统的dp,dp[i]表示前i个数且以第i个数字结尾的最长增长子序列,遍历数组,dp[i] = max(dp[i], dp[j] + 1)  if nums[i] > nums[j], j from 0 to i思路二:维护一个数组,vec[i]表示,当递增序列长度是i的时候最后一...

2018-09-22 00:01:08

背包问题总结

前面是转载来的背包9讲,非常详细,后面有几个lintcode上的题目前言本篇文章是我(dd_engi)正在进行中的一个雄心勃勃的写作计划的一部分,这个计划的内容是写作一份较为完善的NOIP难度的动态规划总结,名为《解动态规划题的基本思考方式》。现在你看到的是这个写作计划最先发布的一部分。背包问题是一个经典的动态规划模型。它既简单形象容易理解,又在某种程度上能够揭示动态规划的本质,故不少...

2018-09-12 02:27:25

GBDT详细分析 未完

GBDT是boosting策略和决策树的结合,GBDT有很多简称,有GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting ), GBRT(Gradient Boosting Regression Tree), MART(Multiple Additive Regression Tree),其实都是指的同一种算法所谓的Gradient B...

2018-09-08 00:28:27

RF,GBDT,XGBOOST, LightGBM的对比和分析

1.概述RF、GBDT和都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 xgboost和lightgbm是gbdt的优秀工程实现及优化改进。2.集成学习方法bootstrap, boosting, bagging, stacking集成算法原理介绍详细的bootstrap3.各种实例解析...

2018-08-29 23:05:21

DNN中的trick

1:优化器。机器学习训练的目的在于更新参数,优化目标函数,常见优化器有SGD,Adagrad,Adadelta,Adam,Adamax,Nadam。其中SGD和Adam优化器是最为常用的两种优化器,SGD根据每个batch的数据计算一次局部的估计,最小化代价函数。学习速率决定了每次步进的大小,因此我们需要选择一个合适的学习速率进行调优。学习速率太大会导致不收敛,速率太小收敛速度慢。因此SGD通常训...

2018-08-29 19:00:35

期望风险,经验风险和结构化风险,以及交叉验证

损失函数0-1损失函数平方损失函数绝对损失函数对数损失函数损失函数的期望(风险函数或期望损失)学习的目标是选择期望风险最小的模型。由于联合分布  是未知的,  不能直接计算。实际上,如果知道联合分布  ,可以直接从联合分布直接求出条件概率分布 ,也就不需要学习了。正因为不知道联合概率分布,所以才需要学习。一方面根据期望风险最小学习模型要用到联合分布,另一方面联...

2018-08-29 18:49:57

L1和L2正则化原理及分析

正则化是指在优化目标函数或代价函数是,在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。1. L1正则 L1正则是基于L1范数和项,即参数的绝对值和参数的积项,即: C=C0+λn∑w|w|C=C0+λn∑w|w|其中C0代表原始的代价函数,n是样本的个数,λ就是正则项系数,权衡正则项与C0项的比重。后面那一项即为L1正则项。 在计算梯度时,w的梯度变为: ...

2018-08-25 01:13:28

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。