dulingtingzi-CSDN博客

原创 GBDT与XGBoost速度对比

同样的数据量，在同样的环境下的速度对比正负样本数量：142287,711435参数设置：model_xgb=XGBClassifier(learning_rate=0.1,max_depth=5,n_estimators=300,subsample=0.6,objective='binary:logistic',n_jobs=10,enable_categorical=True)#model_GBDT = GradientBoostingClassifier(max_depth=5, n_es

2021-10-21 14:57:52 606

原创 Lookalike算法调研

参考了很多优秀博主的文章，这属于一个汇总吧参考文章：（还有很多，在后面的连接里）Lookalike的几种实现方式 | GA小站计算广告中的lookalike是如何实现的？ - 简书1、什么是lookalikelookalike算法是计算广告中的术语，不是单指某一种算法，而是一类方法的统称。其目的是基于目标人群，从海量的人群中找出和目标人群相似的其他人群，实现人群包扩充。比如：广告主需要对100w人投放，但是，从选取的基础数据包中，只有30w，那么如何满足100w的投放需求，这时，就.

2021-10-13 17:31:41 4804

原创 GBDT算法做回归、二分类及多分类的理解看这几篇文章足矣

下面是我在学习的时候看到的几个不错的文章，省得大家再去大浪淘沙了，这几篇足够了，从GBDT算法原理，如何做回归，以及改动一下可以让他去做二分类及多分类的原理https://zhuanlan.zhihu.com/p/81016622?from_voters_page=truehttps://zhuanlan.zhihu.com/p/58105824https://blog.csdn.net/cxx654/article/details/113070811https://blog.csdn.ne

2021-09-06 16:31:29 540

原创 tensorflow与深度学习之二

tensorflow是什么 tensorflow计算模型-计算图 2.1计算图的概念 2.2计算图的使用 tensorflow数据模型-张量 3.1张量的概念 3.2张量的使用 tensorflow运行模型-会话 tensorflow实现神经网络第一个CNN网络 6.1CNN算法原理 6.2CNN是干什么的 6.3tensorflow实现CNN 6.4CNN模型发展第一个RNN网络 7.1RNN算法原理 7.2RNN是干什么的 7.3tensorflow实现RN..

2020-08-14 10:15:54 1301

原创 tensorflow与深度学习之一

目录 tensorflow是什么 tensorflow计算模型-计算图 2.1计算图的概念 2.2计算图的使用 tensorflow数据模型-张量 3.1张量的概念 3.2张量的使用 tensorflow运行模型-会话 tensorflow实现神经网络第一个CNN网络 6.1CNN算法原理 6.2CNN是干什么的 6.3tensorflow实现CNN 6.4CNN模型发展第一个RNN网络 7.1RNN算法原理 7.2RNN是干什么的 7.3tensorflow

2020-07-15 10:52:23 1192

原创 tensorflow固定版本安装及查看是否使用了gpu版本cuda路径设置工程采坑经验

近期在做项目的过程中发现明明指定了gpu去进行训练，但是训练的时候发现仍然是使用的cpu，于是进行了一系列的探索，基本上该踩的坑也都踩到了，希望能帮到大家明明nvidia-smi是有gpu的啊，肿么回事！？ps -ef | grep 用户名ll /proc/pid根本找不到gpu上的进程号！一、首先，查看自己的服务器上tensorflow安装的是不是gpu版本，是不是能够看到g...

2020-04-22 14:20:58 2707

原创从强化学习角度分析如何能过有意思的生活

《地久天长》电影里面给我触动最深的一句话是，当丈夫被他的徒弟问他的妻子如何的时候，他说：“用她的话讲就是，时间已经停止了，剩下的就只是等着慢慢变老。”当一个人在一种生活方式里面呆久了，对生活没有什么期待的时候，你就会觉得生活无聊单调，甚至烦躁。我觉得每个人生的阶段都会出现这种状态，那么为什么呢？答案是（我认为）你没有在你的生活中获得你想要的奖励！这种奖励方式多种多样，简言之就是你的行为和环...

2019-12-08 17:52:24 241 1

原创 tensorflow使用python对pb模型做预估

tensorflow中ckpt模型转成pb模型的代码：参考链接https://blog.csdn.net/dulingtingzi/article/details/90790282但是为了使大家更容易明白，因为有些变量需要统一，这里针对下面的使用pb模型进行预估的代码，粘贴一下ckpt转pb模型：import tensorflow as tfimport osfrom tensorf...

2019-10-10 11:40:48 2037

原创 Linux服务器上远程配置jupyter notebook及修改notebook的密码

参考链接：https://blog.csdn.net/u014680339/article/details/92798073https://blog.csdn.net/qq_35843543/article/details/81409269文章包含3部分内容“1、如何在linux远程服务器上配置jupyter notebook在本地显示2、如何修改jupyter notebook的...

2019-09-25 18:31:22 8453 2

原创那些年，我们踩过的Batch_normlization的坑

先说一下batch_normlization的原理吧，我就不复制粘贴了，大家可以去这个博客看一下，原理讲的挺好的https://blog.csdn.net/hjimce/article/details/50866313https://www.cnblogs.com/bonelee/p/8528722.html下面主要是我在实践当中遇到的问题。我用tensorflow.slim模块进...

2019-06-06 11:35:58 1647

原创将keras训练的h5模型转成pb格式

import osimport tensorflow as tffrom keras import backend as Kimport loggingfrom tensorflow.python.util import compatfrom keras.layers import Conv2D, Dense, Input, add, Activation, AveragePoolin...

2019-06-04 18:37:29 3722

原创 tensorflow中ckpt转pb模型

参考代码：import tensorflow as tfimport osfrom tensorflow.python.framework import graph_utildef set_config():#设置GPU使用率 # 控制使用率 os.environ['CUDA_VISIBLE_DEVICES'] = '0' # 假如有16GB的显存并使用其中的8...

2019-06-04 17:57:18 1147

原创 densenet比resnet参数量少，但训练速度慢的原因分析

笔者做一个四分类的模型，发现了一个非常有意思的问题，就是训练好的densenet的h5模型只有1.3M的参数量，而resnet50的参数量有271M之多，但是训练的速度竟然是densenet更慢，笔者很迷惑，所以就查找了一些资料并对网络结构进行分析，做一下记录，供大家参考。首先我查找了一些资料，进行分析，毕竟要先知道网络速度的快慢和啥有关对吧，参考如下博客，https://blog...

2019-05-24 14:00:22 15131 4

原创优化器的选择及参数调整的几个不错的连接

几个奖的比较好的关于优化器及参数调整的连接：https://blog.csdn.net/weixin_40170902/article/details/80092628https://zhuanlan.zhihu.com/p/22252270https://blog.csdn.net/g11d111/article/details/76639460https://blog.csdn...

2019-05-07 11:31:59 1023

转载世界顶级人工智能会议的总结

这篇文章转载自南京大学周志华教授的博客，原文链接已经找不到了，特此说明。周志华教授的《机器学习》这本书写的不错，深入浅出，适合机器学习入门学习，推荐一下。-----------------------------------------------------------------------------------------------------------------------...

2019-05-04 16:20:30 15673

转载 tf.nn.dynamic_rnn的输出outputs和state含义

转载自https://blog.csdn.net/u010960155/article/details/81707498一、tf.nn.dynamic_rnn的输出tf.nn.dynamic_rnn的输入参数如下：tf.nn.dynamic_rnn(cell,inputs,sequence_length=None,initial_state=N...

2019-04-10 17:13:57 938

原创 nohup后台串行挂起程序

用gpu跑深度学习的程序时，因为只有一块卡，只能一个时间训练一个任务，又想让任务充分利用晚上的时间去跑，所以就想在后台挂起两个任务，一个跑完以后，另一个接着跑，将这两个任务写在一个shell脚本run.sh里面，运行这个shell脚本。这时就有一个问题了，我是在shell脚本外面用nohup呢，还是里面用nohup呢，还是里面和外面都用呢？也就是说，下面哪种方法是正确的呢：...

2019-03-28 18:10:11 4268 1

原创 ctpn解读

1、一些资源1.1、原始论文：https://arxiv.org/pdf/1609.03605.pdf1.2、一些讲的比较好的中文博客，可以先看中文博客，再看原始论文：https://blog.csdn.net/zchang81/article/details/78873347https://blog.csdn.net/SIGAI_CSDN/article/details/8...

2019-03-08 18:01:29 9577 3

原创 linux删除文件，或者保留某些文件

解决问题可能不难，难的是你如何去发现这个问题，并用自己的语言描述这个问题，去查找问题的答案，讲真你如何去描述问题，或者去想比较巧妙地方法，能够极大程度提高你的工作效率，从而留下很多时间来取做别的事情，在别的方面有所进展，进一步缩短你的盲目时间。（一点小感悟，与下文无关）以下指令已经完全经过笔者验证，大家可以放心使用参考链接：https://blog.csdn.net/tai...

2019-03-06 18:29:26 7454

原创 windows和linux下的utf8和gbk编码问题

好的，我来填坑了首先介绍一下问题背景：由于客户的label是一张图片上的各个要素在对应的一个txt文件上，所以要解析txt文件得到各个要素的csv文件，但是在解析的时候发现，以utf8格式读txt文件会遇到编码错误问题，以gbk也会遇到，错误类似于UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 4040: i...

2019-02-18 10:29:12 3705

转载 argparse简要用法总结

目录1. 基本框架2. default：没有设置值情况下的默认参数3. required: 表示这个参数是否一定需要设置4. type：参数类型5. choices：参数值只能从几个选项里面选择6. help：指定参数的说明信息7. dest：设置参数在代码中的变量名8. nargs：设置参数在使用可以提供的个数argparse 是python自带的命令...

2018-11-08 14:54:33 4195 1

转载命令行参数-optparse

原文Python提供了内置模块optparse来处理命令行选项;该模块提供了比getopt模块更强大的处理功能;比如,它可以指定命令行选项的参数值的数据类型,可以自动生成命令行选项的帮助信息;该模块很提供了很多方法来修改或定制命令行选项的属性特征; 备注:optparse模块处理的长选项,需要附加参数值时,既可以使用等号"="来附加参数的值,也可以使用空格" "来附加参数的值;若使用等号"...

2018-11-02 17:06:47 695

转载 python argparse用法总结

1. argparse介绍是python的一个命令行解析包，非常编写可读性非常好的程序2. 基本用法prog.py是我在linux下测试argparse的文件，放在/tmp目录下，其内容如下：#!/usr/bin/env python# encoding: utf-8import argparseparser = argparse.ArgumentParser()pa...

2018-11-02 16:43:35 239

转载 Bagging和Boosting 概念及区别

转载自：http://www.cnblogs.com/liuwu265/p/4690486.htmlBagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1、Baggi...

2018-07-29 17:29:23 350

转载基础 | batchnorm原理及代码详解

转载自https://blog.csdn.net/qq_25737169/article/details/79048516这篇博客里面介绍的很详细另外一般讲到BN是在CNN里面用的，RNN是否也能用呢，这篇文章对论文的总结与看法会给你答案。https://blog.csdn.net/malefactor/article/details/51549771RNN在沿着时间序列展开后会是...

2018-07-29 12:49:10 725

转载 SIFT详解

转载自https://www.cnblogs.com/wangguchangqing/p/4853263.html这篇文章写的很好，可以去看原文

2018-07-28 16:23:14 899

转载 faster rcnn 中核心部分RPN网络的整理与理解

转载自：https://blog.csdn.net/wakojosin/article/details/79363224学习fasterrcnn检测已经有一段时间了，最近才把核心的RPN部分进行的理解和整理，理解的偏差还请各位大神指正， RPN(RegionProposal Network)区域生成网络 1. 在五层conv，poolling，relu之后，取出conv5的输出，送给...

2018-07-23 17:13:31 3737

转载自然场景文本检测识别技术综述

转载自https://blog.csdn.net/SIGAI_CSDN/article/details/80858565番外青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么？白蛇: 白纸黑字的扫描文档识别技术已经很成熟，而自然场景图像文本识别的效果还不理想。倾斜字、艺术字、变形字、模糊字、形似字、残缺字、光影遮蔽、多语言混合文本等应用落地面临的技术难题还没被彻底解决。青蛇: 文...

2018-07-19 08:32:23 12175 1

转载 RCNN--目标检测

转载自：https://www.cnblogs.com/zyber/p/6672144.html感觉这篇文章讲的很细致，故而转载以备后面复习研读原博文：http://www.cnblogs.com/soulmate1023/p/5530600.html文章简要介绍RCNN的框架，主要包含：原图--》候选区域生成--》对每个候选区域利用深度学习网络进行特征提取--》特征送入每一类SV...

2018-06-26 14:58:15 1279

转载 faster rcnn中rpn的anchor，sliding windows，proposals的理解

一直对faster rcnn里的rpn以及下图中的上面的那部分的区别不太理解，今天看到了知乎里面的回答，感觉有点明白了，特此记录作者：马塔链接：https://www.zhihu.com/question/42205480/answer/155759667来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。首先我们需要知道anchor的本质是什么，本质是SPP(spati...

2018-06-21 11:07:23 2384 1

转载 CTPN - 自然场景文本检测

转载自：https://blog.csdn.net/zchang81/article/details/78873347http://baijiahao.baidu.com/s?id=1585721463716460939&wfr=spider&for=pc目录作者和相关链接几个关键的Idea出发点方法概括方法细节实验结果总结与收获点作者和相关链接个人主页：Zhi Tian，黄伟林...

2018-06-20 16:06:19 2087

转载 [转载]深度学习论文笔记：OverFeat

转载自：https://blog.csdn.net/MyArrow/article/details/519098771. 传统检测和定位方法对于检测和定位问题，最自然（也是最常用的方法）就是采用滑窗对每一个图像块进行检测，从而确定目标物体的位置。以上解决分类、检测和定位的方法有一个共同的地方，就是需要一个滑窗对整幅图像进行密集采样，然后处理每一个采样得到的图像块。传统的处理这些图像块的方法...

2018-06-20 10:51:44 268

转载机器学习中的验证集的作用和如何使用

转载自：https://blog.csdn.net/u014038273/article/details/80145317验证集的作用：在机器学习或者深度学习中，我们需要了解我们的模型包括什么：1）模型设计：①模型架构（包括模型有多少层，每层有多少个神经元）；②可训练权重参数（模型内置参数）；2）模型训练的参数（模型外置参数，如学习率、优化策略等等）。这一块具体大家可以去看一下吴恩达老师机器学习的...

2018-06-19 17:09:31 4843

转载 Early Stopping与Learning Rate

转载自：https://www.jianshu.com/p/9ab695d91459目的为了获得性能良好的神经网络，网络定型过程中需要进行许多关于所用设置（超参数）的决策。超参数之一是定型周期（epoch）的数量：亦即应当完整遍历数据集多少次（一次为一个epoch）？如果epoch数量太少，网络有可能发生欠拟合（即对于定型数据的学习不够充分）；如果epoch数量太多，则有可能发生过拟合（即网络对定...

2018-06-19 16:31:25 2059

转载解决Python2.7的UnicodeEncodeError: ‘ascii’ codec can’t encode异常错误

转载自王晔的流水账http://wangye.org/blog/archives/629/# -*- coding: UTF-8 -*-import sqlite3 def gsel(cur): cur.execute("SELECT * FROM collection") def main(): conn = sqlite3.connect("build.db3") ...

2018-06-05 10:04:09 5089

转载基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN

转载自：https://www.cnblogs.com/skyfsm/p/6806246.html object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的...

2018-05-28 14:46:22 2416

转载 NMS——非极大值抑制

转载自：https://blog.csdn.net/shuzfan/article/details/52711706NMS（non maximum suppression），中文名非极大值抑制，在很多计算机视觉任务中都有广泛应用，如：边缘检测、目标检测等。这里主要以人脸检测中的应用为例，来说明NMS，并给出Matlab和C++示例程序。人脸检测的一些概念（1）绝大部分人脸检测器的核心是分类器，即...

2018-05-18 18:13:15 504

转载卷积神经网络的复杂度分析

转载自：http://www.dataguru.cn/article-12668-1.html在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。1.时间复杂度1.2 卷积神经网络整体的时间复杂度示例：用 Numpy 手动简单实现二维卷积假设 Stride = 1, Padding = 0, ...

2018-05-16 16:50:02 1315

转载深度学习调参经验

作者：Captain Jack链接：https://www.zhihu.com/question/25097993/answer/127472322来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间了. 我的回答可能更多的还是侧重工业应用, 技术上只限制在CNN这块.先说下我的观点, 调参就是tri...

2018-05-16 10:54:49 1173

转载深度学习中的激活函数与梯度消失

转载自https://blog.csdn.net/shwan_ma/article/details/76252355近来研究深度学习，发现里面的trick很多，特地用blog记录下，以免以后忘掉本文主要介绍常用的的激活函数， Sigmoid, tanh, Relu, Leaky reluSigmoid激活函数sigmoid函数在历史上很受欢迎，因为他很符合神经元的特征，优点是：能够把输出控制...

2018-05-15 11:01:20 10871