- 博客(60)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 卷积神经网络（CNN）学习笔记
文章目录前言计算机视觉边缘检测示例：更多边缘检测内容：Padding卷积步长卷积为何有效单层卷积网络简单卷积网络示例池化层卷积神经网络示例为什么使用卷积前言本篇文章是吴恩达《深度学习》课程《卷积神经网络——第一周》的学习笔记。计算机视觉计算机视觉面临的一个挑战是图像的数据量巨大。上述图片是计算机视觉领域的典型应用：图像分类、风格转换、目标检测。如上图所示，神经网络第一层参数矩阵巨大...
2019-07-21 06:27:02
1200
原创 常用激活函数
文章目录前言为什么需要激活函数什么样的函数可以做激活函数什么样的函数是好的激活函数前言今天这篇文章对一些常用激活函数做一下总结吧。在神经网络中激活函数还是很重要的，并且熟悉激活函数对理解别的问题也是很有帮助的。为什么需要激活函数从数学上看，神经网络是一个多层复合函数。引入激活函数是为了保证神经网络的非线性。因为线性函数无论怎样复合结果还是线性的，所以对激活函数最基本的要求是非线性的。假设...
2019-07-20 11:32:46
2796
1
原创 RNN与LSTM的区别
这篇文章简单总结一下RNN与LSTM的区别。首先，对于基本RNN来说，它能够处理一定的短期依赖，但无法处理长期依赖问题。比如句子The cat, which already ate …, was full.和句子The cats, which already ate …, were full.，两句话的差别在于主语和谓语动词的单复数，由于句子比较长，RNN就无法处理这种问题。那么RNN为什么无法...
2019-07-19 15:44:28
48357
8
原创 使用Elasticsearch做一个简易的检索式聊天机器人
Elasticsearch是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。它是一个开源的搜索引擎，建立在ApacheLuceneTMApache Lucene^{TM}ApacheLuceneTM基础之上。ElasticSearch不仅仅是一个简易的Lucene封装，它可以被形容为：具有分布式实时文档存储，每个字段可以被索引与搜索一个分布式实时分析搜索引擎能胜任上百个服务节点的扩展...
2019-07-17 10:44:17
4628
1
原创 Python实现二叉树
文章目录树树的术语树的种类树的存储与表示常见的一些树的应用场景二叉树二叉树的性质广度优先遍历深度优先遍历树树是用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成的一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下特点：每个节点有零个或多个子节点；没有父节点的结点称为根节点；每一个非根节点有且只有一个父...
2019-07-15 20:26:30
996
原创 Python实现基本KMeans算法
文章目录前言基本KMeans两种改进算法前言聚类分析将数据划分成有意义或有用的簇。如果目标是划分成有意义的簇，则簇应当捕获数据的自然结构。聚类是一种无监督学习方法，因为只是根据样本的相似度或距离将其进行归类，而类或簇事先并不知道。常用的聚类算法包括：层次聚类、K均值聚类、DBSCAN。在这篇文章中我们简单介绍一下基本KMeans算法的实现。因为基本KMeans算法的原理比较简单，这里就不...
2019-07-14 01:00:43
2397
原创 Python实现栈、队列和双端队列
文章目录栈队列双端队列栈栈（stack）是一种容器，它的特点在于只允许在容器的一端（称为栈顶指标，即top）进行加入数据（push）和输出数据（pop）的运算，即按照后进先出（LIFO，Last In First Out）的原理运作。栈可以用顺序表实现，也可以用链表实现。顺序表或链表决定了数据如何存放，栈决定了数据如何操作。Python中的列表（List）就相当于顺序表，现在我们采用Lis...
2019-07-07 17:16:10
977
原创 K近邻算法
K近邻算法基本原理距离度量k值选择分类决策规则总结参考文献基本原理k近邻（k-nearest neighbor, k-NN）算法是一种基本分类与回归方法。本篇文章只讨论分类问题中的k近邻算法。在k近邻算法中，假设给定一个训练数据集，其中的实例类别是确定的。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测这个新实例的类别。用一句谚语形容k近邻算法就是：“如果走像...
2019-07-07 00:26:15
1111
原创 交叉验证
交叉验证（cross validation）是一种常用的模型选择方法。 如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三部分，分别为训练集（training set）、验证集（validation set）和测试集（test）。训练集用来训练模型，验证集用于模型的选择，而测试集...
2019-07-06 17:59:01
280
原创 机器学习中如何防止过拟合与欠拟合
文章目录过/欠拟合定义防止过拟合的措施防止欠拟合的措施参考文献过/欠拟合定义过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好的情况。防止过拟合的措施从数据入手，获得更多的训练数据。使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习到更多更有效的特...
2019-07-02 21:50:53
2039
原创 Python实现单链表、单循环链表、双链表及双循环链表
文章目录前言单链表单循环链表双链表双循环链表错误纠正说明时间复杂度比较关于头结点前言博主最近在复习算法与数据结构，由于平时主力语言是Python，所以找了个用Python讲解数据结构的视频看了下，链接为：https://www.bilibili.com/video/av20982396?p=1。关于链表，视频里讲的很清楚，但是代码有几处小错误，现将其代码纠正，并添加视频里没有讲到的双循环链表...
2019-07-01 08:13:06
2381
原创 Python zip()函数笔记
文章目录引子说明语法示例引子最近在刷题时碰到一个排序的子问题，问题大致是有两个整型数组a和b，a和b的元素是一一对应的，现需要以a为基准排序，且a和b的对应关系不能变。假设有数组a=[100,700,300,150,450]a = [100, 700, 300, 150, 450]a=[100,700,300,150,450]和b=[1,2,3,4,5]b = [1, 2, 3, 4, 5]...
2019-06-30 10:31:47
694
原创 vivo 2020届秋招提前批深度学习算法工程师笔经面经
vivo 2020届秋招提前批深度学习算法工程师笔经面经前言笔经面经前言又到了一年找工作的时节，秋招也是一年比一年早了。在上周结束的vivo秋招提前批，博主参加了深度学习算法工程师岗位的笔试与面试，也是博主人生中第一次参与应聘，这里将相关经验做个记录和分享。另外，请不要问我有没有拿到offer，不透露。先介绍一下我自己的背景：学历： 某高校专硕项目主要涉及到计算机视觉和自然语言处理...
2019-06-27 19:02:40
2655
3
原创 机器学习中常用范数与距离
机器学习中常用范数与距离前言范数向量范数矩阵范数距离曼哈顿距离欧氏距离切比雪夫距离闵可夫斯基距离标准化欧氏距离马氏距离余弦距离前言在机器学习中经常会涉及到范数和距离的概念，有时候优化的目标函数就是常用范数和距离的变化。关于范数和距离其实已经有很多人写过文章了，我之所以还要再写一遍，是因为读别人的文章我老是记不住，干脆好记性不如烂键盘，自己敲一遍吧。范数向量范数向量范数表示向量空间中向量的...
2019-06-22 19:06:36
1816
原创 面试中常见的问题总结
面试中常见的问题总结前言面试中最常见的问题1. 请做个自我介绍 / 谈谈你自己2. 你的工作经历有一段空白期，能解释一下吗？3. 为什么你想来这儿工作？关于我们公司你了解多少？4. 你的工作经验欠缺，如何能胜任这项工作？5. 你觉得自己最大的优势或优点是什么？6. 你的缺点或者不足之处是什么？7. 同事或上司的什么问题会令你困扰？8. 描述一下你是如何解决工作中遇到的难题的？9. 描述一下你在工作...
2019-05-25 14:14:17
7662
3
原创 py-faster-rcnn源码解析之处理训练数据
因为最近在使用py-faster-rcnn训练自己的数据时报如下错：roidb[i]['image'] = imdb.image_path_at(i) IndexError: list index out of range 看了网上的很多说法都是让删除py-faster-rcnn/data/cache下的pkl文件，但是该方法对我并没有起作用，于是就将py-faster-rcnn处理训练数...
2019-03-07 17:12:40
947
原创 sklearn计算准确率、精确率、召回率、F1 score
目录混淆矩阵准确率精确率召回率分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、ROC曲线（Receiver Operating Characteristic Curve）等。这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解，ROC曲线可以参考我的这篇文章...
2019-03-06 16:27:26
165319
15
原创 sklearn ROC曲线使用
目录ROC曲线定义绘制ROC曲线AUC定义代码讲解二分类多分类这篇文章中我将使用sklearn的ROC曲线官方示例代码进行讲解，当然主要目的还是在于记录，好记性不如烂键盘嘛。ROC曲线定义ROC曲线是Receiver Operating Characteristic Curve的简称，中文名为“受试者工作特征曲线”。ROC曲线的横坐标为假阳性率（False Positive Rate，FP...
2019-03-03 09:10:13
30508
5
原创 Linux ssh和scp命令笔记
目录ssh命令连接远程主机远程执行命令挂载远程文件系统配置sshscp命令本地复制到远程远程复制到本地其他选项参考链接当我们访问远程Linux服务器并进行文件传输时，ssh和scp是最常使用的工具，这篇文章将ssh和scp命令进行记录整理，方便以后记录查找。ssh命令连接远程主机ssh user@hostname上述命令中的hostname可以是远程主机的IP或者域名。比如：ssh...
2019-03-02 12:57:06
823
原创 Ubuntu16.04 修改用户名和密码
这篇文章主要是记录一下Ubuntu16.04修改用户名和密码的方法，感觉网上有的文章给的方法会产生一些问题，所以自己记一个免得以后再瞎折腾。在修改某个用户的用户名和密码之前，首先确定你的root用户是设置了密码的，因为之后我们可能无法操作你的当前用户，这是有风险的。所以我还要强调一下，建议多参考几篇文章防止入坑。下面给出我的操作步骤（实测）：修改root密码sudo passwd ro...
2019-03-02 09:29:14
22711
17
原创 Python实现遥感生态指数计算
最近在做一些遥感相关的图像处理项目，涉及到遥感生态指数的计算。由于项目要求Python实现，搜索互联网关于Python实现的遥感生态指数计算程序资料很少，于是就自己实现了一个并分享在这里，供需要的朋友参考。首先需要了解遥感生态指数是什么，不是很清楚的朋友可以参考下面的几篇文章：城市遥感生态指数的创建及其应用区域生态环境变化的遥感评价指数基于遥感生态指数的南京市生态变化分析知道了遥感生态指...
2019-02-22 15:08:09
7963
14
原创 ubuntu14.04配置GPU版py-faster-rcnn
目录前言安装显卡驱动安装CUDA和Cudnn安装OpenCV安装GCC安装其他依赖源码安装protobuf前言因为最近项目中要用到py-faster-rcnn，在配置时好是一番折腾，这里做一下记录，提升以后再次配置的效率，并给需要的小伙伴做一下参考。需要声明的是，这里的方案是我自己配置通过的，也许放在不同的环境就无法通过了，所以请注意你的环境是否与我相同。还有一点很重要，不要随意删除系统里的东...
2019-02-22 10:09:40
375
原创 numpy.interp()用法
numpy.interp()主要使用场景为一维线性插值，我在直接看官方文档时一下子没有明白，后来结合图像绘制才明白它的用法，下面我们使用官方代码示例和我给出的图像对其进行简单介绍。首先官方对该函数的解释是：一维线性插值.返回离散数据的一维分段线性插值结果. 参数x: 数组待插入数据的横坐标. xp: 一维浮点数序列原始数据点的横坐标，如果period参数没...
2019-02-15 20:51:56
81576
11
原创 浏览器广告屏蔽插件推荐（Chrome与Firefox）
今天无意中打开MS Edge浏览网页时感觉广告好多，看起来很难受。我自己平时使用其他浏览器的时候都是使用广告屏蔽插件的，现在推荐给还没有使用过的小伙伴们，减少工作学习时无关信息的干扰。目录ChromeFirefoxChromeChrome中我一般使用的是Adblock Plus这个插件，这个插件不仅支持PC端，还有移动端的浏览器APP（非Chrome）。现在我简单介绍一下它的安装过程。首先...
2019-01-28 21:42:45
8561
1
原创 循环神经网络（RNN）的工作方式（二）
目录1.7 对新序列采样本篇文章是吴恩达《深度学习》序列模型部分第一周课程的笔记，前面的小节的笔记见循环神经网络的工作方式（一）。1.7 对新序列采样在你训练一个序列模型之后，要想了解这个模型学到了什么，一种非正式的方法就是进行一次新序列采样。一个序列模型模拟了任意特定单词序列的概率，我们要做的是对这个概率分布进行采样来生成一个新的单词序列。为了进行采样，要做一些截然不同的事情，第一步要...
2019-01-28 10:31:13
590
原创 循环神经网络（RNN）的工作方式（一）
目录0 前言1.1 为什么选择序列模型1.2 数学符号1.3 循环神经网络模型0 前言这篇博客主要是吴恩达《深度学习》课程的《序列模型》第一周课《循环序列模型》的笔记整理，中间加入了一些自己的理解，供自己以后能够快速复习，也供一些有需要的朋友查看。1.1 为什么选择序列模型序列模型有着丰富的应用场景。我们一起来看看上面ppt中的例子。第一行是语音识别（Speech recognitio...
2019-01-25 18:36:55
1179
原创 中文NLP数据预处理程序分享
转眼间，接触NLP已经一年多了，虽然大部分时间是在打杂，但也多少积累了一点东西。今天在这里我就把我自己写的中文NLP数据预处理代码分享一下，代码基于python 3.6.5在win 10通过测试，涵盖了我自己常用的一些操作。程序大致包括的功能如下表：文件操作去噪操作其他读写文本删除空行分词合并文件删除中英文标点词性标注分割数据集删除停用词命名实体识...
2019-01-15 16:56:43
6200
2
原创 tf.train.Example的用法
目录前言tf.train.BytesList等tf.train.Featuretf.train.Featurestf.train.Example前言最近在看到一个代码时，里面用到了tf.train.Example，于是学习了其用法，这里记录一下，也希望能对其他朋友有用。另外，本文涉及的代码基于python 3.6.5 tensorflow 1.8.0tf.train.Example主要用在...
2019-01-10 17:55:00
19783
12
原创 Python二进制数据处理
目录前言str与bytesbase64模块struct模块参考链接前言本文所涉及到的代码均基于python 3.x。str与bytes在写代码时，我们经常会涉及到字符串的处理，但字符串的编码问题常常令我们很头痛。当然本篇文章不是去说编码的，而是主要讲讲二进制处理，python 3为我们提供了bytes，利用bytes可以一定程度上缓解编码出错的问题，因为bytes是字节序列，无所谓编码。下...
2019-01-10 15:11:56
38730
原创 Matplotlib绘图基本操作
Matplotlib绘图基本操作声明绘制简易折线图子图操作条形图与散点图条形图散点图直方图和盒图声明本文涉及的代码基于python 3.6.5 numpy1.14.3 pandas 0.23.0 matplotlib 2.2.2。matplotlib是python中常用的图表绘制工具；pandas是常用的数据处理工具，关于pandas的使用可以参考我的这篇文章：Pandas基本操作与常用接口...
2019-01-06 10:23:07
2274
原创 Pandas基本操作与常用接口
Pandas基本操作与常用接口声明读取csv文件索引与计算常用预处理方法Series基本结构声明本文涉及的代码基于python 3.6.5 pandas 0.23.0pandas是一个在numpy之上，提供了丰富的数据预处理接口的模块。使用pandas模块之前首先需要在代码之前导入该模块：import pandas as pd读取csv文件现在我们有一个food_info.csv文...
2019-01-04 18:55:54
1854
原创 NumPy基本操作与常用函数
NumPy基本操作与语法声明创建数组shape属性dtype属性ndim属性size属性数组切片广播机制向量化类型转换特定维度上运算其他常用方法求均值幂、开方、指数与对数矩阵变形舍入取整矩阵合并与分割浅拷贝与深拷贝声明本文涉及的代码基于python 3.6.5 numpy 1.14.3使用numpy模块之前首先需要在代码之前导入该模块import numpy as np文中会用到wor...
2019-01-03 19:10:30
2898
原创 pydev debugger: process 10341 is connecting 无法debug的几种解决方式
今天在Pycharm中debug时无法正常进行，控制台输出如下信息：pydeb debugger: process 10341 is connectingConnected to pydev debbugger (build 182.4129.34)Done!Process finished with exit code 0程序本身应该没有错误，就是不能正常debug。下面...
2018-09-13 16:56:28
51940
13
原创 Ubuntu 16.04下MySQL Error: : 'Access denied for user 'root'@'localhost'的一种解决方案
昨天晚上打算在网页端访问MySQL时，报了标题上的错误，原因在于root用户默认不开放远程访问权限。看了一下网上也有提到各种解决方案的，这里就是为了记录一下，方便自己以后碰到不用再浪费时间查找。当然，下面说的方法还是和网上一些方法有一点差别的。打开并编辑 /etc/mysql/my.cnf在 [mysqld] 节点下添加一行skip-grant-tables执行 sudo /etc/in...
2018-09-11 08:35:06
3367
原创 人工智能数学基础知识复习（二）——特征分解与奇异值分解（SVD）
今天我们复习一下线性代数中的矩阵特征分解与奇异值分解。本文将结合几何的角度来阐述这两个概念。一、特征值与特征分解假设我们现在有一个对角矩阵为：将该矩阵作用于列向量，则可以得到：从几何的角度，上式可以看做在平面上取一个点(x, y)并使用矩阵乘法将其变换为另外一个点。我们可以用下图表示上述变换：由图中可以看出矩阵M使该平面在横轴方向变大了3倍，纵轴方向保持不变。如...
2018-09-09 11:46:21
768
原创 Python实现图片裁剪的两种方式——Pillow和OpenCV
在这篇文章里我们聊一下Python实现图片裁剪的两种方式，一种利用了Pillow，还有一种利用了OpenCV。两种方式都需要简单的几行代码，这可能也就是现在Python那么流行的原因吧。首先，我们有一张原始图片，如下图所示：原始图片然后，我们利用OpenCV对其进行裁剪，代码如下所示：import cv2img = cv2.imread("./data/cut/thor.j...
2018-09-03 18:25:41
221159
27
原创 Tensorflow中Process finished with exit code -1073741819 (0xC0000005)的一种解决方案
我平时的Python环境管理采用的是Anaconda（Windows和Linux下都是），当我有几天没有使用Tensorflow后再次使用后报了标题上的错，这时我是在Windows的环境下。我为什么说问题出在Tensorflow呢？因为我的其他没有涉及到Tensorflow的代码都还能正常运行，一旦涉及到Tensorflow的都报这个错，从网上找到一个相关的案例，但是没有解决我的问题。先把他的...
2018-09-02 21:39:58
10753
原创 Python3中AttributeError: 'dict' object has no attribute 'has_key'的解决方案
当我在一次写下如下代码时，报错AttributeError: 'dict' object has no attribute 'has_key'：if not my_dict.has_key(my_key):当时真的是一脸懵逼，我在Python2的时候一直这样写的，为什么会错呢？后来经过查询文档发现，在Python3中废除了dict的has_key()方法。那么，如果我们还想实现上...
2018-09-02 21:23:31
48618
原创 Tensorflow实现逻辑回归（使用MNIST数据集）
今天我们讲一下如何使用Tensorflow实现逻辑回归，代码中采用了MNIST数据集。首先，我们去获取MNIST数据集（下载链接：http://yann.lecun.com/exdb/mnist/），并将其读取到程序中。代码实现如下所示：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import inpu...
2018-09-02 16:34:16
5736
原创 图像处理之颜色检测分类标记(Python OpenCV实现)
最近开始接触图像处理，接到的首个任务就是将实验室用颜色标记好的数据再在原图上按不同颜色框出来，以在模型预测阶段检查预测效果。下面使用一张摇滚乐队Halestrom的图片进行说明。首先，我拿到的原图如下图所示：图1我们将原始图片按照人、地板、墙三种元素进行标记，得到下图：图2将上述两张图片输入我们的模型，那么模型能够做到给出一张新的图片它就能够输出一张按颜色分类标记元素的图片...
2018-08-29 00:37:44
28840
5
Oracle linux 3.8.13-68.3.4.el6uek.x86_64相关工具
2018-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人