- 博客(215)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 爬虫过程中几种不同情况的URL拼接方法
爬虫过程中几种不同情况的URL拼接方法（以下代码均可运行成功）情况1 ：url地址已知，且获取到的下一个待访问url与已知url存在重复部分，且url不全 解决方案：urlib.parse.urljoin（）方法 '''案例1： 已知 url 地址为 'https://blog.csdn.net/u010801439' 通过url获取到下一步访问的地址为 './u...
2019-12-25 17:31:08
5541
原创 PCA算法---实验代码完整版(实验代码+数据集下载)
简介：PCA（Principal Component Analysis）主成分分析算法，在进行图像识别以及高维度数据降维处理中有很强的应用性，算法主要通过计算选择特征值较大的特征向量来对原始数据进行线性变换。一般获取的原始数据维度都很高，比如1000个特征，在这1000个特征中可能包含了很多无用的信息或者噪声，真正有用的特征才100个，那么我们可以运用PCA算法将1000个特征降到100个特征。这...
2018-05-31 15:54:47
5458
原创 真实机下 ubuntu 18.04 安装GPU +CUDA+cuDNN 以及其版本选择（亲测非常实用）
ubuntu 18.04 安装GPU +CUDA+cuDNN ：目前，大多情况下，能搜到的基本上都ubuntu 14.04.或者是ubuntu 16.04的操作系统安装以及GPU 环境搭建过程，博主就目前自身实验室环境进行分析，总结一下安装过程。1.实验室硬件配置（就需要而言）： gpu : GeForce titan xp 12G 显存 内存： 6...
2018-05-28 22:55:17
200884
4
原创 ubuntu 18.04/16.04/14.04 双硬盘分区方案
首先，基本配置是： 512G SDD +2T 机械 ，内存 64G大神推荐分区方案 ：固态部分：1.主分区 500M EFI分区 （用作EFI启动500M完全足够） 2.主分区 500M /boot （开机程序500M完全足够）3.主分区 64G swap 交换分区 （按照内存大小来设置）4.主分区 剩...
2018-05-28 20:55:46
34800
4
原创 linux 脚本定时运行（开机自启、周期执行）
脚本定时运行linux 脚本定时运行（开机自启/周期执行）使用工具 ：crontabcrontab 实战（定时写入txt文件）linux 脚本定时运行（开机自启/周期执行）如果你的服务器重启频繁、周期性任务多，且任务绝大多少是重复工作，那么我推荐大家使用 crontab 工具设置定时任务启动，减少日常工作量。使用工具 ：crontab说明：crontab 可来让使用者在固定时间或固定间隔执行程序crontab 参数：-u : 定义使用者-e : 执行文字编辑器来设定时程表，内定的文字编辑
2021-03-31 11:39:57
1304
1
原创 GIF文件，录屏图像制作工具-------可上传动态GIF图像至各博客网站哟~
先给大家看看我录制出来的结果，看后大家再考虑用不用，哈哈哈~接下来给大家简单介绍一下这个工具的gif录制功能，最后附带工具下载链接（别着急，耐心看完，不到一把游戏的时间，-。-）：首先，打开ocam 工具，打开工具栏会显示左边的软件窗口及右边的对焦窗口（瞎掰的名字）左边就是工具栏，能够实现工具，而右边的对焦窗口，可以任你操作大小以及位置；最后关键部分就是如何实现g...
2020-03-10 21:52:24
531
原创 解决chromedriver下载过程中，遇到chrome旧版本与官网显示版本内容不一致的问题~
众所周知，chromedriver是在selenium使用中所需下载的自动化工具。问题：在下载chromedriver的过程中，发现chrome在70.0以前的版本没有对应chromedriver版本文件。点击获取ChromeDriver下载地址问题如下图：上网调查一番，找到了各个版本chromedriver与chrome的对应关系如下： ChromeDriver版本...
2020-03-10 21:22:37
2229
原创 python中（*args, **kw）这两类参数 的正确打开方式
一、（*args, **kw）是在python函数定义中使用的在分析（*args, **kw）两个参数之前，先讲讲在python中函数的定义：在Python中定义函数，分为：1、必选参数、2、默认参数、3、可变参数、4、关键字参数和5、命名关键字参数， 这5种参数都可以组合使用。但参数定义的顺序必须是：必选参数、默认参数、可变参数（*args）、命名关键字参数、关键字参数（ **kw）。...
2019-12-27 10:05:17
2533
原创 Scrapy-splash 渲染网页（windows10）
Scrapy-splash 渲染网页 scrapy爬虫框架没有提供页面js渲染服务，所以我们获取不到部分HTML网页的数据信息，我们可以通过一个渲染引擎来为我们提供渲染服务将网页所有信息均呈现出来-----Splash渲染引擎：1、Splash渲染引擎工作简介：Splash是为Scrapy爬虫框架提供渲染Javascript代码的引擎，它具备如下功能：（1）为用户返回...
2019-12-25 09:37:00
1446
1
原创 利用Navicat实现mysql数据库导出与读入
1 Navicate 导出SQL数据步骤 1 ：选中所需导出数据步骤2 ：选中 Dump SQL File -> Structure And Data步骤3 ：输出.sql文件Navicate 读取SQL数据步骤1 ：选中数据库，tables右键 -> Execute SQL File步骤 2 ：根据.sql文件地...
2019-12-13 13:44:47
802
转载 python 基础学习----try /except、try/finally
python的try语句有两种风格处理异常（try/except/else） 种是无论是否发生异常都将执行最后的代码（try/finally）try/except/else风格try: <语句> #运行别的代码except <名字>： <语句> #如果在try部份引发了'name'异常except <名字>，<...
2019-10-21 15:59:33
1028
原创 git获取并设置github中的ssh公钥
默认情况下，用户的 SSH 密钥存储在其~/.ssh目录下。进入该目录并列出其中内容，你便可以快速确认自己是否已拥有密钥：步骤 1 ：查看文件是否存在，文件不存在调至步骤2 ，文件存在跳转只步骤3 # step 1 查询~/.ssh目录下是否存在SSH 远程文件$ cd ~/.ssh# step 2 查看文件是否存在$ ls我们需要寻找一对以id_dsa...
2019-10-21 11:16:29
2423
原创 git 出现 fatal: remote origin already exist 错误时，解决办法
问题分析：往往出现 fatal: remote origin already exist， 是 git 默认了上一个github地址，而当前的地址与上一个项目地址冲突，不相符题解办法：可以考虑直接在当前的项目文件中，修改文件配置参数或者利用命令行修改配置方法1、命令行配置参数：#step 1 删除已有的origin$ git remote rm origin#step ...
2019-10-21 10:15:42
975
原创 在pycharm中，创建python文件夹与普通文件夹的区别（带有_inin_.py）
一、pycharm当中，新建package有两种类型（文件夹、python文件夹）①python package包是一个带有特殊文件 __init__.py 的目录__init__.py 文件定义了包的属性和方法。其实它可以什么也不定义；可以只是一个空文件，但是必须存在。如果 __init__.py 不存在，这个目录就仅仅是一个目录，而不是一个包，它就不能被导入或者包含其...
2019-08-15 17:54:06
15664
3
原创 （精）配置scrapy时，遇到Fatal error in launcher: Unable to create process using "xxxx"问题解决
1、基本情况解析：①scrapy是在自己创建的Python3虚拟环境py36下安装的②安装scrapy选择的命令是：conda install -c conda-forge scrapy③在启动项目时，已经确保进入了项目文件夹，且已经切换成py36环境中：2.出现问题：3：解决方案：启动代码改为：python -m scrapy startproj...
2019-07-30 15:58:31
2507
原创 jieba分词 半自动安装流程（下载安装包，手动安装）
1.下载jieba分词工具包下载地址：https://pypi.org/project/jieba/2.将安装包解压并放置在安装包文件夹中：# D:\anaconda\envs\py36\Lib\site-packages3.启动环境（开始安装）：(1)进入CMD 命令提示符中，开启自身虚拟编译环境：#activate py36(2)定位到文件所在位置 # (p...
2019-07-29 11:38:04
10598
原创 模块无法引用，出现ModuleNotFoundError: No module named 'XXXX'，解决办法！！！
将自己做的py文件放到 site_packages 目录下：site_packages 文件保存在你的pycharm的编译环境里边：如何查找 ：1 ，首先查看自己编译器位置。2.打开到下图这个位置3.一般调用的相关包都保存在 lib 文件夹当中...
2019-03-10 00:04:51
29881
3
原创 了解 HMM 算法
什么是HMM 模型？和马尔可夫链又有什么关系?回答 ：（1）什么是马尔科夫链？：（百度、知乎）有相关解释。（2）什么是HMM模型？隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵：1. 隐含状态 S这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。（例如S1、S2、S3等等)2. 可观测状态 O...
2019-02-22 11:09:20
850
原创 机器学习的算法是如何划分的？
机器学习算法有哪些？机器学习算法包括：1、分层聚类，2、KNN，3、基于密度的聚类DBSCAN，4、K-means，5、自组织映射SOM，6、PCA，7、LDA，8、MDS，9、朴素贝叶斯，10、数据降维，11、神经网络，12、GMM，13、EM，14、LVQ，15、HMM，16、熵，条件熵，17、决策树，18、CART法，19、梯度下降，20、logistics回归，21、Adaboos...
2019-02-20 23:50:45
865
原创 如何理解机器学习？
1.大家经常会为在想，到底什么是机器学习？机器学习相关解释：（1）使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测（2）从任务T ，训练过程E，模型表现 P ，机器学习过程被解释为：【为实现任务T】，通过【训练关于T的经验E】，来实现提高【模型结果P】的过程（3）机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。...
2019-02-20 23:00:59
1664
转载 稀疏自编码器符号一览表
下面是我们在推导sparse autoencoder时使用的符号一览表：符号 含义 训练样本的输入特征，. 输出值/目标值. 这里 可以是向量. 在autoencoder中，. 第 个训练样本 输入为 时的假设输出，其中包含参数 . 该输出应当与目标值 具有相同的维数. 连接第 层 单元和第 层 单元的参数. ...
2019-02-16 21:25:32
569
转载 可视化自编码器训练结果
训练完（稀疏）自编码器，我们还想把这自编码器学到的函数可视化出来，好弄明白它到底学到了什么。我们以在10×10图像（即n=100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数进行计算：我们将要可视化的函数，就是上面这个以2D图像为输入、并由隐藏单元i计算出来的函数。它是依赖于参数的（暂时忽略偏置项bi）。需要注意的是，可看作输入的非线性特征。不过还有个问题：什么样...
2019-02-16 21:24:03
588
转载 自编码算法与稀疏性
目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一个 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 接近于输入 。恒...
2019-02-16 21:23:11
356
转载 梯度检验与高级优化
梯度检验与高级优化目录梯度检验与高级优化梯度检验中英文对照梯度检验众所周知，反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug时。举例来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，但从计算结果上来看，我们很难...
2019-02-16 21:12:26
227
转载 反向传导算法
反向传导算法目录反向传导算法推导流程中英文对照推导流程假设我们有一个固定样本集 ，它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含 个样例的数据集，我们可以定义整体代价函数为：以上关于定义中的第一项是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的...
2019-02-16 20:33:44
307
转载 神经网络
概述目录概述概述神经网络模型中英文对照概述以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以 及截距 为输入值的运算单元，...
2019-02-16 19:07:49
316
原创 初探深度学习框架之------Caffe
一、Caffecaffe 是什么？官网的解释是这样的：Caffe is a deep learning framework made with expression, speed, and modularity in mind. It is developed by Berkeley AI Research (BAIR) and by community contributors. Y...
2018-11-07 21:41:22
539
转载 D-S 证据理论
一.D-S证据理论引入诞生:D-S证据理论的诞生：起源于20世纪60年代的哈佛大学数学家A.P. Dempster利用上、下限概率解决多值映射问题，1967年起连续发表一系列论文，标志着证据理论的正式诞生。形成:Dempster的学生G.shafer对证据理论做了进一步发展，引入信任函数概念，形成了一套“证据”和“组合”来处理不确定性推理的数学方法D-S理论是对贝叶斯推理方法推广，主要是...
2018-11-07 17:38:46
7422
1
转载 第5章 Logistic回归
Logistic 回归 概述Logistic 回归 或者叫逻辑回归 虽然名字有回归，但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。须知概念Sigmoid 函数回归 概念假设现在有一些数据点，我们用一条直线对这些点进行拟合（这条直线称为最佳拟合直线），这个拟合的过程就叫做回归。进而可以得到对这些点的...
2018-08-09 10:40:07
611
转载 第4章 基于概率论的分类方法：朴素贝叶斯
朴素贝叶斯 概述贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后，我们通过实例来讨论贝叶斯分类的中最简单的一种: 朴素贝叶斯分类。贝叶斯理论 & 条件概率贝叶斯理论我们现在有一个数据集，它由两类数据组成，数据分布如下图所示：我们现在用 p1(x,y) 表示数据点 (x,y) 属于类...
2018-08-09 09:26:05
602
转载 第3章 决策树
决策树 概述决策树（Decision Tree）算法是一种基本的分类与回归方法，是最经常使用的数据挖掘算法之一。我们这章节只讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括 3 个步骤：特征选择、决策树的生成和决策树的修剪。决策...
2018-08-08 11:07:05
460
原创 github上如何下载单个文件
一般情况下，在github中，需要下载整个项目时，可以点击右边的 clone or download 按钮但是，当我们只需要某个项目当中的一个小文件时，该怎么做呢？方法 ： 找到所需下载的文件，选择RAW -》右键-》从连接另存未见为。即可下载 ...
2018-08-07 11:42:06
72848
转载 第2章 k-近邻算法
KNN 概述k-近邻（kNN, k-NearestNeighbor）算法是一种基本分类与回归方法，我们这里只讨论分类问题中的 k-近邻算法。一句话总结：近朱者赤近墨者黑！k 近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k 近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式...
2018-08-07 10:37:50
445
转载 第1章 机器学习基础
目录机器学习 概述机器学习 研究意义机器学习 场景机器学习 组成主要任务监督学习（supervised learning）非监督学习（unsupervised learing）强化学习训练过程算法汇总机器学习 数学基础机器学习 工具Python语言数学工具机器学习基础补充数据集的划分模型拟合程度常见的模型指标模型特征工...
2018-08-06 22:07:43
643
原创 《大话数据结构》----第六章---树（学习小结 1）
一 、树是什么？1.1 树的基本概念树(Tree) 是n （n>=0）个结点的有限集。 n=0 时称为空树。 在任意一颗非空树中 :有且仅又一个特定的成为根（root）的节点 当 n>1 是其余节点可分为m（m>0）个互不相交的有限集T1、T2、...... 、Tm ,其中每一个集合本身又是一颗树，并且成为根的子树（SubTree） ...
2018-07-27 15:51:34
302
原创 《大话数据结构》----第五章---串 （学习小结）
目录 一、串是什么？？1.1 串的相关基本概念：1.2 串的比较二、串的存储结构2.1 串的顺序存储结构2.2 串的链式存储结构二、串的应用2.1串的模式匹配一、串是什么？？1.1 串的相关基本概念：串( string ）是由零个或多个字符组成的有限序列。又名叫字符串空格串：是只包含空格的串子串与主串：串中任意个数的连续字符组成的子序列...
2018-07-26 11:31:14
431
原创 《大话数据结构》----第四章---栈与队列 （学习小结）
一、栈和队列是啥 ？？栈是限定仅在表尾进行插入和删除操作的线性表。队列是只允许在一端进行插入操作、而在另一端进行删除操作的线性表。二、解释下栈的特点？2.1 如何理解栈？ 我们把允许插入和删除的一端称为栈顶(top)，另一端称为栈底(bottom)，不含任何数据元素的栈称为空栈。栈又称为后进先出(Lasf In First Out)的线性表，简称LIFO结构。 ...
2018-07-24 17:39:05
324
原创 《大话数据结构》----第三章---线性表链式存储结构
目录一、为啥要单独说线性表的链式存储结构？二、这些链式存储结构分别是什么样的？2.1 单链结构是怎么样的？2.2 静态链表又是怎么定义的呢？2.3循环链表是如何定义的？2.4双向链表是为什么产生的？一、为啥要单独说线性表的链式存储结构？ 由顺序存储结构的插入和删除操作不方便，引出了链式存储结构。它具有小受固定的存储空间限制，可以比较快捷的插入和删除操作的特点。...
2018-07-23 16:45:46
296
原创 《大话数据结构》----第三章---线性表 （学习小结）
目录一、什么是线性表？线性表:零个或多个数据元素的有限序列二、线性表的抽象数据类型是什么？三、线性表的存储结构有哪些？1.顺序存储结构2.链式存储结构3.单链表结构与顺序存储结构优缺点一、什么是线性表？线性表:零个或多个数据元素的有限序列二、线性表的抽象数据类型是什么？三、线性表的存储结构有哪些？1.顺序存储结构 1.1 线性...
2018-07-22 16:54:29
395
原创 word2vec 解析
什么是word2vec ？Word2vec，是为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。word2vec的作用是什么？...
2018-07-21 15:25:20
705
tesseract-ocr-w32-setup-v5.0.0-alpha.20200223.exe
2020-03-11
SPSS v 22 破解安装包 用于数据挖掘，统计学分析
2017-09-04
hadoop与myclipse连接报空指针需要的hadoop.dll，winutils.exe 文件
2017-02-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人