- 博客(82)
- 收藏
- 关注
RSS订阅原创 机器学习：循环神经网络
文章目录RNN概述RNN模型RNN前向传播算法RNN反向传播算法推导RNN小结参考文章：https://www.cnblogs.com/pinard/p/6509630.htmlRNN概述在前面讲到的DNN和CNN中，训练样本的输入和输出是比较的确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写...
2019-08-26 14:02:49
480
原创 数据分析：pandas
文章目录pandas创建Series数据类型Series基本操作Series运算特殊的where方法创建DataFrame数据类型DataFrame基础属性和整体情况查询文件的读取与写入分类与聚合（group_by）pandas创建Series数据类型"""Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数...
2019-08-26 12:00:52
332
原创 数据分析：Numpy
文章目录numpy创建数组矩阵的转置numpy的索引和切片numpy中数值的修改花式索引数组形状修改数组拼接，分割数组元素的添加与删除numpy的统计函数numpy创建数组import numpy as np# 1). 创建数组: a, b, c创建的数组相同， 任选一种;a = np.array([1, 2, 3, 4, 5])b = np.array(range(1, 6))...
2019-08-26 11:49:53
276
原创 数据分析：Matplotlib
文章目录什么是 matplotlib为什么要学习matplotlib什么是matplotlibmatplotlib基本要点Matplotlib 常用设置(折线图)设置图片大小调整 x 轴或者 y 轴上的刻度设置中文显示常用的统计图散点图条形图单个条形图的绘制多个条形图绘制直方图普通直方图Windows下的安装基本命令项目文件说明项目案例项目介绍项目代码创建工程创建爬虫程序自动创建目录及文件编写爬虫文件（douban.py）编辑item文件编辑pipelines文件编辑settings文件项目效果Scrapy简介通用爬虫框架流程...
2019-08-26 10:31:22
307
原创 机器学习练习：tensorflow_cnn_mnist
文章目录tensorflow_cnn_mnist执行逻辑tensorflow_cnn_mnist执行逻辑目的：通过卷积神经网络来实现手写数字识别验证
2019-08-19 13:47:02
295
原创 机器学习：卷积神经网络
文章目录引入首先思考一个问题：我们如何识别一个熟人？第二个问题：计算机如何模拟人的行为进行识别RGB示例轮廓特征局部特征计算机处理图像识别的思路神经网络和卷积神经网络的联系卷积神经网络的原理卷积运算边缘检测灰度图Padding & Stride (填充和步长)卷积运算的缺点解决的方法 – 在做卷积运算前，对图像进行填充Vaild 和 Same 卷积运算Stride 步长卷积神经网络的总结和...
2019-08-19 11:29:54
391
原创 机器学习：深度神经网络
文章目录基本概念神经网络的介绍神经元深度神经网络(大于两层就可以称为深度神经网络)感知器与神经网络感知器神经网络用符号标识神经网络一个神经元的数学表示一层神经元的数学表示神经网络计算流程激活函数为什么需要非线性激活函数常见激活函数激活函数的导数sigmoidtanhReLu和Leaky ReLu如何训练神经网络反向传播的理解计算图计算图的导数神经网络的梯度下降神经网络的传播过程神经网络的传播过程的...
2019-08-19 10:18:41
1899
原创 爬虫项目实战：简书用户动态信息
文章目录爬虫思路分析示例代码核心代码数据分析模块爬虫思路分析爬取的内容为简书笔者用户动态的信息（https://www.jianshu.com/c/22f2ca261b85），如图当首次打开该网页URL，选择热门，会发现网页URL并没有发生变化，如图所示，所以判断该网页采用了异步加载技术。打开Chrome浏览器的开发者工具（按 F12 键），单击Network选项卡，选中 ...
2019-08-16 20:05:19
340
原创 爬虫：lxml库和Xpath语法
文章目录XPath简介选取节点谓语（Predicates）选取未知节点XPath的运算符lxml库解析 HTML 代码文件读取实例测试XPath简介XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。W3School官方文档：http://www.w3school.com.cn/xpath/index.a...
2019-08-15 15:51:18
277
原创 爬虫：正则表达式
文章目录正则表达式简介为什么要学正则表达式什么是正则表达式正则表达式的作用正则表达式匹配规则案例1. 北美电话的常用格式:(eg: 2703877865)2. 匹配所有的qq邮箱， username必须是字母数字或者下划线re模块re 模块一般使用步骤compile 函数Pattern 对象match 方法Match 对象search 方法findall 方法与finditer 方法split 方...
2019-08-15 15:44:33
193
原创 爬虫项目实战：拉钩网职位需求采集
文章目录需求分析项目简介职位需求页面分析PositionId 数据采集真实的URL获取请求头信息表单信息返回的JSON数据PositionId 页面解析数据分析可视化中文显示问题解决常见错误及解决方式在使用 fake_useragen 的时候出现如下错误:获取页面信息时出现请求频繁问题项目代码配置文件（config.py）数据分析模块（lagou.py）核心代码（run.py）需求分析知己知彼...
2019-08-15 15:19:17
932
2
原创 爬虫项目实战：代理池监控维护器
文章目录项目背景项目需求项目技术细节代码实现工具模块（utils.py）配置文件（config.py）错误信息模块（errors.py）数据库模块（db.py）爬虫模块（spider.py）代理池过滤模块（ProxyPoolFilter.py）API模块（api.py）定时任务模块（scheduler.py）程序入口（run.py）项目背景在爬取一些大网站的时候,总会出现被反爬技术阻碍的情况,...
2019-08-15 14:25:59
326
原创 机器学习项目实战：图片验证码识别
文章目录项目分析代码实现生成训练使用的验证码图片（150张）生成的图片效果展示生成图片代码图线清洗并切割清洗效果展示切割效果展示图片清洗切割代码实现数据处理，建模及测试建模效果展示测试效果展示数据处理，建模及测试代码实现项目分析基于逻辑回归和图像处理的项目输入：一个验证码图像输出：这个验证码图像中的数字（字母）步骤对图像进行处理（1）二值化：首先把图像从RGB3通道转化成Gray...
2019-08-12 11:53:19
2573
2
原创 机器学习：朴素贝叶斯
朴素贝叶斯是一个分类器我们现在用p1(x,y)表示数据点(x,y)属于类别1（圆）的概率，用p2(x,y)表示数据点(x,y)属于类别2（三角）的概率那么对于一个新的数据点(x,y) 我们可以用下面的规则来判断它的类型如果p1(x,y) > p2(x,y)，那么类别为1如果p2(x,y) > p1(x,y)，那么类别为2独立事件：在一次实验中，一个事件的发生不会影响到另一...
2019-08-12 11:26:34
229
原创 机器学习：支持向量机
文章目录逻辑回归的改进支持向量机的决策边界：线性可分的例子向量内积性质的复习SVM决策边界SVM的核函数：用来使SVM能够处理非线性分类核函数和相似度例子：代码实现博主是初学者，学的很浅显，大家可以参考大佬的文章：https://blog.csdn.net/b285795298/article/details/81977271逻辑回归的改进支持向量机的决策边界：线性可分的例子向量...
2019-08-12 11:04:02
214
原创 机器学习：聚类
文章目录无监督机器学习相似度聚类聚类原则K-Means聚类K-Means 改进K-Mediods二分K-MeansK-Means++Mini Batch K-MeansK-Means可以的优化参数选择适当的K值聚类的“相对误差”K均值损失函数求偏导K的选择Canopy聚类层次聚类分裂的层次聚类： DIANA凝聚的层次聚类： AGNES密度聚类DBSCAN密度可达谱和谱聚类谱聚类PCA降维效果图代码...
2019-08-12 10:34:46
578
原创 机器学习：决策树与随机森林
文章目录决策树引入离散化决策树的生成：计算纯度的方式基尼系数决策树的分割方式：非线性单颗决策树的缺陷随机森林随机森林VS逻辑回归剪枝决策树做回归代码实现决策树随机森林决策树引入逻辑回归是一种线性有监督离散型分类模型决策树是一种非线性有监督离散型分类模型随机森林也是一种非线性有监督离散型分类模型离散化案例分析： 离散化数据类型离散的数据 需指明取值数量 2^M 种分割方式天...
2019-08-12 09:34:45
548
原创 Web前端：jQuery练习（tab选项卡）
文章目录题目要求效果展示代码实现题目要求选项卡实现图片转换效果展示代码实现<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style type="text/c...
2019-08-08 17:23:10
314
原创 爬虫练习：CSDN博客归档
文章目录要求：将CSDN博客分类保存效果展示：代码实现：要求：将CSDN博客分类保存效果展示：代码实现：# encoding=utf-8"""Date:2019-08-08 10:32User:LiYuEmail:[email protected]"""import osimport requestsdef get_content(url): """获取...
2019-08-08 10:56:16
188
原创 爬虫：爬虫基础
文章目录通用爬虫和聚焦爬虫通用爬虫通用搜索引擎（Search Engine）工作原理基本工作流程图爬虫限制局限性聚焦爬虫HTTP和HTTPSHTTP工作原理浏览器发送HTTP请求的过程URL客户端HTTP请求请求消息请求方法MethodGet 和 Post 详解常用的请求报头HTTP响应组成响应状态码Cookie和Session图片下载器制作爬虫的基本步骤通用爬虫和聚焦爬虫通用爬虫通用网络爬...
2019-08-08 09:43:46
325
原创 Web前端：前端练习
题目一、简答题1. html 中 title 属性和 alt 属性的区别?2. 请说出几个常用的块级元素和行内元素.3. 介绍一下 CSS 的盒子模型?4. JavaScript 里有哪些数据类型5. JS 怎么实现一个类。怎么实例化这个类。6. 请列举五个常用的 Javascript DOM 方法二、项目实例1. 导航栏:2.特征布局:图片列表3. 特征布局:淘宝主页4. 电影排行榜5. 用户登...
2019-08-05 14:50:51
493
原创 机器学习练习：音乐分类器（使用逻辑回归，傅立叶变换）
文章目录预测一首音乐属于什么风格结果：代码实现：预测一首音乐属于什么风格结果：训练评分：0.83heibao-wudizirong-remix.wav 属于1：rock代码实现：# encoding=utf-8"""Date:2019-08-04 16:59User:LiYuEmail:[email protected]"""import numpy as npf...
2019-08-05 14:01:50
1309
原创 机器学习：逻辑回归与K折交叉验证
文章目录逻辑回归的引入决策边界逻辑回归的损失函数熵的引入交叉熵（逻辑回归的损失函数）梯度下降评估指标：K折交叉验证代码实现线性回归：预测一个连续的值逻辑回归：预测一个离散的值逻辑回归的引入当我们要做二分类的时候，我们一般只希望得到两个值 y = 0 或 1但是...
2019-08-05 11:51:50
6229
原创 机器学习练习：约会网站数据使用KNN分类
代码来源：《机器学习实战》# encoding=utf-8"""Date:2019-07-29 10:54User:LiYuEmail:[email protected]"""from numpy import *def file2matrix(filename): """读取并处理数据""" with open(filename, 'r') as f: ...
2019-08-05 11:19:58
565
原创 机器学习：线性回归算法
文章目录单变量线性回归线性回归的一般步骤损失函数梯度下降单变量线性回归线性回归的一般步骤从我们最熟悉的开始…损失函数线性回归实际上要做的事情就是：选择合适的参数（θ0, θ1），使得hθ(x)方程，很好的拟合训练集损失（代价）函数 – 均方误差梯度下降梯度下降梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代的调整参数从而使...
2019-08-05 11:12:21
239
原创 机器学习：NLP（自然语言处理）基础，相似度分析，KNN情感分类
文本相似度分析文本相似度分析：从海量数据（文章，评论）中，把相似的数据挑选出来步骤：把评论翻译成机器看的懂的语言使用机器看的懂得算法轮询去比较每一条和所有评论的相似程度把相似的评论挑出来1.把评论翻译成机器看的懂的语言1）.分词(把句子拆分成词语)距离川沙公路较近,但是公交指示不对,如果是"蔡陆线"的话,会非常麻烦.建议用别的路线.房间较为简单.[‘距离’, ‘川沙’, ‘...
2019-08-05 10:35:53
1256
原创 Web前端：JS和jQuery函数库
文章目录jQuery介绍jQuery加载jQuery选择器基本选择器选择器修饰过滤选择器函数过滤选择器转移操作行间样式jQuery属性操作获取，设置html内容获取，设置属性值绑定click事件jquery特殊效果jQuery介绍jQuery是目前使用最广泛的javascript函数库。据统计,全世界排名前100万的网站,有46%使用jQuery,远远超过其他库。微软公司甚至把jQuery作为...
2019-08-02 11:57:42
333
1
原创 Web前端：CSS层叠样式表
文章目录CSS介绍优势基本语法格式css页面引入方法内联式嵌入式外联式常用样式文本设置css颜色表示法基本选择器标签选择器id选择器类选择器层级选择器组选择器伪类及伪元素选择器盒子模型CSS浮动什么是 CSS Float（浮动）元素怎样浮动典型布局案例分页导航条电影排行榜CSS介绍CSS 指层叠样式表 (Cascading Style Sheets)定义如何显示控制 HTML 元素,从而实现美...
2019-08-02 11:29:04
368
原创 Web前端：HTML超文本标记语言
文章目录Web前端开发介绍Web概述Web起源Web的特点Web工作原理URL介绍HTML网页结构HTML基本结构HTML文档类型HTML文档规范与注释HTML标签文本标签换行标签列表标签div与span标签图片标签img超链接标签超级链接标签锚点链接表格标签form表单标签表单项标签下拉列表标签文本域标签按钮标签html内嵌框架内嵌框架与a标签配合使用案例代码Web前端开发介绍Web概述...
2019-07-26 18:09:22
838
原创 Python篇：常见网络编程面试题目
题目1.简述 OSI 七层协议。2. 简述 TCP/IP 四层协议。3. TCP 和 UDP 的区别是什么?4. TCP 连接建立的时候 3 次握手的具体过程,以及其中的每一步是为什么?5. TCP 断开连接的具体过程,其中每一步是为什么那么做?6. TCP 的十一种状态?7. 什么是 socket?简述基于 tcp 协议的套接字通信流程。8. 简述基于 udp 协议的套接字通信流程。9. TCP...
2019-07-24 13:25:16
1459
原创 Python篇：网络编程
文章目录网络通信概述什么是⽹络使⽤⽹络的⽬的TCP/IP协议什么是协议⽹络通信协议是什么TCP/IP协议(族)IP地址IP地址的分类私有IP回环地址IP⼦⽹掩码端⼝socket编程本地进程间通信（IPC）⽹络进程间通信什么是socket创建socketUDP介绍UDP特点UDP应用场景UDP⽹络程序UDP⽹络程序: 服务器端UDP⽹络程序: 客户主机端UDP⽹络程序TCP介绍TCP⽹络程序TCP⽹...
2019-07-24 09:58:58
336
原创 Python篇：多任务管理练习
题目1. 多线程实现批量 PDF 转换器工具2. IP 地址归属地批量查询任务3. 基于多线程的批量主机存活探测1. 多线程实现批量 PDF 转换器工具参考资料:1). pdfminer3k 是 pdfminer 的 python3 版本,主要用于读取 pdf 中的文本。2). python-docx 模块是读取和写入 word 文档的工具.# encoding=utf-8"""Da...
2019-07-22 13:34:42
416
原创 Python篇：多任务编程——进程，线程，协程详解
文章目录多任务编程概念单核CPU如何实现“多任务”多核CPU如何实现“多任务”多进程编程进程的创建进程 VS 程序进程的五状态模型创建⼦进程多进程修改全局变量多进程编程多进程编程方法1： 实例化对象多进程编程方法2： 创建子类进程池为什么需要进程池Pool?实现方式进程间通信目的方式消息队列代码实现多线程编程什么是线程?线程和进程各自的区别和优劣线程分类线程的⼏种状态多线程编程实现方法方法一：实例...
2019-07-22 11:07:44
367
原创 数据库：Redis
文章目录Redis简介简介优点/缺点功能Redis支持的数据类型String字符串：set key valueHash（哈希） hmset name key1 value1 key2 value2List（列表）set key ListSet（集合）: sadd name valuezset(sorted set：有序集合): zadd name score valueRedis持久化R...
2019-07-22 10:05:38
175
原创 数据库：对象关系映射SQLAlchemy
文章目录简介基本操作安装sqlalchemy连接数据库创建映射(创建表)添加单条数据添加多条数据查找数据删除数据案例代码简介ORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。SQLAlchemy是Pyth...
2019-07-22 09:46:20
312
原创 数据库：数据库练习
题目1. 数据库软件安装与配置2. 第 N 高的薪水: 此处要求获取薪水第 2 高的薪水3. 分数排序4. 查找重复的电子邮箱5. 超过经理收入的员工6. 从不订购的客户1. 数据库软件安装与配置server 主机安装 mariadb 服务器软件并实现远程登录数据库;安装：yum install mariadb-server -y开启服务：systemctl start maria...
2019-07-18 22:08:44
7193
1
原创 数据结构与算法：算法练习
题目1. 贪心算法问题: 根据身高重建队列2. 动态规划问题: 三角形最小路径和3. 动态规划问题: 合唱团(网易笔试编程)4. 不同排序算法应用问题1. 贪心算法问题: 根据身高重建队列# encoding=utf-8"""Date:2019-07-18 13:43User:LiYuEmail:[email protected]"""info = [ [7, 0], ...
2019-07-18 17:27:43
295
原创 数据库：MySQL(mariadb)安装与基本命令
文章目录数据库简介E-R模型：范式MySQL(mariadb)简介与安装简介安装安全性密码设置本地登陆允许远程连接找回密码数据库操作数据库操作表操作表创建数据完整性字段类型约束数据操作备份与恢复查询操作查询的基本语法消除重复行条件分组分组后的数据筛选聚合排序获取部分行总结pymysql数据库编程数据库简介人类在进化的过程中，创造了数字、文字、符号等来进行数据的记录，但是承受着认知能力和创造能力...
2019-07-18 13:19:06
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人