- 博客(114)
- 收藏
- 关注
RSS订阅原创 机器学习——支持向量机(SVM)
Iris.data中有5个属性，包括4个预测属性（萼片长度、萼片宽度、花瓣长度、花瓣宽度）和1个类别属性（Iris-setosa、Iris-versicolor、Iris-virginica三种类别）。首先，需要将第五列类别信息转换为数字，再选择输入数据和标签。from sklearn import datasets #导入数据集模块from sklearn.model_selection import train_test_split #数据集划分。
2023-11-27 18:19:39
468
原创 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
相关性分析：指对两个或多个具有相关性的变量元素进行分析。
2023-11-07 14:17:03
17623
3
原创 基于Pytorch框架的LSTM算法(二)——多维度单步预测
*选用Close和Low两个特征，使用窗口time_steps窗口的2个特征，然后预测Close这一个特征数据未来一天的数据当batch_first=True,则LSTM的inputs=(batch_size,time_steps,input_size)time_steps = 滑动窗口，本项目中值为lookbackinput_size = 2【因为选取了Close和Low两个特征】**
2023-11-06 20:22:33
601
原创 基于Pytorch框架的LSTM算法(一)——单维度单步预测（1）
参考：https://gitee.com/qiangchen_sh/stock-prediction/blob/master/%E4%BB%A3%E7%A0%81/LSTM%E4%BB%8E%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80%E5%88%B0%E4%BB%A3%E7%A0%81%E5%AE%9E%E6%88%98%203%20%E8%82%A1%E7%A5%A8%E4%BB%B7%E6%A0%BC%E9%A2%84%E6%B5%8B_Pytorch.ipynb#
2023-11-06 14:33:16
167
原创 PyTorch框架的中LSTM的输入和输出
input_size:输入数据的特征维度，（单变量=1,embedding=【词向量的表示维度】）hidden_size:LSTM隐层的维度num_layers:循环神经网络的层数 1或者2batch_first:通常默认为False，输入的数据shape=(time_steps,batch_size,embedding)batch_first=True,则输入的数据shape=(batch_size,time_steps,embedding)
2023-11-02 09:12:47
1668
原创 Python读写文件代码
思路2：同时打开两个文件，然后再写入新的文件，但是这种方法需要不断的打开某一个文件进行遍历，因为使用with open打开遍历一次以后，不会初始化，因此需要不断地进行打开。思路1：将数据少的文件写成字典，然后打开并写入到output中‘
2023-09-11 14:13:40
127
原创 NumPy矩阵的基本计算2
#%%import numpy as np1.逐个元素相乘(*)a1=np.arange(4)print(a1)A = a1*a1 #0+0,1+1,2+2,3+3print(A)2.矩阵乘法C = np.matmul(A,B) #A=mxs B=sxn C=mxn3.矩阵的迹【对角线元素之和】a1 = np.arange(4).reshape(2,2)A=np.trace(a1)print(A)4.矩阵的秩（rank)==>np.linalg.matrix
2022-05-26 15:08:21
173
原创 NumPy矩阵的表示方法1
import numpy as np#1.矩阵转置(A^T)a1=np.arange(1,7).reshape(2,3)a2 = a1.Tprint(a2)#2.单位矩阵import numpy as npA2=np.eye(3)print(A2)#%%#3.对角矩阵a = np.arange(5)print(a)a1 = np.diag(a)print(a1)a2 = np.diag(a,1) #对角线向上偏移一位print(a2)a3 = np.d.
2022-05-26 14:53:08
165
原创 NumPy的矩阵表示方法
1.特殊矩阵的表示方法在NumPy中，二维数组array和Maxtria类型对象都可以表示矩阵。**1. 矩阵的转置（）**import numpy as npa1=np.arange(1,7).reshape(2.3)a1.T #表示a1数组的转置2.单位矩阵np.eye(n) #n表示n维单位矩阵np.eye(3)3. 对角矩阵A=np.arrange(5) #返回结果为0,1,2,3,4np.diag(a) #对角矩阵#衍生...
2022-05-26 14:28:41
626
原创 Anaconda首次打开jupyter notebook
===首次使用浏览器打开jupyter=pip install jupyterStep1.打开Anaconda PromptStep2.执行jupyter notebook --generate-configStep3:在Step2下面提示的文件中，添加 # c.NotebookApp.browser = '' import webbrowser webbrowser.register('chrome',None,webbrowser.GenericBrowser(u'C:\\Users\\
2022-02-17 14:59:19
1128
原创 Linux操作系统中安装JDK环境
https://blog.csdn.net/qq_38633279/article/details/105802279
2021-12-16 19:36:36
908
原创 python网络爬虫（第十二章：自动爬取网页的爬虫CrawlSpider)）
1.CrawlSpiderCrawlSpider：类，是Spider的一个子类全站数据的爬取方式：1.基于Spider：手动请求2.基于CrawlSpider案例1：爬取小程序社区信息步骤1. scrapy startproject shequPro步骤2. sc shequPro步骤3.scrapy genspider -t crawl tengxun www.xxx.com步骤4. spider.pyimport scrapyfrom scrapy.linkextractors
2021-08-17 20:12:13
529
原创 python网络爬虫（第十一章：Scrapy框架实战：爬取网页新闻标题和内容）
综合练习：爬取网易新闻标题和内容1.spider.py【完成数据的爬取解析】import scrapyfrom selenium import webdriverfrom wangyiPro.items import WangyiproItemclass WangyiSpider(scrapy.Spider): name = 'wangyi' # allowed_domains = ['www.xxx.com'] start_urls = ['https://news.1
2021-08-17 11:33:15
1870
1
原创 python网络爬虫（第十一章：Scrapy框架实战：爬取图片数据之）
基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？1.字符串：只需要基于xpath进行解析且提交管道进行持久化存储2.图片：xpath解析出图片src的属性值。需要单独对图片地址发起请求获取图片二进制类型的数据ImagesPipeline只需要将img的src的属性值进行解析，然后提交给管道，管道就会对图片的src进行请求发送获取图片的二进制数据，同时进行持久化存储。需求：爬取站长素材中的高清图片步骤1：数据解析import scrapyfrom imgPro.items i
2021-08-16 16:36:52
464
原创 python网络爬虫（第十一章：Scrapy框架请求传参之实战）
1.请求传参使用场景：如果爬取解析的数据不在同一张页面中（深度爬取）需求：爬取boss的岗位名称，岗位描述【岗位名称和岗位描述不在同一张页面中】
2021-08-16 15:04:25
226
原创 python网络爬虫（第十一章：Scrapy终端与核心组件）
1.spider作用：产生URL、对URL发送请求；利用parse()方法进行数据解析2.引擎将封装的请求对象（URL）给调度器3.调度器从队列中调用请求对象给引擎【调度器对请求对象进行过滤，之后存入队列中】4.引擎将从调度器中获取的请求对象给下载器，下载器通过网络进行数据下载【下载的数据均在response中】5.下载器将response给引擎6.引擎将response给spider【其实就是将response给spider中的parse()方法，进行数据解析】7.将解析后的数据封装到ite.
2021-08-15 20:22:32
159
原创 python网络爬虫（第十章：Scrapy实战1：全站数据爬取）
1.什么是全站数据爬取就是将网站中某板块下的全部页码对应的页面数据进行爬取2.全站数据爬取方式1.将所有网页的URL添加到start_url列表中（不推荐）2.自行手动进行请求发送（推荐）-手动请求发送：yield scrapy.Requests(url,callback)【callback专门用作于数据解析】yield【生成器】：用于迭代操作，更简单理解就是迭代器案例：爬取照片名称【http://www.521609.com/tuku/shz/index.html】import scr
2021-08-15 17:19:24
705
原创 python网络爬虫（第十章：初识爬虫框架Scrapy）
1.什么是框架一个集成了很多功能且具有很强通用性的一个项目模拟。2.如何学习框架专门学习框架封装的各种功能的详细用法。3.什么是Scrapy爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据分析，分布式...
2021-08-13 18:44:14
616
1
原创 python网络爬虫（第九章：存储爬虫数据）
1.数据库存储概述爬虫的数据存储方式：1.存储到本地2.存储到数据库（常见的数据库：MySQL和MangoDB）2.MangDB数据库概述MangDB数据库功能：1.模式自由：可将不同结构的文档存储在同一个数据库中2. 面向集合的存储：适合JSON文件风格的形式3.完整的索引支持4.复制和高可用性5.自动分片6.丰富的查询7.快速就地更新8.高效的传统存储方式2.1MangDB数据在Wins系统下的安装下载官网：https://www.mongodb.com/downloa
2021-08-12 22:51:45
550
1
原创 python网络爬虫（第八章：Tesseract实战）
案例1：古诗文官网使用Tesseract识别图片信息【https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx】from selenium import webdriverfrom time import sleepfrom selenium.webdriver import ActionChainsfrom PIL import Imageimport pytesseractdriv
2021-08-12 12:15:59
230
原创 python网络爬虫（第八章：图像识别与文字处理）
1.OCR技术概述OCR(Option Character Recognition，OCR)：指对文本资料的图像文字进行分析识别处理，获取文字及版本信息的技术。将图片翻译成文字一般被称为 光学文字识别OCROCR过程：1.图像输入（常用语存取图像的开源项目：OpenCV和CxImage等）2.预处理（二指化、噪音清除、倾斜校正）3.版本分析4.字符切割5.字符识别6.版面恢复7.后处理、核对2.TesseractTesseract是一个开源的OCR库。2.1安装安装网址：
2021-08-11 22:45:58
708
原创 python网络爬虫（第七章：无头浏览器+规避检测）
案例from selenium import webdriverfrom time import sleep#实现无可视化界面（其实就是后台运行，不要显示在显示屏上面）from selenium.webdriver.chrome.options import Options#实现规避检测from selenium.webdriver import ChromeOptions#1.实现无可视化界面的操作chrome_options = Options()chrome_options.add
2021-08-10 16:36:28
1356
3
原创 python网络爬虫（第七章：selenium实战：模拟登录QQ空间）
1.模拟登录QQ空间from selenium import webdriverfrom time import sleepfrom selenium.webdriver import ActionChains#获取服务器对象driver = webdriver.Chrome('./chromedriver.exe')#发送url请求driver.get('https://qzone.qq.com/')#定位变迁driver.switch_to.frame('login_frame
2021-08-10 15:49:26
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人