- 博客(15)
- 收藏
- 关注
RSS订阅原创 python实训课堂笔记--爬虫（3）爬取dt网站图片
堆糖网页： 我们是在该网页里选了一个“壁纸”分类作为单独的网页爬取对象： 爬取的图片地址如下：循环遍历地址下载并保存： 结果如下： 贴一个老师的讲解视频：
2022-12-07 00:44:44
273
2
原创 python实训课堂笔记--爬虫（2）爬取小说榜第一页
目录获取wb从输出的文本内容显示body标签段能获取到我们需要的数据内容：一、方法一（此方法失败，可直接看方法二，这里仅做记录）：1.从body标签段再具体缩小到div标签段，爬取此标签的数据内容，为分类出所需信息做准备：2.将div标签段的内容转换为文本形式方便查看3.替换无关标签字段：二、方法二重新在页面的Response里格式化一下代码，观察页面的代码格式，最后通过所需字段标签的属性内容来定位，逐个爬取相应字段：爬取结果如下：后续思考认为不必在爬取时连续用两个find，只需在整体的属性内容下定位到字段
2022-12-06 22:53:35
485
2
原创 python实训课堂笔记--爬虫（1）常用包和库的介绍
目录一、urllib包Get请求添加header下载Urllib.parse二、requests包get请求post请求保存 三、爬虫库-Beautiful Soup定义标准选择器假设下面是我们爬取到的页面代码（此代码结构简单，内容单一，便于练习）：1.find_all： 代码实现，查找标签h4的内容：查找标签名为li的第一个标签内容：因为该例子中标签名为li的标签不止一个，所以可以用for循环便利取出：也可以通过属性名和属性值来查找标签名li的标签内容：2.find还可以根据内容去查找，find表示
2022-12-06 15:27:16
1699
原创 python实训课堂笔记--数据持久化
一、txt读写操作1.文件基本操作2. 文件对象常用属性3.实际演练（1）打开（2）写入（3）读取（4）将中文进行读取操作二、csv读写操作1.csv的简单介绍2.csv源码解读3.csv方法定义4.数据写入csv文件5.读取csv文件（1）for循环遍历读取（2）用枚举函数读取三、json读写操作1.json文件处理（1）把json字符串转为python字典对象（2）把python字典对象转为json字符串
2022-12-02 19:33:39
301
原创 python学习--B站up小甲鱼“了不起的分支和循环(1)”课堂笔记
python学习分支结构if语句1.语法结构①：判断一个条件，如果这个条件成立，就执行其包含（通过缩进实现）的 某条语句或某个代码块2.语法结构②：判断一个条件，如果条件不成立，就执行另外的某条语句或某个代码块。3.语法结构③：判断多个条件，如果第一个条件不成立，则继续判断第二个条件，如果第二个条件还不成立，则接着判断第三个条件.....4.语法结构④：第四种是在第三中的情况下添加一个else，表示上面的所有条件均不成立的情况下，执行某条语句或某个代码块
2022-12-01 16:55:40
179
原创 Java抽象类与接口的运用
定义一个图形抽象类，有求面积及周长的抽象方法定义一个长方形类，继承图形类，属性：长、宽，重写求面积及周长的方法定义一个正方形类，继承图形类，属性：边长，重写求面积及周长的方法定义一个求体积的接口，接口中有求体积的抽象方法定义一个长方体类，继承长方形类，实现求体积的接口，属性：高，重写求体积的方法定义一个正方体类，继承正方型，实现求体积的接口定义一个测试类进行测试
2022-11-24 15:17:16
435
原创 Hadoop的安装-伪分布式
Hadoop的安装方式1.单机模式：在个人电脑（一台计算机）上2.伪分布式模式：也是一台机器，但是可以模拟不同的进程，每个进程就相当于不同的机器3.集群模式：...Hadoop的安装步骤参考教程：Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客 (xmu.edu.cn)http://dblab.xmu.edu.cn/blog/2441-2/1. 先在官网/资源库里下载需要的文件，放到window
2022-05-29 10:01:13
256
原创 Linux的基本命令以及实例总结
目录Linux基本命令cd命令cd命令使用实例：用树状图表示路径：题目1：假设用户在"/usrn",现在想要来到var文件夹下的"/tmp"题目2：假设用户在根目录下的"/bin",现在想要来到usr文件夹下的"/bin"题目3：假设用户在usr文件夹下的include文件夹下的"/sys",现在想要来到"/usrn"ls命令ls命令使用实例：cat命令cat命令使用实例：mkdir命令mkdir命令使用实例：题目1：假设用户现在
2022-03-07 15:44:39
560
原创 Ubuntu虚拟机的一些基本设置2
目录共享文件夹共享文件夹的测试共享文件夹顾名思义，共享文件夹的意思就是windws系统中的某个文件夹可以在虚拟机Linux里显示并共用。先在虚拟机的“设备”中找到共享文件夹并点击：弹出的界面点击右上角的小标志：在“共享文件夹路径”选项中点击下拉框选择“其他”：选择“其他”就是在Windows系统中选择想要共享的文件夹：之后勾选：点击“OK”之后出现这部分内容，再次点击“OK”：此时Linux主界面出现共享文件夹：再重启...
2022-03-07 15:11:32
519
原创 Ubuntu虚拟机的一些基本设置1
备份虚拟机如果原来的虚拟机有问题了，需要新的虚拟机。但是重新创建虚拟机时间会很长，所以在进行新的设置之前对原来的虚拟机进行备份不失为一个好习惯。对“aaa”虚拟机点击鼠标右键，选择“复制”：复制完成后弹窗自动消失，左侧导航栏就会出现“aaa”和“bbb”两个虚拟机啦！♪(^∇^*)...
2022-03-07 00:16:01
527
原创 Oracle VM VirtualBox虚拟机以及其上Ubuntu的安装
目录新建虚拟电脑虚拟电脑的控制器配置虚拟电脑的正式启动无法重启：新建虚拟电脑Oracle VM VirtualBox版本为6.1.12，资源链接：百度网盘 请输入提取码 ，提取码：jyjy点击“新建”图标，弹出以下对话框，按要需求填写和选择，如下图：之后点击“下一步”，虚拟机的运行内存大小可以根据需要自己选择，也可以选择默认的1024MB：点击“下一步”，此界面默认，点击“创建”：默认选项，点击“下一步”：默认选项，点击“下一步...
2022-02-19 17:12:53
908
原创 win10的系统备份和还原（整合向）
备份参考：https://jingyan.baidu.com/article/e6c8503cc99effa44e1a185e.htmlhttps://jingyan.baidu.com/article/e6c8503cc99effa44e1a185e.html还原在Windows设置中搜索“系统保护”可能遇到的问题：windows备份在源卷上创建共享保护点失败（错误代码：0×8078006B）参考：https://jingyan.baidu.com/article/73c3ce28
2022-02-18 22:36:31
662
原创 Javaweb 小结3---Eclipse2021-09安装配置
Eclipse的下载和安装2021-09百度网盘资源链接：百度网盘 请输入提取码 提取码：jyjy下载成功后来到本机文件所在位置 ，双击应用跳出具体工具的选择下载界面，由于是做web的开发，所以选择第二个：第一栏是java的版本，由于提供的选择没有java8，所以暂时默认，之后再手动更改；第二栏是安装路径，保持默认，直接点击install：下载完成后点击LAUNCH:这里提示项目存放路径，可以勾选保持默认，然后点击la...
2022-02-18 22:18:37
632
原创 Javaweb 小结2---Tomcat9安装配置
Tomcat9的下载和安装进入Tomcat官方下载页面：Apache Tomcat® - Welcome!安装Tomcat9在欢迎页面右侧Download栏找到我们要下载的Tomcat9，并点击进入：现在最新的版本是9.0.56：往下拉，来到9.0.56的资源展示界面，我们直接点击此版本的应用程序下载连接：即可直接下载（这里不需要注册账号了）：下载成功后来到本机文件所在位置 ，双击应用程序：参考视频：t...
2022-01-02 23:46:41
773
原创 Javaweb 小结1---Java8环境搭建
目录Java8的下载和安装安装jdk安装jreJava8环境配置检查是否配置成功Java8的下载和安装进入Java官方下载页面Oracle 甲骨文中国 | 集成的云应用和平台服务安装jdk点击网页头部“产品”：在下拉菜单里点击“Java”：进入Java 软件页面后，先下拉，后看到下图界面后，点击“立即下载Java”：进入Java Downloads页面后，官方最先给你的版本一定是当前最新版，要下载Java8就要将页面往下拉，官方...
2021-12-29 23:50:54
262
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人