- 博客(50)
- 收藏
- 关注
RSS订阅原创 Python爬取链家租房信息
Python爬取链家租房信息兴趣点：继续练手，今天以石家庄市开发区为例，爬取所有链家在租房屋信息这种静态网页我已经练了很多了，已经驾轻就熟了目标网站：传送门：https://sjz.lianjia.com/zufang/kaifaqu1/爬虫大体思路与方法：大体思路：（1）找到翻页的规律（链家是静态网页，直接看浏览器上方显示的链接就能找到规律）（2）获取我们想要的出租房的信息包括房源、面积、具体地址等，整理到列表中（3）存储到本地方法：（1）getHTMLText(url)：页面获取
2020-10-22 15:06:14
1432
5
原创 Python爬取网易云音乐评论
Python爬取网易云音乐评论兴趣点：这个网易云音乐的评论我早就想爬了，可惜技术不行，研究了两天的时间我终于用最简单的方法实现了网易云音乐评论的爬取，我以毛不易的《像我这样的人》为例来介绍一下爬取网站：虚假的爬取网站：https://music.163.com/#/song?id=569213220这个是打开歌曲《像我这样的人》的页面，由于页面是动态加载的，评论信息都保存在json文件里，无法直接爬取，但我们可以想办法看一下：（1）按F12进入开发者工具，刷新一下，点几下翻页，你会发现多了好多
2020-10-21 15:49:12
1578
5
原创 Python爬取人民网文章标题
Python爬取人民网文章标题兴趣点：还是为了练手，开始想爬人民网主页的所有文章的，但是发现不同板块的页面结构不一样，有的页面还是论坛？？？我人晕了，最后改弄词云了，无奈╮(╯▽╰)╭爬取网址：传送门：http://www.people.com.cn/爬虫大体思路和方法：大体思路：（1）这个页面相对简单，获取页面标签里的文本和链接就不说了（2）利用jieba库的analyse自动分析方法拆分分析文本（3）利用Wordcloud的方法实现词云方法：（1）页面获取方法：getHTMLTex
2020-10-20 08:24:52
1708
2
原创 Python爬取猫眼电影TOP100榜
Python爬取猫眼电影TOP100榜兴趣点：这个没什么特别的兴趣，只是单纯爬猫眼练手的人太多了，所以我也打算加入他们，对猫眼员工说一声不好意思了，哈哈哈！爬取网址：传送门：https://maoyan.com/board/4爬虫大体思路及方法：大体思路：（1）TOP100榜共10页，每页10部电影，他们的文本和电影专页链接就是我们的目标（2）我们先把这10页网页的URL链接获取出来，放到一个列表里（3）利用循环读取每个网页中的每个电影的相关信息（姓名，主演，上映时间，链接），读入一个列表
2020-10-17 16:29:22
772
1
原创 Python爬取LOL高清皮肤壁纸
Python爬取LOL高清皮肤壁纸兴趣点：这两天复习爬虫，CSDN上看到了一个爬取LOL皮肤的博客，哎这个有意思，看了一下他写的代码，感觉难度还可以，就结合着自己的理解写了一下参考博客：传送门：https://blog.csdn.net/weixin_44936889/article/details/103707406爬取网址：传送门：http://lol.52pk.com/pifu/hero/爬虫方法设计：方法：（1）页面获取方法：getHTMLText(url)（2）把所有皮肤页UR
2020-10-13 17:36:35
424
2
原创 Python爬取软科中国大学排名2020版网页
Python爬取软科中国大学排名2020版网页问题起因：复习爬虫时发现之前代码爬取的软科中国大学排名网站页面变了，原来的爬虫就不能再使用了，所以我对爬虫进行了更新，使之恢复可用状态，并增加了写入Excel表格部分目标页面：软科——中国大学排名http://www.shanghairanking.cn/rankings/bcur/2020爬虫方法设计：方法：（1）页面获取方法：getHTMLText(url)（2）页面解读方法：fillUnivList(ulist,html)（3）效果打印方
2020-10-12 16:06:34
3814
25
原创 Python批量修改文件名
Python批量修改文件名问题起因：我需要核对一些表格，但是Excel无法同时打开两个同名文件，这大几十的Excel表要是一个个改名再改回来也太麻烦了使用工具及方法：工具：Python3.7方法：（1）os.listdir(path) 将指定路径文件夹中的文件名录入一个列表中（2）os.rename(old_name,new_name) 重命名文件代码：import os# 目标路径path = ""#os.listdir(path)返回指定路径路径文件夹中所有文件名,并将文件
2020-10-11 20:27:01
199
原创 基于Hexo的Matery主题博客增加视频播放器
基于Hexo的Matery主题个人博客友链样式修改问题起因：看了FPX归还全球总决赛奖杯的视频，触景生情，内心很不是滋味，也算是警醒自己吧：你可以用一年爬的很高很高很高，也可能在一年就摔的很低很低很低，所以我打算把这个短视频也放到自己的博客上哪些文件共同生成了video？想造出第二个video就肯定要知道video的功能和效果是怎么实现的，于是我找到了下列文件：主题的配置文件：themes/hexo-theme-matery/_config.yml生成首页文件：themes/hexo-them
2020-10-06 00:09:43
1629
5
原创 sdb格式数据库转shp方法
sdb格式数据库转shp方法问题起因：想获取一个县的矢量数据，可给我们的是sdb数据库文件，我要从这个sdb数据库中获取shp文件，方法如下：sdb数据库是什么？SDB(Spatial DataBase)：空间数据库，SuperMap支持的纯关系数据库，用于存储和管理空间数据使用软件：Super Map我使用的版本：http://support.supermap.com.cn/DownloadCenter/DownloadPage.aspx?id=516在 SuperMap 中打开sdb
2020-10-04 15:05:23
6495
1
原创 基于Hexo的Matery主题个人博客友链样式修改
基于Hexo的Matery主题个人博客友链样式修改问题起因：我做好了二级菜单后打算记录我的听歌、看书和追剧的日常，可是使用的友链页面样式放上电视剧海报和图书封面太难看了，所以就有了这篇文章二级菜单如何设置成友链页面样式：见上一篇博客：https://blog.csdn.net/qq_41496127/article/details/108749638图片边框形状更改：先看看效果，是不是比圆形头像顺眼多了？修改这个比较容易，打开 themes\hexo-theme-matery\layout
2020-09-28 17:54:59
1129
原创 基于Hexo的Matery主题个人博客的部分个性化修改
基于Hexo的Matery主题个人博客的部分个性化修改页面菜单栏文字个性化设置：方法一：打开主题下的配置文件_config.yml，直接在menu下修改，中文支持很好menu: 我的主页: url: / icon: fas fa-home 标签: url: /tags icon: fas fa-tags 分类: url: /categories icon: fas fa-bookmark 时间轴: url: /archives
2020-09-23 13:54:30
1782
原创 CSS基础四（CSS）
一.浮动——float：1.浮动属性与属性值：float:none; //默认值，无浮动float:left; //向父元素左侧紧靠float:right; //向父元素右侧紧靠2.float 注意事项：（1）浮动元素距离父元素边框的位置，是该侧的父元素 padding + 自身 margin 的值（2）通常不会超过父元素的边界（3）元素一旦浮动就不属于父元素了（4）...
2019-09-06 10:50:39
147
原创 Android登录页面
Android登录界面学习总结：一.Android studio安装使用时遇到的问题：1.安装后提示“Gradle project sync failed”,软件无法使用（gradle已经安装在指定位置）：（1）点进项目中的build.gradle（2）将倒数第三行的数字改成 25 ，红线不用管，就解决了（可能是版本的问题）二.页面制作细节总结：1.常用的布局：LinearLay...
2019-09-05 09:22:34
392
原创 scrapy爬虫
1.scrapy常用cmd命令：（1）scrapy startproject + 工程名：创建一个工程（2）scrapy genspider + 爬虫名 + 爬取的域名：创建一个爬虫（要先进入该目录）（3）scrapy crawl + 爬虫名：运行爬虫2.scrapy工程目录解读：（摘自慕课嵩天老师）...
2019-07-30 17:16:19
218
原创 常用cmd命令
1. 常用cmd命令：整理记录常用的cmd命令：（1）win键 + R + 输入cmd + 回车：快速打开cmd（2）磁盘名（c\d\e\f···）+ 冒号：切换磁盘（3）cd + 目录名：进入子目录（按tab键可以自动补全目录名）（4）cd + . . ：返回父目录（5）dir：查看当前目录所有文件（夹）（6）md + 目录名：创建一个目录（7）rd + 目录名：删除一个目录...
2019-07-27 19:03:50
365
原创 遥感图像处理——课外拓展二（ENVI）
介绍利用ENVI对landsat数据进行辐射定标和大气校正的方法注意：使用软件一.辐射定标：辐射定标就是将图像的数字量化值（DN）转化为辐射亮度值或者反射率或者表面温度等物理量的处理过程只能对原始数据进行辐射定标，不能对合成数据进行辐射定标，辐射定标会自动对波段进行合成1.选择打开解压的遥感图像中的_MTL.txt文件2.在Toolbox中，选择Radiometric Correct...
2019-06-07 13:04:40
2833
3
原创 遥感图像处理课时九（ERDAS & ENVI）
一.主成分变换（K-L变换）用ERDAS实现：1.打开 Principal Components 工具对话框并填写参数：（图像一般是多波段才有意义）2.打开 Inverse Principal Components 工具对话框并填写参数：二.穗帽变换（K-T变换）用ERDAS实现：1.打开 Tassele Cap 工具对话框并填写参数：...
2019-06-06 20:25:04
1157
原创 遥感图像处理——课外拓展一（ENVI）
介绍一种用ENVI外部矢量裁切的方法：注意：使用的是下图的这个1.分别打开需要裁切的图像和矢量文件（.shp）2.在 Toolbox 中，打开 Regions of Interest，选择 Subset Data from ROIs，Select Input File选择Beijing_TM.dat，点击OK，打开Subset Data from ROIs Parameters面板3....
2019-05-26 15:17:17
698
原创 遥感图像处理课时八（ERDAS）
一.图像拼接1.图像拼接目的：图像拼接就是将具有地理参考的几幅互为邻接的遥感数字图合并成一幅统一的新图像。输人图像必须经过几何校正处理或者进行过校正标定。虽然所有的输入图像可以具有不同的像元大小，但必须具有相同的波段数。在进行图像拼接时，需要确定一幅标准图像，标准图像将作为输出拼接图像的基准，决定拼接图像的对比度匹配、以及输出图像的地图投影、像元大小和数据类型。2.波段数的统一：见遥感图像...
2019-05-24 15:27:11
793
2
原创 遥感图像处理课时七（ERDAS）
一.图像融合1.图像融合目的：图像融合是针对不同空间分辨率的遥感图像的融合处理，使处理后的遥感图像既具有较好的空间分辨率，又具有多光谱特性，从而达到图像增强的目的。图像分辨率融合的关键是融合前两幅图象的配准(Rectification)以及处理过程中融合方法的选择，只有将不同空间分辨率的图像精确地进行配准，才可能得到满意的融合效果；而对于融合方法的选择，则取决于被融合图像的特征以及融合的目的，...
2019-05-18 14:54:36
755
原创 CSS基础三（CSS）
CSS盒子模型：1.什么是盒子，盒子长什么样？盒子就是放内容的容器，包括：（1）大小（width、height）（2）边框（border）（3）内边距（padding）（4）外边距（margin）2.边框：border（top,right,bottom,left）1.边框的宽度：border-width:5px;2.边框的样式：border-style:solid;3.边框的...
2019-04-30 09:58:04
124
原创 遥感图像处理课时五（ERDAS）
通过dat文件可视化高程点：1.点击DataPrep模块，选择Create Surface，选择Surfacing Tool，弹出下图窗口2.点击File，点击Input Data弹出下图窗口，选中Point Data，文件源类型选择ASCII File，选择dat文件，OK3.打开Import Options窗口：（1）Separator Character：分隔方式（2）Row ...
2019-04-12 23:27:56
595
原创 CSS基础二（CSS）
一.文字样式设置：文字常用属性：1.字体系列：font-family——设置一种字体（1）font-family : “宋体”;——设置宋体（2）font-family : “宋体”, “仿宋”, “Times New Roman”;——若用户系统里有宋体，用宋体，无宋体则用仿宋，无仿宋则用新罗马字体（3）serif——相近字体，不用加引号2.字体大小：font-size——设置字体大...
2019-04-11 19:41:55
374
原创 CSS基础一（CSS）
一.CSS基础语法：选择器{属性:属性值;属性:属性值;……}三要素：选择器、大括号、属性:属性值;（一组声明）提示：CSS代码一般都写在head标签里1.选择器——规定选择器定义的样式对那些元素生效（1）标签选择器——选择器是HTML标签：影响整个页面中所有运用该标签的元素（2）类选择器——以“.”开头的选择器(.class名)：1.影响所有以class属性引用该类的标签样式的元...
2019-04-09 10:10:50
319
2
原创 遥感图像处理课时四（ENVI）
遥感图像的裁切处理------用ENVI裁切：利用Masking裁切（掩膜）：1.打开图像，点击Basic Tools，选择Masking，选择Build Mask2.使用我们前两课时学到的ROI工具绘制掩膜区域3.导入ROI4.再次使用Masking，这次选择Apply Mask5.选择被裁切图像，选择Mask Band，OK，OK6.Mask Value填写nan，完成...
2019-04-02 09:09:39
459
原创 HTML基础二（HTML）
一.网页中插入表格：1.标签与属性：（1）表格相关标签：<table></table>：双标签，镶嵌于body标签内，定义一个表格<tr></tr>：双标签，镶嵌于table标签内，定义表格中的一行<th></th>：双标签，镶嵌于tr标签内，定义表头单元格<td></td&a
2019-03-19 19:06:00
286
原创 遥感图像处理课时二（ERDAS & ENVI）
一.DAT格式文件的处理：对包含2、3、4波段的DAT格式文件进行合成处理，使之成为可用图像1.用ERDAS处理：（1）点击转换（Import/Export），选择Import，Type选择Generic Binarv（简记为GB），如下图：（2）Media选择File：（3）Input File选择需要转化的dat文件，点击OK，弹出右侧选项卡，Data Format选择BSQ，下...
2019-03-16 11:36:08
2902
原创 XPath（XML）
XPath是什么：在XML文件中查找信息的一套规则/语言，根据XML的元素或者属性进行遍历选取结点：1.特殊符号说明：（1）nodename：选取此节点的所有子节点（2）/：从根节点开始选取（3）//：选取结点，不考虑位置（4）.：选取当前节点（5）. .：选取当前节点的父亲节点（6）@：选取属性2.XPath中查找一般按照路径方法查找：（1）School/Teacher：返...
2019-03-15 10:36:47
185
原创 高级模型构建器技术（ArcGIS）
继续学习ArcGIS帮助中关于模型构建器的“高级”技术：一.行内变量替换：在模型构建器中，可通过以百分号 (%) 将替换变量括起来的方式，用一个变量的内容替换另一变量。这种变量替换方式称为行内变量替换1.行内变量的使用规则：（1）变量名要用%括起来，例如：%value%（2）变量名称中允许出现空格（3）替换不区分大小写2.行内变量分类：（1）模型变量：模型中的任何变量（2）系统变...
2019-03-15 10:09:04
3326
5
原创 遥感图像处理课时一（ERDAS & ENVI）
学习了遥感图像处理的一些基础知识，总结整理课上所学：一.遥感图像的合成：将Landset7上的前7个波段的图像合成一个含有7个波段的图像1.用ERDAS合成（如下图）：（1）合成使用Interpreter模块，第一步点击Interpreter模块（2）点击Utilities，再点击Layer Stack进入合成所用工具（3）选择Input File并选择Layer（只有一个波段，1和A...
2019-03-09 10:56:49
1853
原创 HTML基础一（HTML）
1.HTML的基本结构：HTML丌是一种编程语言，而是一种标记语言，是一套标签，HTML使用标记标签来描述网页。（1）标签又分为单标签和双标签：-----单标签：如下方第四行的meta标签，变量写在尖括号内，在最后加上“/”-----双标签：必须成对使用，如下方的html、head和body，开始标签和结束标签之间要存放一定的内容，代表标签作用范围，结束标签前要加上“/”&amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;!DOC...
2019-03-05 20:56:18
339
原创 学习与实践总结十（Python）
计算机二级操作题整理：1.文件 data.txt 文件中有多行数据，打开文件，读取数据，并将其转化为列表。统计读取的数据，计算每一行的总和、平均值，在屏幕上输出结果：with open(&amp;amp;quot;data.txt&amp;amp;quot;,&amp;amp;quot;r&amp;amp;quot;,encoding = &amp;amp;quot;utf-8&amp;amp;quot;
2019-03-05 18:17:32
1194
原创 学习与实践总结九（Python）
计算机二级操作题整理：1.请编写程序，生成随机密码，具体要求如下：（1）使用 random 库，采用 0x1010 作为随机数种子。（2）密码 abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890!@#$%^&amp;amp;* 中的字符组成。（3）每个密码长度固定为 10 个字符。（4）程序运行每次产生 10 个密码，每个...
2019-02-27 21:59:11
2059
原创 学习与实践总结八（Python）
错题总结：1.软件测试的一般步骤：（1）单元测试（也称模块测试）：针对软件设计的基本单元——程序模块，进行正确性检验的测试工作。目的在于发现各个模块内部可能存在的各种差错。单元测试需要从程序内部结构出发设计测试用例，多个模块可以平行、独立地进行测试；（2）集成测试（也称组装测试，联合测试）：在单元测试的基础上，将所有模块按设计要求集成在一起进行测试，以检验总体设计中各模块间的接口设计问题、模...
2019-02-17 16:10:23
168
原创 学习与实践总结七（Python）
错题总结：1.Python第三方库：以下属于 Python 脚本程序转变为可执行程序的第三方库的是（ D ）A.openpyxlB.PyPDF2C.pillowD.pyinstaller1.openpyxl（Excel操作）2.PyPDF2（PDF操作）3.pillow即PIL（图像处理）4.pyinstaller可以生成不依赖python环境的，可以直接执行的程序（脚本→可...
2019-02-16 16:48:19
223
原创 学习与实践总结六（Python）
错题总结：1.Python第三方库：以下选项中，用于文本处理方向的第三方库是（ A ）A.pdfminerB.TVTKC.matplotlibD.mayavi1.pdfminer（文本处理——pdf）2.TVTK（数据三维可视化）3.matplotlib（数据三维可视化）4.mayavi（三维绘图）以下选项中，用于机器学习方向的第三方库是（ D ）A.jiebaB.Sn...
2019-02-15 21:52:11
586
原创 学习与实践总结五（Python）
错题总结：1.数据库设计：按照规范的设计方法，一个完整的数据库设计一般分为以下六个阶段：1.需求分析阶段：分析用户的需求，包括数据、功能和性能需求2.概念设计阶段：主要采用E-R模型进行设计，包括画E-R图3.逻辑设计阶段：通过将E-R图转换成表，实现从E-R模型到关系模型的转换4.物理设计阶段：主要是为所设计的数据库选择合适的存储结构和存取路径5.数据库的实施：包括编程、测试和试运...
2019-02-14 17:52:01
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人