宋哈哈呀-CSDN博客

原创 python爬虫采集下载中国知网《出版来源导航》论文文献下载_PDF文档_数据采集知网爬虫论文Python3

只懂得一点点代码的学生的福利来了。

2024-01-22 23:42:06 1671

原创 Python3 PIL处理任意尺寸图片为1920*1080 图片模糊虚化图片合并居中叠加

我呢，在接到公司领导要求后，就需要去收集其他同事的照片，收集后发现，同事们发我的照片尺寸千奇百怪，当然我这里说的是尺寸，不是长相。对于一个要做相册视频的技术工来说，如果你仅仅只会PS和PR或者AE，前期要处理几百张图片的尺寸就够你有的忙的了。在说这个前提，我知道可能大家觉得套个模板不就行了，套模板也不是不行，但是涉及到分辨率问题，模板会直接把脸部什么直接裁剪没了，效果肯定不好。以下是完整代码分享，我这里就不想讲解代码了，都有注释，安装好PIL 模块，就可以用。有正方形的，也有长方形的。

2023-01-26 15:51:39 1049 1

原创 python3 词频统计计数分析+可视化词云 jieba+wordcloud 数据分析

python3 数据分析中的词频分析，词频统计小白也能懂。

2022-09-01 17:24:47 3758 1

原创 pandas 把重复的列后面对应的列合并在一个单元格内并删除重复值

把一个带有重复的表，合并之后形成一个非重复的表，不重复的部分用、连接写入在后面的单元格中。

2022-08-23 17:36:46 1629 1

原创 Python(openpyxl/pandas)如何实现多个EXCEL写入到一个EXCEL中(多个sheet写入到一个EXCEL中)

嗨，大家好，已经快半年没更新了。最近工作忙，所以也很少更新了。后面我会继续更新。这里我分享的是一个把多个sheet 也就是工作表,写入到一个工作簿里面。可以叫做把多个EXCEL写入到一个excel的不同的sheet中。我们在日常处理表格中，肯定会遇到需要将多个excel 写入到一个excel 的不同sheet 中。来方便做透视分析。废话不多说了，看代码吧。...

2022-04-22 15:07:55 4152 2

原创 python 实现 PC端剪映字幕转换SRT格式工具代码-Python 实现

#encoding:utf-8import jsonimport timeimport datetimeimport osimport socketimport getpassuser_name = getpass.getuser() # 获取当前用户名hostname = socket.gethostname() # 获取当前主机名def readjson(): """ 读取字幕文本 :return: """ with open(readfi.

2021-12-01 21:20:57 2304 4

原创【2021-11-07 最新python】 pixabay 图片网站全量爬虫代码分享

代码复制即可使用！pixabay 爬取思路，不能正常的使用 requests 爬取，因为他是https2 协议！正常我们访问的互联网都是 http 1.1 协议所以要换个思路爬取，使用 httpx 模块注意我这里的COOKIE,值一定是要登录之后的。#encoding:utf-8import httpxfrom bs4 import BeautifulSoupimport osimport zipfileimport timeimport randomcookie

2021-11-07 22:12:31 1830 7

原创最新 python 3 实现百度翻译 sign 逆向

涉及到 sign , 废话不多说，复制即可使用。新建一个js 文件内容如下文件名是：baidusign.js ：var i = "320305.131321201"function n(r, o) { for (var t = 0; t < o.length - 2; t += 3) { var a = o.charAt(t + 2); a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a.

2021-10-19 22:18:54 3792

原创 python 自动化办公随机生成题库文档

HI，大家好，我是最渣的黑客，很久没有更新文章了，今天更新一篇，利用python 做一个随机生成的题库文档。对一些老师考试检测等等，可能会是一个很好的帮助。首先要准备的是很多题库在一个EXCEL 表中，题目为第一列，答案在第二列。如下：接下来是代码阶段。我这里是开发的窗口化程序。简单易懂。复制即可使用。开发环境：解释器：python 3.6.8编辑器：pycharm 2019.1.3编码格式：utf-8需要安装的库：python-docx，pandas，xlrd 【1..

2021-09-25 23:57:09 2163 2

原创 python3 爬虫，摆脱手动for循环获取网页下一页，让程序自动执行请求网页下一页。

其中导入的包是我自己写的工具，代码中需要的库是 requets ,bs4 即可：# encoding:utf-8from web_tools.SpiderTools.webspider_setting import *import requestsheaders = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,applicat

2021-01-13 03:06:22 2035

原创爬虫接单考试入群【python技术学习内部】

1.爬取http://www.1ppt.com/ 所有ppt ，并且下载下来。2.爬取任意新浪微博博主的某条超过100条评论的评论，保存为excel 文件3.爬取 https://lcsc.com/products/Connectors_365.html 下方2000多也的表格数据，保存到mysql 中3个任务完成，把数据发送到 [email protected] ，拉进入爬虫接单分享群。...

2020-12-31 21:22:05 2816 2

原创第17课：def 函数之间的相互调用引用

本节课课程目录什么是函数之间的调用：如何运行函数：总结-引用调用：什么是函数之间的调用：比如 A要吃苹果，但只B有苹果，并且B生产苹果，所以A就需要到B那里来，拿到苹果后，然后吃。A，B都是一个个体，每个个体都有不同的任务和功能。A是负责吃这个功能，而B负责生产这个功能。但是B不仅仅可以给A吃，还可以给C，C可能不用来吃，用来做摆设。还有D可能用来做水果拼盘，卖给E。以下代码做演示：import requestsimport jsonheadser = { 'cookie':'***

2020-12-06 23:30:03 3537 2

原创第16课：把爬虫代码写入 def 函数中

这里写目录标题分析代码总结分析代码我们需要把我们写的代码写入函数中，我们就需要先分析py文件中，那些代码一共分为几个功能部分。还需要了解，那些代码，是需要放在全局模式，那些代码放在def 的局部模式。import requestsimport jsonheadser = { 'cookie':'************', 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHT

2020-12-06 23:03:17 871 2

原创第15课：print() 基础了解

这里写目录标题print() 功能作用:print() 抒写格式print() 功能作用:print 在 python 中是输出的意思，英文翻译过来也是打印的意思。比如我写好一个代码，我需要知道这个代码是否正确，就需要输出我这段代码结果进行判断是否正确。而打印输出的就是用 print 来实现。例如下方代码，我需要打印出 for 循环遍历 list 值。print 不仅是用作于输出值的作用，当我们在用Python下载某文件的时候，也可以用于提醒下载的进度显示，可以显示下载到第几张图片了。pri

2020-12-06 22:49:43 2026

原创第14课：def 全局变量和局部变量，封装的了解

这里写目录标题什么是全局变量什么是局部变量在py文件中写了多个函数怎么运行什么是全局变量我们第13课，初识了 def 函数，现在我们就要了解全局和局部变量，所谓的全局变量可以让任何函数调用或者引用，一个py文件可以写无数个 def 函数。并且抒写并无任何 tab缩进。例如下代码：都输入全局变量代码。#encoding:utf-8import requestsfrom bs4 import BeautifulSoupheaders={ "cookie":'@@@@@@@@@@',

2020-12-05 18:36:48 1177

原创第13课：def 函数初识之作用域

本节课程目录什么函数（def）:Python 编程为什么要用函数：如何写函数:怎么输出函数的内容什么是作用域：函数抒写规范：什么函数（def）:函数在数学中函数是：函数（function）的定义通常分为传统定义和近代定义，函数的两个定义本质是相同的，只是叙述概念的出发点不同，传统定义是从运动变化的观点出发，而近代定义是从集合、映射的观点出发。在计算机中函数是：函数是指一段可以直接被另一段程序或代码引用的程序或代码。也叫做子程序、（OOP中）方法。也就是我第一课讲的，对象，函数，方法，表达式等。

2020-12-02 22:49:24 1544

原创第12课：python 代码抒写注意

Python 编程注意事项：命名篇：安装包，库，模块注意事项：抒写缩进：导入语句（import语句）：注释：# 注释内容（单行注释）命名篇：在我们创建 py 文件的时候，不能和Python内置函数名一样。在我们写变量名的时候，也不能和 Python 内置函数名一样。变量名，不能以数字，特殊符号开头，可以以下划线（_) 开头。Python 是区分大小写的，比如：NAME 和 name 是不一样的。安装包，库，模块注意事项：Windows 或 mac 命令行安装的包，并不能安装

2020-11-27 02:15:56 248 1

原创第11课：数据的存储之 with open 基础篇

本节课程目录预览前言with open 作用with open 使用：前言爬虫学这里，我相信，如果坚持下来看我文章的你，相信多多少少都了解了爬虫是什么，和会爬取网站的内容了吧。在这里也非常感谢您，观看我写的文章，也要非常谢谢自己，能坚持下来去琢磨，去专研。with open 作用现在大家已经学到了，bs4 如何去爬取网页的内容，那么接下来就要学习，如何去把网页爬取的内容保存下来。我们保存数据需要用到的函数是 with open（），这个工具大家不需要去安装，直接就可以使用，是python 内置的函数

2020-11-27 01:30:12 3570

原创第6课：学习用 requests 请求网站，并得到网站数据【免订阅版】

本期课程目录：什么是 requests：如何安装 requests：Requests 库的使用：那么我们怎么使用 requests 来模拟浏览器，去请求网站呢？requests.get() 解释：什么是网址：用 requests.get() , 请求网站是否成功请求：用 requests ，打印输出获取到的请求信息：代码整体思路：什么是 requests：requests 中文翻译：请求（Requests），那什么是请求呢？字面意义就是提出要求,希望得到满足。比如：“张三对李四说，能能去讲台帮

2020-11-25 16:04:10 715

原创第10课：利用Headers 的 cookie，实现爬取需要登录的网站信息

本节课目录：Cookie 的概念：网站 Cookie 的获取方法：Cookie 访问登录网站演示：Cookie 的概念：Cookie 是储存在用户本地终端上的数据。是由用户使用浏览器请求访问服务器端时，服务端接受到请求后会自动生成一个Cookie数据。并把Cookie 返回给浏览器，允许浏览器访问服务器网站。浏览器收到Cookie后，会把Cookie保存下来。当发送下一个请求的时候，会直接调用保存下来的Cookie 请求访问服务端。通俗意思：我要访问某国，首先我要申请一个我能允许通行证申请，当某国

2020-11-25 15:51:37 2426

原创第9课：利用 Headers 的 Cookie 和 User-agent 伪装自己

headers 学习目录什么是 headers ?headers 和 requests 关系把 headers 加入 requests ，进行身份访问网站：如何查看自己 headers ?什么是 headers ?headers 就是就是我们互联网计算机与计算机，计算机与服务器，服务器与服务器之间通信的其中一个数据的一些参数，我们一般都把这个理解为终端与终端的通信。终端与终端的通信，用以通信之间都是相互传递数据。我们一般叫这个数据，称之为数据包。而这个数据包，是由报文组成，报文是网络中交换与传

2020-11-25 01:19:34 2265

原创第8课：网页 HTML 分析

网页分析HTML 和网站是什么关系？如何分析网站：浏览器的开发者调试工具浏览器内容定位选择工具：浏览器内容的HTML 代码分析：什么是 html 标签：HTML 和 BeautifulSoup 关联：find_all 使用公式：HTML 和网站是什么关系？HTML 是一种超文本语言，是用来编写前端网站的语言之一。我们也俗话把HTML 称之为网站，网页。如何分析网站：在这里我们拿CSDN 博客，举例子来学习。【推荐使用谷歌浏览器】首先打开CSND 的Python 官网： https:

2020-11-23 01:15:44 1457 6

原创 Python3 编程抒写注意事项，避免它会让你少犯错误

Python 编程注意事项：命名篇：安装包，库，模块注意事项：抒写缩进：导入语句（import语句）：注释：# 注释内容（单行注释）命名篇：在我们创建 py 文件的时候，不能和Python内置函数名一样。在我们写变量名的时候，也不能和 Python 内置函数名一样。变量名，不能以数字，特殊符号开头，可以以下划线（_) 开头。Python 是区分大小写的，比如：NAME 和 name 是不一样的。安装包，库，模块注意事项：Windows 或 mac 命令行安装的包，并不能安装

2020-11-21 22:35:57 268 2

原创第7课： bs4 库的 BeautifulSoup 基础学习

这里写目录标题BeautifulSoup 的使用：利用bs4 的 BeautifulSoup 抓取和赛选信息？bs4 的 Beautiful Soup 详细解释：BeautifulSoup 的使用：利用bs4 的 BeautifulSoup 抓取和赛选信息？当我们成功得到网站的反馈后，怎么打印出反馈给我们的数据信息呢，代码如下：在这个之前我们需要安装 bs4 库和 lxml 库。不会的请看：《第4课：在 Pycharm 编译器里，如何安装库模块包》#encoding:utf-8f

2020-11-20 23:21:59 2389 6

原创第6课：学习用 requests 请求网站，并得到网站数据

本期课程目录：什么是 requests：如何安装 requests：requests 的使用：什么是 requests：requests 中文翻译：请求（Requests），那什么是请求呢？字面意义就是提出要求,希望得到满足。比如：“张三对李四说，能能去讲台帮我拿一下试卷吗？” 【这一句话理解为：就是张三对李四发送请求的意思】而李四听到张三这句话后，【理解为：李四接收到了张三的请求后，开始分析请求，得到请求是帮他去讲台拿一下试卷】李四走上了讲台，找到了属于张三的试卷，然后走回来

2020-11-19 00:06:57 1769 4

原创第5课：利用 Pycharm 创建 python 项目和 pythton文件

学到这里，我相信大家，都已经对软件的操作基础都渐渐的了解了。下面就开始正式开始啦。在第三课中，我们默认创建了项目，所以今天我们就需要自定义去创建一个项目，方便以后好管理文件哦。创建python 项目和 python文件如何在pycharm 中创建 python 项目：如何创建 python 文件：如何在pycharm 中创建 python 项目：1.打开Pycharm , 点击工具栏中的 File ，再点击 New Project 。这里是参考了我第三课之后创建了默认项目的操作，所以直接.

2020-11-17 21:47:03 839

原创第4课：在 Pycharm 编译器里，如何安装库模块包

我们学会了如何安装 python 和 Pycharm ，现在就要进入到了真正学习如何写代码阶段啦。但是在写代码之前，我们还需要学习一样技能，就是如何安装模块包，通常也叫库，都是一个道理。如果大家都去看了别的一些教程，我相信都会这么一个疑问，我明明 pip install xxx ，为什么 xxx 库，在我使用Pycharm 的 import 的时候，还是报错？还是提示我没有安装？我们在使用控制台命令符的窗口下去执行 pip installxxx 默认都是安装在了 Python 的...

2020-11-17 19:52:57 2222

原创第3课：如何安装pycharm , 并且关联 python

前言：本次教程，只是教大家如何下载pycharm ，其中使用版本和视频教学的版本并非一致。视频中所包含的激活文本以及Pycharm 和 Python 。软件网盘下载：链接：https://pan.baidu.com/s/1Kd9W3LxA6eLIRL4_m0eNWQ提取码：nxpu复制这段内容后打开百度网盘手机App，操作更方便哦什么是Pycharm:大家肯定很好奇，什么是Pycharm ? 我本人用通俗的语言给大家解释下，Pycharm 是JetBrains 专...

2020-11-16 01:41:29 6457 5

原创 python3 selenium 模拟鼠标右键另存为(A) 等行为

大家好，我是宋哈哈，本次的文章只是想做个笔记分享。from selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.keys import Keys action = ActionChains(driver).move_to_element(element)#移动到该元素action.context_click(element)#右键点击该元素action.s...

2020-11-15 14:03:18 1093

原创 Python3 单线程爬虫和多线程爬虫下载某站古风头像，短短几分钟就3000多张

大家好我是宋哈哈，今天也是偶然和一位同事聊起，发了一个代码，爬去古风头像的一个爬虫。在我基础上，我又重新晚上了一下。看下效果图。废话不多说，直接上代码：【下方是单线程版本，复制粘贴直接可用】#encoding:utf-8from urllib.parse import urlencodeimport requestsimport jsonimport timeimport osimport random"""功能解释点：urlencode 功能就是把字典数据的值用

2020-11-15 02:17:41 297

原创第2课：如何下载Python 和安装 python 环境

如何下载 Python ：1.打开 Python 官网，https://www.python.org/。【Python 官网目前为止是属于外网，有些可能会时不时打不开】，不过大家请放心，我会把python 下载好，打包好给大家下载。2. 打开官网后，点击上面的 Downloads，进入下载页面。3. 进入下载页面后，鼠标滑动向下滑动，找到这个 “Python releases by version number:” 模块，【因为我教学用的是 python 3.6】，所以我希望大..

2020-11-14 22:22:10 1033 4

原创第1课：什么是爬虫？什么是Python ？

本课程学习目录-小白新手必看【其实大致看下就行】了解什么是爬虫：什么是python：Python发展历程:应用领域了解什么是爬虫：用专业术语讲出来就是：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。通俗易懂的话理解：其实就是好像，你的一个东西掉在地上了，然后你在地上找到你掉的东西。地就是所谓的网站万维网等等。而你代表的就是爬虫。你掉的东西

2020-11-14 01:33:33 635 16

原创 python3_selenium webdriver 和 requetes 爬去淘宝购买的某机构的在线教育视频教程

前言大家好，我是宋哈哈，大家在某宝购买了某某教学视频，每次看的时候，都需要网络去看它，如果网络不好的时候，岂不是看起来非常吃力？这样我们就把它爬去下来吧。这是我在某宝购买的视频教程：需要爬去的视频预览：爬取教程讲解准备安装好 selenium 和 requests ，json 包，因为淘宝的反爬虫机制做的非常的严格，所以我这里就用到了 selenium 来模拟浏览器。但是同时也要获取cookie ，这里的cookie 可不是直接访问的cookie，是json 的cookie 。后面会讲。

2020-11-13 22:39:24 4361 2

原创 Python3 爬取京东购物网站_口红商品的评价内容，购买的产品类型等信息

前言：大家好，我是宋哈哈，今天在学习的时候，收到了这么一个课程，需要爬取京东的商品的信息，我也是试着去做了下，以为还是其他网站一样，找到JS 文件直接用 json.loads 就能获取了。没想到碰到了一个错误。就是这么一个错误：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)这个时候看下json 文件，我们会发现多了一个其他的参数，类似这样的参数：jQuery1387989(从而导致.

2020-11-10 17:16:35 654 2

原创 python3 PIL模块写入中文_英文_字符串在图片中居中对齐【字符串包括中英文数字等】

前言：大家好我是最渣的黑客（宋哈哈），今天在写一个小脚本，让文字写到图片中，一个两个标题就可以手工用adobe 的 photoshop 就能解决，但是很多，就显得那么无力，当然也可以用 ps 的数据组功能也可以解决问题，但是每次都要打开ps，就显得很麻烦。用Python 去做就是几秒的问题。我查了很多 CSDN ，还有百度，以及google 。很少有人讲 PIL 的文字居中对齐的办法。貌似 PIL 没有自带居中对齐的功能。所以就需要自己去计算一些数值来得到近似居中的方法。我找到一篇，但是那边

2020-11-04 17:46:52 1240

原创 Pytnon3 实现截图电脑桌面功能，并且将截图图片发送到163邮箱【新手易懂，复制代码可直接用】

前言大家好，我是最渣的黑客，前几天需要做一个检测 server 的桌面的情况，所以特意写了一个自动截屏桌面并发送邮箱的功能，此篇是python篇，并非其他语言。其实在写之前，我也查了很多资料，很多办法可能只是适合他自己的，CSDN 千篇一律，不是你复制我，就是我复制你，然后保存在自己的博客中，在这里我真的要吐槽那些喜欢复制的博主，真别这样做了，如果看到一篇文章觉得可以解决你的问题，我建议好好研究为什么可以解决问题，然后写到博客中。CSDN真让我查资料查吐了。我这篇文章只适合现在时间，我用pyton

2020-10-29 16:37:46 2162

原创 python3 selenium web自媒体百家号企鹅号大鱼号acfun站，自动化上传视频以及经验总结分享

前言大家好，我是最渣的黑客，这几天在写selenium web 自动化。如果一个UP主在做自媒体，剪辑好一个视频要上传多个平台，而这些平台还没有互相关联可以进行同步，这个时候上传视频的工作就成了一个繁琐而重复的工作。目前已知的自媒体平台有很多，我这里就举例比较出名的自媒体平台，百家号，企鹅号，大鱼号，A站，4个平台。重要的代码我会拿出来讲解，文章内容对一些做web自动化的新手比较有用自动化前的需要准备的一些 def 代码，来辅助自动化程序：1.代码功能：上传视频#encoding:utf-8"

2020-10-23 23:22:12 3166 3

原创【带图详解】python3 selenium web自动化遇到 Message: no such element: Unable to locate element 之 frame 篇适合新手

报错原因大家好，我是最渣的黑客，今天遇到一个问题，也是一个很让人头疼的问题，难度也不大，就是靠自己细心才能去解决。废话不多说，直接上问题。当我在写企鹅号自媒体 web自动化的时候，在登录时，就直接让我停止的脚步，下方是我部分代码【错误代码】：【前提提示：我的所有 find_element_by_xpath 的都是对的】driver = webdriver.Chrome(r"D:\pro_py\auto_office\chromedriver\chromedriver.exe")home_url =

2020-10-20 03:36:12 2157

原创 python3 selenium 在网页输入框准备输入文字出现 element not interactable 报错详细教程

报错原因：大家好，我是最渣的黑客，在我做web 自动化的时候，需要登录企鹅号，然后上传视频，在上传视频的发现我需要输入标签，然后正常的使用 send_keys（“VLOG”），直接报错： element not interactable，我在网上和CSDN 其他博主看了很多解决方案，都没解决。也不是加个 time.sleep ，更不是需要调用JS（execute_script）。案列演示：下图是红圈出来的是我需要输入的标签文字：上诉标签输入框，我直接使用send_keys()是报错的。driv

2020-10-15 18:51:42 2147 4

原创 python selenium 浏览器自动化遇到 Message: element click intercepted:解决办法（非延迟加载）

python selenium webdriver 浏览器自动化遇到 Message: element click intercepted: Element is not clickable at point(xx, xx). Other element would receive the click：解决问题。问题详情：因为我要自动化，通过百家号上传视频，前面都很顺利，到了上传视频时，点击上传，却提示报错。我百度了很多解决办法，大多数都是说是要加 time.sleep 或者是 ui.WebDriver

2020-09-29 15:45:18 19102 15

空空如也

空空如也