2 公众号菜鸟童靴

尚未进行身份认证

我要认证

在不退步的同时,保持的一点点的进步,欢迎关注个人博客https://boyyongxin.github.io/ 微信公众号:菜鸟童靴

等级
TA的排名 8w+

pip 使用国内镜像安装包

pip 使用国内镜像安装包网上搜到的pip国内镜像大部分是豆瓣的http://pypi.douban.com/simple/,但是根本不全,很多包没有所以推荐清华大学的https://pypi.tuna.tsinghua.edu.cn/simple临时修改方法可以在使用pip的时候加参数-ihttps://pypi.tuna.tsinghua.edu.cn/simple例如:pip install -ihttps://pypi.tuna.tsinghua.edu.cn/simple...

2020-06-03 22:13:24

简单学习Python中IO编程-StringIO和BytesIO

from io import StringIO# StringIO:在内存中读写strfrom io import StringIOf = StringIO()print(f.write('hello'))print(f.write(' '))print(f.write('world!ss'))# getValue()方法用于获取写入的strprint(f.getvalue())print('-----------------------1')# 要读取StringIO,...

2020-05-28 13:42:39

简单学习pillow处理图像

import timefrom io import BytesIOfrom PIL import Image​# 打开图片im = Image.open('./captcha1.png')# im.show()​# 图片信息print(im.format, im.size, im.mode)​# 剪切 需要传入一个x0,y0,x1,y1 的集合ret = 200, 0, 300, 50im.crop(ret).show()​# 缩略图 很明显制作缩略图会覆盖原图片对象。 ..

2020-05-28 13:16:10

如何过掉前端Chrome的debugger反调试

1.禁用浏览器断点点击图中按钮,之后将不会再命中任何断点。这种方法虽然可以防止无限循环命中debugger断点,但是也存在很大的缺陷,因为对于其他代码,我们还是需要断点调试功能的。所以这个方法仅限于静态分析。2、直接使用debugger指令使用了间隔setInterval轮询,直接用debugger指令,则可以在Chrome找到对应行(格式化后),右键行号,选择Never pause here即可。3、使用条件断点4.手动替换代码既然修改响应结果无法满足需求...

2020-05-27 15:41:12

Css中路径data:image/png;base64的用法详解与操作

知识点主要参考来源:https://www.aimks.com/css-path-data-image-png-usage-base64.html大家可能注意到了,网页上有些图片的src或css背景图片的url后面跟了一大串字符,比如: 1234567 background-image:url(data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAAkCAYAAABIdFAMAAAAGXRFWH

2020-05-27 13:35:15

javascript ast语法树之变量声明VariableDeclaration

目录结构1: VariableDeclaration 的基本结构1.1: declarations 基本说明1.1.1: declarations 下 VariableDeclarator 基本说明1.1.1.1: VariableDeclarator 下的init 详细说明 1、 js 在线ast 演示,结构非常清晰:https://astexplorer.net/ 2、declarations 基本说明:​1.type 说明节点的类...

2020-05-26 14:45:15

Docker 日志的清理

在Docker的日常使用中,我们或许偶尔遇到下面这些情况: 12345678 $ docker-compose ps[27142] INTERNAL ERROR: cannot create temporary directory!$ df -hFilesystem Size Used Avail Use% Mounted ondevtmpfs 489M 132K 488M 1% /devtmpfs ...

2020-05-12 14:28:06

关于Connection aborted问题的解决方案(爬虫中遇到)

无意间发现的小反爬虫手段,在此记录一下错误类型在爬虫中报如下的错误:requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,))解决方法(1)随机切换User-Agent:user_agent_list = [ "Mozilla/5.0 (Windows NT 10.0; WOW6

2020-05-11 23:35:06

如何快速写一个爬虫代码

微信搜索“菜鸟童靴”,选择“关注公众号”我们一起开启Python进阶之旅!目标获取网页源码:以百度首页网址为例:https://www.baidu.com/使用工具:psotman如何操作呢:打开百度首页,选择chrome + F12抓包右键 +copy +选择copy as cURL (bash),复制好链接,打开postman,顺序点击import、 PasteRaw Text将复制好的链接,粘贴进去,点击...

2020-05-11 23:03:38

Python进阶之_repr_方法

repr_方法是Python类中的一个特殊方法,由于object类已经提供了该方法,而所有的Python类都是object类的子类,所以所有的Python对象,都具有_repr_方法class test: def __init__(self,name,age): self.age = age self.name = namet = test("Zh...

2020-05-10 21:51:53

Python进阶之atexit模块使用

微信搜索“菜鸟童靴”,选择“关注公众号”我们一起开启Python进阶之旅!如何让Python在退出时强制运行一段代码,说起这个需求,我们就不得不说Python atexit模块了:退出处理器 atexit 模块定义了清理函数的注册和反注册函数. 被注册的函数会在解释器正常终止时执行. atexit 会按照注册顺序的逆序执行; 如果你注册了 A, B 和 C, 那么在解释器终止时会依序执行 C, B, A.看完这段介绍,有点类似栈的原理,后进先出1、举个例子说明...

2020-05-10 19:41:47

GIT同时连接gitlab和github

很多时候,我们需要同时使用多个git来进行项目管理,比如说公司使用gitlab,而我们自己使用github,此时我们需要在一台电脑上同时管理自己的github上的项目和公司内部的gitlab上的项目,我们就需要配置多个秘钥。GIT使用参考文档:Git 基本操作Pro Git(中文版)1、生成秘钥公司的Gitlab生成一个SSH-Key# 在~/.ssh/目录会生成id-rsa_lab和id-rsa_lab.pub私钥和公钥。$ ssh-keygen -t rsa -C "...

2020-05-08 19:16:57

mitmproxy安装和使用方法总结

MitmProxy 介绍:支持 HTTP 和 HTTPS 的抓包程序,类似 Fiddler、Charles 的功能,只不过它是一个控制台的形式操作。 同时 MitmProxy 还有两个关联组件,一个是 MitmDump,它是 MitmProxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理。另一个是 MitmWeb,它是一个 Web 程序,通过...

2020-05-06 15:42:20

依托浏览器环境 js ,写文件

主要利用两个接口 Blob 和 URL.createObjectURL(blob)Blob 一个二进制文件的读写构造函数URL.createObjectURL(blob) 创建文件的引用function writeFile(fileName, content){ var a= document.createElement('a'); var blob = new Blo...

2020-05-06 15:32:52

js注入

  最近刚出了新闻,阿里四名网络安全部门员工利用网页漏洞写js脚本抢月饼,于是兴致来了,想了解一下这个js脚本到底怎么写,各种刷单各种抢枪抢又是怎么实现的。什么是javascript注入攻击?  1.每当接受用户输入的内容并重新显示这些内容时,网站就很容易遭受 JavaScript 注入攻击。让我们研究一个容易遭受 JavaScript 注入攻击的具体应用程序。假设已经创建了一个客户反馈网...

2020-05-04 21:42:30

(最新)dou音分享页面_signature,指定用户抓取其发布视频数据分析

声明:本文只作学习研究,禁止用于非法用途,否则后果自负,如有侵权,请告知删除,谢谢!练习网站平台:JXU1MjREJXU5NzYyJXU2NkI0JXU5NzMyJXU3Njg0JXU4RkQ4JXU0RTBEJXU2NjBFJXU2NjNFJXU0RTQ4抓取目标:这次要分析的如何抓取指定用户发布的视频开启分析之旅:首先在手机上分享出,我们要抓取的用户...

2020-05-02 15:34:14

Kafka 里面的信息是如何被消费的?

作为一个爬虫工程师,Kafka 对你而言就是一个消息队列,你只需要掌握如何向里面写入数据,以及如何读取数据就可以了。请谨记:使用 Kafka 很容易,但对 Kafka 集群进行搭建、维护与调优很麻烦。Kafka 集群需要有专人来维护,不要以为你能轻易胜任这个工作。”本文,以及接下来的几篇针对 Kafka 的文章,我们面向的对象都是爬虫工程师或者仅仅需要使用 Kafka 的读者。关于 ...

2020-04-27 18:05:06

反编译后的代码不全怎么办,教你一招分分钟解决

反编译工具bytecodeviewer场景:最近公司外包的一个项目,因为外包给的源码不全,所以没有办法,只能通过反编译工具进行解析。之前常用的gui编译工具。有如下问题,发现部分class的部分方法无法反编译过来。所以,这里推荐一款反编译工具bytecodeviewerhttps://github.com/Konloch/bytecode-viewer/releases直...

2020-04-23 14:27:46

面试官:消息中间件(kafka)如何实现每秒几十万的高并发写入?

“这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。1、页缓存技术 + 磁盘顺序...

2020-04-23 14:25:41

某音无水印短视频获取思路分享

原创菜鸟童靴菜鸟童靴1周前首先预告一下,文章末尾有彩蛋,好东西是需要分享的开门见山,甩出一批代码,先操练起来:importreimportrequestsdef get(share_url) -> dict: """ title、videos """ data = {} headers = { '...

2020-04-21 22:22:20

查看更多

勋章 我的勋章
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。