5 半吊子Py全栈工程师

尚未进行身份认证

失败的人只有一种,就是在成功之前放弃的人。

等级
TA的排名 1w+

大众点评 与 美团 与饿了么

好久没有写博客了~~ 自从换了工作就一直忙 一直忙~~ 现在腾出点时间,记录一下最近遇到的一些问题最近主要写了 大众点评 美团 和饿了么的一些东西 ,这里不纠结具体细节,只说一下遇到的各种坑1.大众点评: 在3个中 我觉得难度最低吧,最坑的一点是ip验证,一个ip只有通过了验证码 才能访问一些东西,但是这个可以通过其它接口绕过,然后不用登陆账号 通过h5 / 小程序 接口,能获取到...

2019-05-20 18:18:24

appium 多开

最近跑一个app 使用的是appium,单开太慢了~,就想多开,结果遇到一个问题,最后解决了,这里记录一下! self.desired_caps = { "platformName": PLATFROM, "deviceName": DEVIE_NAME, "udid":UDID, ...

2019-03-26 13:48:55

IT IS *NOT* POSSIBLE TO DETECT AND BLOCK CHROME HEADLESS

转载 地址https://intoli-dot-com.ext.jsproxy.tk/blog/not-possible-to-block-chrome-headless/(直接使用浏览器只带的翻译了)几个月前,我写了一篇名为Making Chrome Headless Untetectable的热门文章回应了一个名为Detecting Chrome Headless的文章作者:Antio...

2019-03-11 18:37:32

一行代码解决 window.navigator.webdrive 的问题

fromselenium.webdriverimportChromefromselenium.webdriverimportChromeOptionsoption=ChromeOptions()option.add_experimental_option('excludeSwitches',['enable-automation'])driver=Chrome(o...

2019-03-11 16:52:34

携程机票查询

比较简单,直接放代码,代码仅供学习。import requests, re, json, time, randomcity_listed = {"阿勒泰": "AAT", "兴义": "ACX", "百色": "AEB", "阿克苏": "AKU", "鞍山": "AOG", "安庆&quo

2019-03-08 18:14:44

拼多多 anti_content 解密

当前时间:2019/3/414:44:57最近有些时间里,时不时听到拼多多市值多少啦,买东西怎么了啊,被赞羊毛了啊!然后就想花了一天半来分析拼多多的前端js这里我使用的接口是http://mobile.yangkeduo.com手机网页端,其中主要的js代码就是截图中的search_result.js(我这里使用的是关键字搜索商品)在请求的过程中有2个需要注意的...

2019-03-04 17:57:22

java 图片相似度算法

转载自:https://www.sunjs.com/article/detail/24dd9a9e436e489185430c4c45034d69.html利用直方图原理实现图像内容相似度比较、均值哈希实现图像内容相似度比较、汉明距离算法实现图像内容相似度比较直方图原理实现图像内容相似度比较算法:importjavax.imageio.*;importjava.awt.i...

2019-02-28 14:49:44

Java 操作 Excel

备份一份!转载着:https://blog.csdn.net/jianggujin/article/details/80200400 之前写过一篇《JAVA操作Excel》,介绍了jxl和poi读写Excel的实现,今天为大家介绍一下使用easyexcel对Excel进行读写,项目主页地址:https://github.com/alibaba/easyexcel作者对easyexc...

2019-02-18 17:59:55

【Fiddler为所欲为第二篇】像OD一样调试

 转载自 https://www.52pojie.cn/thread-854434-1-1.html导语:其实Fiddler隐藏的功能太多太多,其调试功能也是异常强大,可以说是抓包界的“OllyDbg”并不为过。接下来,教大家如何使用Fiddler进行调试、解析,甚至封包“逆向”! 一、像OD一样定制菜单    1.1定制rule菜单的子菜单    // 定义名为52pj的子菜...

2019-01-31 15:17:18

Fiddler大解析!抱歉,抓包抓得好真的可以为所欲为(一)

转载自  https://www.52pojie.cn/thread-854434-1-1.html 狂暴补师亚丝娜说起抓包,很多人以为就是用个工具,简简单单地抓一下就可以了。昨天在面试一个安卓逆向,直接告诉我【抓包没有技术含量】。在这里,我必须发一个教程,解析一下抓包神器——Fiddler。Fiddler仅仅是一个抓包工具?不好意思,Fiddler用得好,真的可以为所欲为。Fiddler的作...

2019-01-31 15:12:49

中国商标网 -爬虫

    最近有时间,找了一些比较麻烦的网站来练手,然后想起来以前说要弄商标网的,今天就又上去看了下!    以前转载的链接:商标局网请收下我的膝盖    上去查看了下,感觉怎么参数这么明显了!!!???   应该是取消了很多爬虫限制!    然后模拟请求的试了下,请求成功,成功获取到数值!  使用的接口是:http://sbgg.sai...

2019-01-24 18:39:22

行政区---高德坐标系的获取

        最近研究了 一下美团外卖,需要获取某些地区下的所有外卖信息, 解决了获取数据的难题,但是美团限制,一个地点只能获取200个商家,如果想要获取全城的外卖信息,就需要使用不同的坐标来遍历一遍,在去重~~        百度了一下 美团使用的是高德坐标系,网上找了一下,发现有这样一个接口https://lbs.amap.com/api/javascript-api/example/d...

2019-01-23 13:50:57

记:当爬虫无路可走的时候

最近帮一朋友"了解" http://app1.sfda.gov.cn 食药局 这个网站下的一些数据,首先 一上来就正按照之前的正常操作:        第一条路:分析js找到加密参数是如何生成的,然后发现debug 模式被ban了,调试半天不知道如何解除debug限制!好了,debug 模式开不了,就别想分析js是怎么运行的了,于是这条路gg。        第二条路:使用seleni...

2019-01-22 17:22:49

python 操作 excel 文件

官方 地址 :http://www.python-excel.org/使用xlsxwriter (只能写 不能读取)来进行写成.xlsx文件可以使用xlrd 写成 xls 文件简单 demo 如下:import xlsxwriter, csv# 创建excel 对象workbook = xlsxwriter.Workbook('Expenses03.xlsx')...

2019-01-16 14:45:18

JAVA 实现MD5加密

package crawl;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;public class CreateMD5 { public static String getMD5(String st) throws NoSuchAlgorithmException{ ...

2019-01-09 16:39:23

一张流程图简化安卓动态调试步奏

  1.不应该在AndroidManifest.xml中添加android:debuggable="true",app一旦加固了,会检测自己有没有被修改!一旦发现被修改,就打不开或报错!推荐修改系统中ro.debuggable这个属性值,ro.debuggable=1,网上有工具mprop可以直接修改。转载至冥界3大法王...

2018-12-19 16:16:34

appium + 真机 获取微信公众号 信息

2018.11.30昨天简单获取了一下微信朋友圈,算是对appium 又回顾了一遍,今天爬一波微信公众号,改天研究一下微信app的加密直接上代码:import timefrom lxml import etreefrom appium import webdriverfrom selenium.webdriver.common.by import Byfrom seleniu...

2018-11-30 18:45:07

appium 之爬取微信朋友圈

2018.11.30号我的相关工具:appiumdesktopv1.9.1 虚拟机夜神模拟器v6.2.2.7 1.相关看了一下 网络开发爬虫实战这本书里面appium相关内容后写的importtimefromappiumimportwebdriverfromselenium.webdriver.common.byimportByfromselen...

2018-11-30 10:45:16

xpath etree 异常

在windows 下,获得服务器端返回的json数据,然后在json数据中取出 html ,结果使用xpath 解析,结果异常最后发现是windows 系统中 将/ 解析成\/ 产生的异常只需要进行html.replace("\\/","/")就行...

2018-11-26 15:59:09

CSV 文件 写入引号 和 换行

问题:需要在csv文件中写入双引号和换行解决,在需要写双引号的地方在加一个双引号进行转义,这一格的数据是必须用双引号括起来的,参考文档:https://tools.ietf.org/html/rfc4180...

2018-11-09 18:48:50

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 蓝花
    蓝花
    子板块内专家分月排名榜第三