- 博客(118)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 app
新闻类app参数整理：appname params cases update_date ChinaNews sign B3A57C67822CD428A1483FAEFA59E862 2021年1月28日 ChinaNews token eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJleHQiOiIxNjExODI4Mzc5MDAyIiwiY191c2VyX2lkIjoiIn0.BGlgXsBooOm9SUI-i.
2021-01-28 17:38:00
239
原创 apt update error
备份源 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 修改源。
2023-03-23 15:43:15
165
原创 处理ubuntu pyenv 切换环境，无法切换pip问题
问题： 在使用pyenv管理python环境时，遇到pyenv切换完环境以后,pip 还是使用系统或者其他版本pip,导致安装依赖有问题。然后将下面命令添加到 ～/.bash_profile中， 然后执行source ~/.bash_profile。根据参考1： 设置环境变量，发现每次都需要source 应用一下。
2023-02-21 17:04:25
285
原创 python3 lxml 解析xml 避坑指南
因为接触解析xml工作比较少， 所以在解析中遇到了很多的问题， 希望通过这边文章记录并分享，本篇文章仅供参考，欢迎大家给予建议。上面两种方式是无法同时使用xpath解析出来即包含命名空间的标签和不包含命名空间的标签。lxml是一个非常强大的解析库，支持解析多种格式数据。比较常见的是html和xml.
2022-12-14 15:15:03
832
原创 pyenv fails with : ModuleNotFoundError: No module named ‘_ctypes‘ error
ModuleNotFoundError: No module named '_ctypes'
2022-09-02 14:38:35
555
原创 python3 日期解析问题
# -*- coding:utf-8 -*-"""FaceBook 发布时间解析规则"""import reimport timeimport dateparserfrom loguru import loggerimport tracebackprint('hello world')hour = r'\d{1,2}'minute = r'\d{1,2}'period = r'AM|PM|'month = ( r"Jan(?:uary)?|" r"Feb(?:.
2022-03-11 16:43:40
514
原创 Ubuntu python3.9.7 安装 psycopg2 报错
解决方案1：Ubuntu:sudo apt-get install libpq-dev python3-dev执行完命令后会重启Fedora/Centos:yum install -y postgresql10yum install postgresql-libs python3-devel postgresql-develyum install gcc解决方案2： pip install psycopg2-binary参考:https://www.j.
2022-01-27 17:21:16
1900
原创 linux ubuntu python3.7 pip3 install jsonpath 报错
下载jsonpath ，gz的包：https://pypi.org/project/jsonpath/#files压缩文件名.tar.gz解压后，cd文件 ->./configure -> make -> make install 或者 python setup.py install如果是python3 的可以python3 setup.py install解决jsonpath安装不上的问题wgethttp://www.ultimate.com/phil/python...
2022-01-20 15:00:29
2487
1
原创 VideoDownload
最近看了一些视频下载相关的项目，如you-get等， 小有所得。希望大家可以多交流学习，给出一定建议。项目地址如下：https://github.com/CGpythoner/VideoDownload
2022-01-07 10:57:36
1232
原创 记录PutDatabaseRecord 字段自动去下划线问题
示例：字段：user_id ERROR: column "userid" does not exist Call getNextException to see other errors in the batch点击PutDatabaseRecord，鼠标右键点击config;进入properties 找打 Translate Field Names 选择False即可；参考：NIFI里你用过PutDatabaseRecord嘛？ - 云+社区 - 腾讯云...
2021-12-29 16:08:23
491
原创 macbook pyenv 安装 python3.6.8 报错
else if(0 == _NSGetExecutablePath(execpath, &nsexeclength) && execpath[0] == SEP) { ^~~~~~~~~~~~~/Library/Developer/CommandLineTools/SDKs/MacOSX.sdk/usr/include/mach-o/dyld.h:98:54: note: pa...
2021-08-23 23:03:16
1122
原创 将java 的byte[ ] 字节数组转换为python3的字节
逆向app遇到很多AES, DES加密。 需要将加密的算法用python进行还原。
2021-05-21 14:23:32
1922
原创 Nexus6p Fart 刷机整理
因为脱壳一筹莫展的时候， 看到了Fart框架， 目前可以解决大多数加固的问题。1.准备工作1.1 Nexus 6p 手机 (基带版本 angler)1.2 下载 Fart源码 ， 目前提供的 系带版本为angler的有8.0版本，以及8.1.0版本。 将下载好的的Fart源码解压。2. 开始刷机2.1 首先在命令行输入 adbadb reboot bootloader2.2 进入到解压包中 运行 flash-all.bat文件（windows）2.3 系统会显示...
2021-05-07 16:29:12
1515
转载 国产加密算法：SM4 python3版本
# -*- coding:utf-8 -*-from gmssl.sm4 import CryptSM4, SM4_ENCRYPT, SM4_DECRYPTimport binasciifrom heapq import heappush, heappopfrom collections import OrderedDictimport timeimport requestsclass MY_SM4: ''' 国密sm4加解密 ''' def __i.
2020-11-02 17:31:50
3156
7
原创 Youtube 评论数
youtube评论数单独走评论接口，无法从静态页面中直接获取。使用selenium获取非常耗时好资源。1. 经过分析评论数中请求中的许多参数都在youtube的静态页面中，只需要将其匹配出来就可以了。具体匹配如下： def get_comment(self, data_page): ''' 请求参数： # itemSectionRenderer : ctoken / continuation # XSRF_TOKEN : ses
2020-10-13 15:16:54
886
转载 APP加固反调试（Anti-debugging）技术点汇总 （转载）
0x00 时间相关反调试通过计算某部分代码的执行时间差来判断是否被调试，在Linux内核下可以通过time、gettimeofday，或者直接通过sys call来获取当前时间。另外，还可以通过自定义SIGALRM信号来判断程序运行是否超时。0x01 检测关键文件（1）/proc/pid/status、/proc/pid/task/pid/status在调试状态下，Linux内核会向某些文件写入一些进程状态的信息，比如向/proc/pid/status或/proc/pid/task/pid/
2020-10-09 16:56:57
1046
原创 scrapy_redis 中间件 实现参数加密
spider.py# -*- coding: utf-8 -*-import scrapyimport reimport hashlibimport jsonfrom urllib import parsefrom renminribao.items import RenminribaoItemfrom scrapy_redis.spiders import RedisCrawlSpiderclass RenminribaoSpiderSpider(RedisCrawlSpider
2020-09-08 18:20:56
250
原创 正则整理
# 正则IP地址匹配pattern = re.compile("(1\d{2}|2[0-4]\d|25[0-5]|\d{2})\.(1\d{2}|2[0-4]\d|25[0-5]|\d{2})\.(1\d{2}|2[0-4]\d|25[0-5]|\d{2})\.(1\d{2}|2[0-4]\d|25[0-5]|\d{2})")# 正则电话号码匹配pattern = re.compile("1[3-8]\d{9}")# 正则匹配日期：s = '2020-9-4'pattern = re.co.
2020-09-04 14:49:03
115
原创 xposed 获取通知栏消息
通过xposed hook 类 android.app.NotificationManager 中的 notify 函数来获取消息通知栏的消息。package com.example.hook_notificationmanager;import android.app.Notification;import android.os.Build;import android.os.Bundle;import java.lang.reflect.Method;import java.ut..
2020-09-02 16:35:52
836
2
原创 Python3 实现程序运行状态的监听
# -*- coding:utf-8 -*-import threadingimport psutilimport osimport time'''通过 threading.Thread.is_active 判断线程是否退出。此方法可以用来对程序进行监听，当程序出现异常退出，重启程序。'''class MyThread(threading.Thread): def __init__(self, threadID, name, func, param=None): .
2020-09-01 13:48:17
1787
原创 andrioid Hook 之 frida 安装
由于无法绕过Xposed框架检测，所以选择学习frida方法寻找突破口。安装frida pip install frida-tools安裝过程中会卡住一阵，等待一会就好了。安装成功提示：frida版本是 12.11.0在网站中找到对应的版本的frida-server你需要找到 frida-server-12.11.0-<system>-<version>.xz，其中 system 是指你手机的系统，比如Android、IOS，没错，fr...
2020-07-20 14:44:06
209
转载 android hook之 xposed检测
注意：原文中第3个方法“检测并不应该native的native方法”没有实现。检测代码如下：import java.io.BufferedReader;import java.io.FileReader;import java.util.HashSet;import java.util.List;import java.util.Set;import android.content.Context;import android.content.pm.ApplicationInfo;.
2020-07-15 18:07:15
1255
原创 **反编译整理**
1. 反编译工具 1.1 Apktool 获取apk中的反汇编代码及资源文件 反编译apk 文件的命令为： apktool d[ecode] [OPTS] <file.apk> [<dir>] 编译apk文件的命令为： apktool b[uild] [OPTS] [<app_path>] [<out_file>] 1.2 enjaify / dex2jar(不推荐 长时间没..
2020-07-15 11:42:09
470
原创 docker mitmproxy整理
docker mitmproxy 安装： docker pull mitmproxy/mitmproxy docker 运行mitmproxy 容器命令： 启动mitmproxy 并将证书路径挂在到容器中: docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy 启动mitmdump docker run.
2020-06-28 10:33:25
1371
2
原创 Android xposed Hook 初探01
参考资料https://blog.csdn.net/qq_42229759/article/details/103066214https://blog.csdn.net/xingkong_hdc/article/details/82531505?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromB...
2020-04-21 18:30:37
405
原创 window 安装mysql免安装整理
1. 下载window 环境下的mysql免安装zip包，并解压到本地。然后以管理员身份打开cmd，并进入到存储mysql文件的目录下：1.cd进入到mysql文件夹的bin目录下：2. 然后在cmd中输入：msyqld --initialize-insecure 进行初始化3. 在cmd 中输入： mysqld --install 进行安装4. 在cmd 中输入： n...
2020-03-28 10:50:49
101
原创 使用 scrollTop 判断是否下滑到底 出错原因（scrollTop 获取到的数据是小数）
近日有一个寻求需要判断是否已经下滑到底代码如下：is_next_flag = 1;var inner_scroll= document.getElementsByClassName("ReactVirtualized__Grid _1zmk")[0];var ele = document.getElementsByClassName("ReactVirtualized__Grid _...
2020-02-27 14:14:48
3021
2
原创 selenium 去掉 webdriver 属性方法
针对selenium的webdriver 属性， 去除webdriver属性如下：self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.definePrope...
2020-02-26 10:02:39
1925
4
原创 控制元素滑入可视区域
selenium 控制元素滑入可视区域:js = 'arguments[0].scrollIntoView()' # 默认是ture 页面发送滚动，使element的顶部与视图(容器)顶部对齐 js = 'arguments[0].scrollIntoView(false)' # 使element的底部与视图(容器)底部对齐move_element = self.driver.fin...
2020-02-19 17:49:57
492
转载 docker 微服务 查看 日志
首先介绍下，我们为什么要去查看日志，在微服务中，我们所开发的项目 ，每个模块都是一个微服务，这是对微服务最基本的理解， 当我们的程序在运行过程中报错时，我们不光可以在前台页面对你的代码进行调试，更直观的方法就是去你的微服务下查看日志 分析报错原因 并迅速找到解决办法，提高开发效率 ，接下来我要介绍的就是 怎么通过命令 去查看所对应的微服务日志1.首先 我们要先进入对应docker目录下d...
2020-01-10 13:54:55
2494
原创 python3 selenium Chromedriver 添加cookies
很多网站需要先模拟登录然后才能获取到数据，爬取数据是不能每次都登录一遍，通常情况下网站对于登录接口会有检测，也会限制频率，当到达一定频率以后就会出现验证码，或者第二登录页(第二种登录页面（元素定位发生改变)的情况。通常的做法是指定一个周期进行登录，并将登录后的cookie进行保存，获取数据时，将cookie加入到请求中。下面是为chromedriver添加cookie的常用做法： ...
2019-12-23 14:13:32
2868
转载 Mitmproxy 配置二级代理
做爬虫时常遇到需要切换代理的情况，mitmproxy 对python有很好的支持，可以通过python脚本自定义二级代理的代理方式。第一步 命令行启用upstream模式注： 只有在一开始启动了upstream 模式， 后续才可以进行定制化跳转mitmdump --mode upstream:http://defaule-upstream-proxy.local:8080/ -s ....
2019-12-23 10:06:50
2959
原创 Docker swarm 集群搭建
15. Docker swarm 创建集群15.1需要环境：VMware 2. Centos 7 3. Docker首先创建一个虚拟机，系统为Centos 715.2 Centos 7 安装docker 和 swarm yum install docker 安装docker 命令docker pull swarm 安装swarm15.3 克隆镜像...
2019-10-18 15:29:10
200
原创 VMware Centos 中无网络链接
1. 问题描述： 启动Centos7 后发现网络无连接 于是准备重启network服务， service network restart重新启动network 失败根据提示：输入了命令行 systemctl status network.service后经查询发现：原因1： 在启动的网络配置未见/etc/sysconfig/network-scripts/ifc...
2019-10-18 11:11:39
200
原创 Docker centos7 安装 Nodejs
7.1 首先 获取centos7 镜像： docker search centos7.2 选择版本（官方），拉取镜像docker pull centos:77.3 进入到centos7 容器中（启动centos7）docker run -t -i centos:7 /bin/bash7.4 为centos 安装 wgetyum install wget7.5...
2019-10-09 17:44:06
1805
转载 chromedriver(selenium)以手机模拟器方式打开wap页面
直接指定UserAgent 错误！# self.options.add_argument('user-agent="Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) 正确方式：mobile_emulation = {"deviceMetrics": {"width": 360...
2019-09-23 11:51:13
1669
转载 Genymotion 各对应版本
安卓版本 代号 Genymotion-ARM-Translation GApps8.0 – 8.1 Oreo奥利奥 ARM_Translation_Oreo.zip 7.0 – 7.1.2 Nougat牛轧糖 6.0 – 6.0.1 Marshmallow棉花糖 ARM_Translation_Marshmallow.zip...
2019-09-19 09:28:30
1587
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人