2 考古学家lx

尚未进行身份认证

我要认证

[ 笃信仁厚 , 慎思勤勉 ]

等级
TA的排名 4k+

mongodb优化

查询优化 : 字段优化、加入索引库名: lx创建索引:db.lx.createIndex(keys, options) Keys 为你要创建的索引字段,1 为指定按升序创建索引,如果你想按降序来创建索引指定为 -1 即可。查询创建是否成功:db.lx.getIndexes()删除索引:db.lx.dropIndexes()MongoDB连接内存优化和连接数优化mongodb每个连接数占用10M内存。可以使用 db.serverStatus().connections 查看连接数.

2020-07-14 11:50:47

抖音评论协议

接口名类型链接视频评论接口posthttps://aweme.snssdk.com/aweme/v1/comment/publish/?''' post_comment '''def post_comment(aweme_id,keyword): """ :aweme_id: 视频id :param keyword: 评论内容 :return: json """ url = 'https://aweme.snssdk.co...

2020-07-22 16:44:15

1688官网以图搜图爬虫案例

阿里1688图片搜索爬虫案例图片上传接口sign生成接口数据详情接口代码部分网址 :https://www.1688.com/在1688.com 使用程序完成图片上传功能。图片上传接口post请求,form表单中有signature签名sign生成接口全局搜素找一下signature,发现了一个返回signature的接口。接口链接: https://open-s.1688.com/openservice/ossDataService这个接口也有一个变动的参数 appKey

2020-07-18 13:58:28

模拟1688(跨境产品开发工具)滑块验证码案例

模拟阿里1688(跨境产品开发工具以图搜图)滑块验证码的案例演示:网址如下,需要登陆后才能使用以图搜图的功能:https://kj.1688.com/pdt_tongkuan.html?spm=a262gg.9720235.j6h9wmfu.4485.33241c9bNmbQIu查看接口,普通的get请求,headers中也没有什么过分的参数,要注意一下Gzip,可以把他注释掉,否则response返回的是压缩后的数据,还需要使用gzip.decompress来解压。大概提交了30次左右会出

2020-07-18 01:38:57

抖音xgorgon(0401)

下载完apk之后,使用AK反编译,可能需要升级apktools到2.3.4,然后在 androidkill\bin\apktool\apktool 下执行语句, 清除framework java -jar .\ShakaApktool.jar empty-framework-dir在工程搜索中全局搜索 x-gorgon,并打开查看localHashMap.put(“X-Gorgon”, com.ss.a.b.a.c(com.ss.sys.ces.a.leviathan(i, com.ss.a

2020-07-16 17:17:06

抖音综合榜单数据爬虫案例

偶然在抖音创作平台中看到了一系列的排行榜,如热搜榜、热门视频榜、娱乐明星榜、音乐榜等等。网页链接: https://creator.douyin.com/billboard/home 登陆后可见数据榜单接口接口名类型链接热搜榜单Gethttps://creator.douyin.com/aweme/v1/creator/data/billboard/?billboard_type=1热点上升榜Gethttps://creator.douyin.com/aweme

2020-07-02 14:03:51

抖音分享页面signature

nonce 是 uid, 可以为None.sec_uid 是用户对应的ID: “MS4wLjABAAAAshzXgVS8HqF8PomFlCATZjkjC48Az0d8tk28RXRgrbA”查询 _bytedAcrawler 。可以发现 webpack_require 函数定义了一个可以在浏览器中执行的加载函数,来模拟Node.js中的require语句。...

2020-07-01 08:47:21

Java爬虫框架WebMagic

WebMagic的架构设计参照了Scrapy,而实现则应用了HttpClient、Jsoup等Java成熟的工具。WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成:Downloader : 下载器PageProcessor: 页面解析器Scheduler: 任务分配、url去重Pipeline:数据存储、处理WebMagic数据流转的对象:Request : 一个Request对应一个URL地址 。它是是Page

2020-06-10 15:28:44

当我遇到钓鱼网站

发现钓鱼网站我平时会刷一会儿微博,看看当前热门数据。前天的时候在热门微博里看到了一则广告 <6月幸运召唤师抽奖> ,身为一个从s3开始入手的老玩家,没有丝毫犹豫直接从链接点了进去。身为程序员的我,近些年也算是浏览大千网站,打开网页的第一时间就感觉有些不对。经过确认,该网站为钓鱼网站,直接从微博像官方账号进行了反馈,也在12321进行了网站举报。并没有这么简单然而今天洽过午饭之后,打开微博发现事情并没有这么简单,该网站还是钓到了很多人微博的超链接标签看不到详细的url,所以很多使用

2020-06-08 14:52:42

Java文件操作

Java文件操作文件写入读取文件内容删除文件文件内容拷贝文件追加数据创建临时文件修改文件的修改日期获取文件修改时间获取文件大小文件重命名设置文件只读检测文件是否存在File类创建文件文件写入使用 BufferedWriter类的 write() 方法向文件写入内容。BufferedWriter:将文本写入字符输出流,缓冲各个字符,从而提供单个字符、数组和字符串的高效写入。import java.io.*;class Text { public static void main(Strin

2020-06-05 11:47:19

Java时间处理

Java时间处理格式化时间获取当前年份月份等时间戳转日期格式日期格式转时间戳格式化时间使用 SimpleDateFormat 类的 format(date) 方法来格式化时间import java.text.SimpleDateFormat;import java.util.Date;public class Test{ public static void main(String[] args){ Date date = new Date(); Syst

2020-06-04 16:06:05

Java数组

Java数组数组排序及元素位置查找数组添加元素获取多维数组长度数组反转数组获取最大值和最小值数组合并数组填充数组扩容查找数组中的重复元素删除数组元素判断数组是否相等数组查找指定元素数组的差集数组的交集数组的并集数组排序及元素位置查找使用sort()方法对Java数组进行排序使用 binarySearch() 方法来查找数组中的元素的位置。(Arrays.binarySearch方法使用前,需要对数组排序,才能定位值插入位置,因为binarySearch采用二分搜索法)import java.ut

2020-06-04 15:48:48

Java字符串操作

java字符串操作字符串替换字符串切片字符串查找字符串分割字符串反转字符串比较首字母的ASCII差值查找字符串最后一次出现的位置字符串小写转大写判断两个字符串区域是否相等字符串格式化字符串替换字符串函数 replace() 函数来替换单个字符。replaceFirst() 替换第一个的regex匹配项,replaceAll()替换所有的regex匹配项,String的replaceAll跟replaceFirst使用了正则表达式!public class Test{ public stat

2020-06-04 11:50:59

Java关键字和相关疑问总结

Java 关键字类别关键字说明访问控制private私有的protected受保护的public公共的default默认类、方法和变量修饰符abstract声明抽象extends扩充,继承final最终值,不可改变的implements实现(接口)interface接口native本地,原生方法(非 Java 实现)new新,创建static静态strictfp

2020-06-02 17:36:45

今日头条as-cp-sign值生成

今日头条用户文章列表页的as—cp-sign的生成规则和模拟方法。本文内容不可用于商业用途,仅做学习交流。https://www.toutiao.com/c/user/104246645773/#mid=1610946690248711AS-CP比较简单。找到之后copy出来就行。Sign值相对复杂一点,先找到 byted_acrawler 后,来追一下sign方法。经过调试,会发现byted_acrawler走到了 https://sf1-ttcdn-tos.pstatp.com/obj/

2020-05-29 18:30:17

Ubuntu18.04 mongodb 安装到使用

一、安装1. 更新sudo apt-get update2. 安装sudo apt-get install -y mongodb3. 创建配置文件:创建并打开service文件sudo vim /etc/systemd/system/mongdb.service写入下面的命令并保存。[Unit]Description=High-performance, schema-free document-oriented databaseAfter=network.target[Servi

2020-05-27 14:58:20

Asyncpy使用文档 Demo

Asyncpy使用文档1 创建项目2 发送get和post请求2.1 使用start_urls发送GET请求2.2 使用start_requests发送POST请求3 自定义请求头3.1 settings中设置请求头3.2 在middlewares中添加请求头3.3 添加代理IP4 修改并发延时重试等配置4.1 修改settings中的配置4.2 修改指定爬虫文件的配置5 生成日志文件5.1 修改settings配置5.2 多个爬虫指定日志文件6 解析response提取数据6.1 response.tex

2020-05-24 23:33:23

Asyncpy协程爬虫框架

Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。github: https://github.com/lixi5338619/asyncpypypi: https://pypi.org/project/asyncpy/安装需要的环境python版本需要 >=3.6依赖包: [ ‘lxml’, ‘parsel’,‘docopt’, ‘aiohttp’]如果安装报错:ERROR:

2020-05-21 16:03:33

优酷评论sign值生成方法

优酷评论爬虫之前抓取的是页面数据,没有具体去看评论接口的参数,昨天发现优酷web版上面的评论模块没了(我猜是要更新评论数据的加载策略,之前页面加载太慢了)然后我就开始调试接口的sign参数,走接口拿数据。这篇文章说下优酷评论sign的生成方法。[具体过程不做太多介绍,文章末尾放代码]一个电视剧的链接:https://v.youku.com/v_show/id_XNDIyMjY5NDcyMA==.html评论数据的接口:接口 :https://p.comments.youku.com/yc

2020-05-13 14:34:12

抖音APP接口分析

抖音搜索接口接口名类型链接抖音搜索接口posthttps://aweme-hl.snssdk.com/aweme/v1/challenge/search/?query string parameters 参数:(链接上的附加参数)params = {'update_version_code': '9802', 'aid': '1128', ...

2020-05-08 16:44:44

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到王者
    签到王者
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证(专家版)
    技术圈认证(专家版)
    博客专家完成年度认证,即可获得
  • 精彩红人
    精彩红人
    发布高质量Blink获得高赞和评论,进入精彩栏目即可获得
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 博客之星-入围
    博客之星-入围
    授予每年博客之星评选结果第21-200名的用户
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 分享精英
    分享精英
    成功上传11个资源即可获取