wersonliu-CSDN博客

原创抖音网页直播弹幕 protobuf 推导

抖音直播间弹幕响应一直是protobuf直接搜索关键词 protobuf再搜索响应中出现的关键字，看到很多映射再搜索映射到的关键词，出现的webcast.im 跟弹幕接口一样继续搜索o = new l.webcast.im. 看到很多类似结构，基本就可以断定了以这个Response 结构为例直接对着写出这个结构有人可能会问了，repeated map 是什么意思呢？问得好，除了网页中明确给出字段类型的，比如图中的mess...

2021-08-13 17:28:30 10083 17

原创 python + mongodb的常用操作

日常工作中常用的mongo操作 import reimport pymongocon = pymongo.MongoClient(host='192.168.4.139', port=27017)db = con['amazon_cookie']col = db['follow_cookie']def select_condition(cond): """...

2019-09-28 11:57:01 193

原创 centos7 安装谷歌浏览器，配置selenium 环境

在根目录，执行cd etc/yum.repos.dvim google-chrome.repo 输入以下：[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https...

2019-08-05 16:06:59 676

转载【转载】docker 部署django

由于我的博客部署使用的是 docker-compose 所以，这篇文章作为博客容器化部署的前提文章来介绍一下我安装 docker 和 docker-compose 的方式，有需求的人可以参考一下。安装docker我使用的 Linux 系统是 Ubuntu 16.04，所以这篇文章里面所有的操作都是基于这个版本的系统来安装的，如果是其他的系统版本，可以去查看其他的安装软件的方式，建议直接参考...

2019-03-13 16:14:11 3941

原创基于nodejs,express,mongoose的分页查询

之前大致看了nodejs，express文档，就想实现个功能熟悉下，当然是curd入手在查询这一块，在尽量少写代码的情况下，如何在不确定用户参数时，给到相应的数据。网上没找到我想要的方案。数据库连接var mogoose = require('mongoose');var url = 'mongodb://localhost:27017/spider_data';mogoo...

2018-12-13 16:45:29 3255 2

原创把两个dataframe数据写到同一张excel表的不同sheet

def save_execl1(df1, df2, file_path): u""" :param df1: :param df2: dataframe格式数据 :param file_path: 想写入的文件路径 :return: """ writer = pd.ExcelWriter(file_path, engine='openpy...

2018-07-05 09:02:41 2019

原创 scrapy爬虫pipline 代码，储存为MongoDB

item转为字典存入mongodb 只需要在setting中给出MongoDB的url和库名就可以用class WeibMongoPipline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_d...

2018-05-02 08:42:13 555

转载廖雪峰git教程

GIT 的小操作 1.文件已修改，未add到暂存区:git checkout -- file可还原文件已修改，并add到暂存区未commit：git read HEAD filegit checkout -- file可还原 2.建立分之，切换分支git checkout -b devSwitched to branch 'dev' 3.合并分支，合并后可以删除分支g...

2018-04-27 12:46:33 315

原创 sql常见字符串查询语句

#左右截取指定长度查询 =>beijingSELECT LEFT('beijing2008',7),RIGHT('beijing2008',4)# 字符串连接查询,与null连接都为null =>aavvvbSELECT CONCAT('aa','vvvb')#位置插入查询 =>beijmeng2008youSELECT INSERT('beijing2008you',5,1,'...

2018-04-15 22:23:40 3952

原创 http协议的一些知识点(图解http摘取)

常见请求方法方法描述GET请求页面，并返回页面内容HEAD类似于GET请求，只不过返回的响应中没有具体的内容，用于获取报头POST大多用于提交表单或上传文件，数据包含在请求体中PUT从客户端向服务器传送的数据取代指定文档中的内容DELETE请求服务器删除指定的页面CONNECT把服务器当作跳板，让服务器代替客户端访问其他网页OPTIONS允许客户端查看服务器的性能TRACE回显服务器收到的请求，主...

2018-04-10 10:12:03 217

wersonliu