3 github_38838414

尚未进行身份认证

暂无相关简介

等级
TA的排名 6w+

网易新闻app自媒体号信息爬取

目的:对网易新闻app进行自媒体号进行数据采集工具: fiddler4,IDEA前置技能点:Java基础,基本语法,文件操作,Date类应用,maven的配置等fiddler抓包生产者 消费者模型的Java实现Java httpclient包的基本运用JSONObject类的运用流程:1. 用fiddler对网易新闻app进行抓包研究(此处最为复杂,...

2018-10-09 21:21:56

抓取MySQL数据包,初步认识MySQL 通信协议

抓取MySQL数据包,初步认识MySQL 通信协议版本:5.1这篇文章算是填上之前的坑通信协议初步认识(结合数据包)1.整体数据包分布:结合: 很明显最上方的三个tcp包就是典型的三次握手了,接下来三个mysql数据包,就是握手认证阶段的mysql数据包了一.握手认证阶段握手认证阶段为客户端与服务器建立连接后进行,交互过程如下: 服务器 -> 客户...

2018-08-31 14:26:47

【Linux】Linux基本常用命令(mark)

2017年09月29日 22:35:27 阅读数:...

2018-08-29 17:12:25

python单元测试之unittest框架使用总结(mark)

python单元测试之unittest框架使用总结 2017年07月13日 18:...

2018-08-29 14:42:56

MySql 插入大量数据时报错Error Code:1153 Got a packet bigger than 'max_allowed_packet' bytes(采坑,mark)

今天用SQLYog执行数据插入命令,一共几万多条记录吧,导入数据库时提示:Error Code:1153 Got a packet bigger than ‘max_allowed_packet’ bytes错误提示。 开始没注意,提示一大堆,后来才看见这句 使用SQLyog工具导出MySQL数据时,当数据量大时,导出不会错误,但导入时会出现错误。如果将SQL单独执行会发现是Error C...

2018-08-28 16:07:54

mysql datetime 类型字段相减(采到坑了,mark)

mysql datetime 类型字段相减 ...

2018-08-23 09:10:04

JetBrains PyCharm 2018.2.1 x64 远程调试配置

JetBrains PyCharm 2018.2.1 x64 远程调试配置远程部署配置1、打开PyCharm 工具, 点击 Tools -> Deployment -> configuration,如下图: 2、在新窗口添加远程服务器,在左上角点击 + 号,如下图: Name: 定义名字,如 Linux-Python36 Type:多个选项,推荐选择SFTP ...

2018-08-20 13:33:14

docker搭建python环境并打包镜像(快捷但不规范操作)

sudo docker pull ubuntu进入ubuntu容器交互系统: -t 是启动终端 -i是允许进行交互 这时候敲python命令会发现没有pythonsudo docker run -i -t ubuntu /bin/bash因为纯净的Ubuntu下没有Python环境,所以需要安装Python ubuntu下安装python(和一般安装步骤一样):sudo...

2018-08-15 17:44:12

一致性哈希算法

参考: 什么是一致性Hash算法 几种经典的hash算法和一般的取模,分段方法相比一致性hash的优势传统的取模方式例如10条数据,3个节点,如果按照取模的方式,那就是node a: 0,3,6,9node b: 1,4,7node c: 2,5,8当增加一个节点的时候,数据分布就变更为node a:0,4,8node b:1,5,9node c: ...

2018-08-10 09:13:30

docker在Ubuntu17.04 环境搭建

Ubuntu17.04和Ubuntu16的搭建步骤其实一样1.换个安装源: 2.按照官网的顺序,依次输入官网提供的命令,官网地址 命令如下: 使用 APT 安装 由于 apt 源使用 HTTPS 以确保软件下载过程中不被篡改。因此,我们首先需要添加使用 HTTPS 传输的软件包以及 CA 证书。$ sudo apt-get update$ sudo apt-get in...

2018-08-08 17:22:46

docker(mark)

最初的2小时,你会爱上Docker,对原理和使用流程有个最基本的理解,避免满世界无头苍蝇式找资料。本人反对暴风骤雨式多管齐下狂轰滥炸的学习方式,提倡迭代学习法,就是先知道怎么玩,有个感性认识,再深入学习高级用法,深层原理,一轮轮迭代。坚决反对一上来就搞几百页厚的东西把人脑子...

2018-08-02 13:48:16

深入理解 Java 序列化

什么是序列化  Java是面向对象的编程语言,有时需要保存对象,并在下次使用时可以顺利还原该对象。由于这种需求很常见,所以Java API对此提供了支持,添加相关程序代码到标准类库中,并将保存和还原的过程称之为“对象序列化”。序列化的用途 序列化主要有三个用途:1.对象持久化(persistence)  对象持久化是指延长对象的存在时间。通常状况下,当程序结束时,程序中的对...

2018-07-23 17:48:53

Java 线程池

package ThreadPool;import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.ThreadPoolExecutor;import java.util.concurrent.TimeUnit;/** * 线程池 */public class ThreadPool{ ...

2018-07-19 11:39:08

深入分析Java synchronized的实现原理(mark)

记得刚刚开始学习Java的时候,一遇到多线程情况就是synchronized,相对于当时的我们来说synchronized是这么的神奇而又强大,那个时候我们赋予它一个名字“同步”,也成为了我们解决多线程情况的百试不爽的良药。但是,随着我们学习的进行我们知道synchronized是一个重量级锁,相对于Lock,它会显得...

2018-07-19 09:58:38

HttpClient引起的java.net.BindException: Address already in use: connect问题

最近利用httpclient写爬虫时遇到java.net.BindException: Address already in use: connect仔细检查后发现,自己在利用httpclient的一个静态方法中直接new new HttpClient();并在使用完毕后关闭 这就导致每发出一个http请求都会新建一个httpclient,占用一个端口,在多线程中高速重复调用该方法,就会导...

2018-07-18 16:14:27

maven工程读取resource资源文件(踩到了这个坑)

网上有问答如下:问:  newFileInputStream(“src/main/resources/all.properties”)  newFileInputStream(“./src/main/resources/all.properties”)  上面两个无法读...

2018-07-18 13:28:15

log4j 用法,mark一下(经常忘)

一、入门实例1.新建一个JAva工程,导入包log4j-1.2.17.jar,整个工程最终目录如下2、src同级创建并设置log4j.properties ### 设置###log4j.rootLogger = debug,stdout,D,E### 输出信息到控制抬 ###...

2018-07-18 09:26:40

Java中对gb2312字符集的遍历

最近写爬虫需要利用被爬取app的搜索引擎,然后就想到了利用常用的汉字作为搜索关键词然而,去那去找这些常用的汉字表呢?此时很自然的就想到了gb2312字符集然后,就是怎样遍历字符集的问题了先从我们熟悉的ASCII字符集下手,其实Java没有c/c++那么自由,所以Java的遍历和c/c++还是有一点区别的 //对ASCII字符集遍历 try {...

2018-07-17 13:05:23

生产者,消费者问题Java实现

利用BlockingQueue实现生产者消费者问题消费者package thread;import java.util.concurrent.BlockingQueue;public class Consumer implements Runnable{ BlockingQueue<String> queue; public Consumer(B...

2018-07-14 15:23:16

数据库连接开销在哪?

最近面腾讯-阅文时遇到这样一个问题…… Q:为什么要用数据库连接池? A:因为新建一个和数据库的连接的开销很大。 Q:那为什么连接的开销很大呢?或者是说,新建数据库连接的开销主要在那些方面呢? A:emmm…….书上这么说(我去去去去去。。。。。完全没想到过这个问题啊。。。) Q:你可以从内存,系统调用,socket连接考虑 A:(Orz……当时只想到了系统调用的开销) ………....

2018-06-22 21:37:02

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!