- 博客(58)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 网易新闻app自媒体号信息爬取
目的：对网易新闻app进行自媒体号进行数据采集工具： fiddler4，IDEA前置技能点：Java基础，基本语法，文件操作，Date类应用，maven的配置等fiddler抓包生产者 消费者模型的Java实现Java httpclient包的基本运用JSONObject类的运用流程：1. 用fiddler对网易新闻app进行抓包研究（此处最为复杂，...
2018-10-09 21:21:56
3015
原创 抓取MySQL数据包，初步认识MySQL 通信协议
抓取MySQL数据包，初步认识MySQL 通信协议版本：5.1这篇文章算是填上之前的坑通信协议初步认识（结合数据包）1.整体数据包分布：结合： 很明显最上方的三个tcp包就是典型的三次握手了，接下来三个mysql数据包，就是握手认证阶段的mysql数据包了一.握手认证阶段握手认证阶段为客户端与服务器建立连接后进行，交互过程如下： 服务器 -> 客户...
2018-08-31 14:26:47
2950
2
转载 python单元测试之unittest框架使用总结（mark）
python单元测试之unittest框架使用总结 2017年07月13日 18:...
2018-08-29 14:42:56
3589
原创 MySql 插入大量数据时报错Error Code:1153 Got a packet bigger than 'max_allowed_packet' bytes（采坑，mark）
今天用SQLYog执行数据插入命令，一共几万多条记录吧，导入数据库时提示：Error Code:1153 Got a packet bigger than ‘max_allowed_packet’ bytes错误提示。 开始没注意，提示一大堆，后来才看见这句 使用SQLyog工具导出MySQL数据时，当数据量大时，导出不会错误，但导入时会出现错误。如果将SQL单独执行会发现是Error C...
2018-08-28 16:07:54
1019
原创 JetBrains PyCharm 2018.2.1 x64 远程调试配置
JetBrains PyCharm 2018.2.1 x64 远程调试配置远程部署配置1、打开PyCharm 工具， 点击 Tools -> Deployment -> configuration，如下图： 2、在新窗口添加远程服务器，在左上角点击 + 号，如下图： Name： 定义名字，如 Linux-Python36 Type：多个选项，推荐选择SFTP ...
2018-08-20 13:33:14
1496
原创 docker搭建python环境并打包镜像（快捷但不规范操作）
sudo docker pull ubuntu进入ubuntu容器交互系统: -t 是启动终端 -i是允许进行交互 这时候敲python命令会发现没有pythonsudo docker run -i -t ubuntu /bin/bash因为纯净的Ubuntu下没有Python环境，所以需要安装Python ubuntu下安装python（和一般安装步骤一样）:sudo...
2018-08-15 17:44:12
3281
原创 一致性哈希算法
参考： 什么是一致性Hash算法 几种经典的hash算法和一般的取模，分段方法相比一致性hash的优势传统的取模方式例如10条数据，3个节点，如果按照取模的方式，那就是node a: 0,3,6,9node b: 1,4,7node c: 2,5,8当增加一个节点的时候，数据分布就变更为node a:0,4,8node b:1,5,9node c: ...
2018-08-10 09:13:30
599
原创 docker在Ubuntu17.04 环境搭建
Ubuntu17.04和Ubuntu16的搭建步骤其实一样1.换个安装源： 2.按照官网的顺序，依次输入官网提供的命令，官网地址 命令如下： 使用 APT 安装 由于 apt 源使用 HTTPS 以确保软件下载过程中不被篡改。因此，我们首先需要添加使用 HTTPS 传输的软件包以及 CA 证书。$ sudo apt-get update$ sudo apt-get in...
2018-08-08 17:22:46
396
转载 docker（mark）
最初的2小时，你会爱上Docker，对原理和使用流程有个最基本的理解，避免满世界无头苍蝇式找资料。本人反对暴风骤雨式多管齐下狂轰滥炸的学习方式，提倡迭代学习法，就是先知道怎么玩，有个感性认识，再深入学习高级用法，深层原理，一轮轮迭代。坚决反对一上来就搞几百页厚的东西把人脑子...
2018-08-02 13:48:16
266
原创 深入理解 Java 序列化
什么是序列化 Java是面向对象的编程语言，有时需要保存对象，并在下次使用时可以顺利还原该对象。由于这种需求很常见，所以Java API对此提供了支持，添加相关程序代码到标准类库中，并将保存和还原的过程称之为“对象序列化”。序列化的用途 序列化主要有三个用途：1.对象持久化（persistence） 对象持久化是指延长对象的存在时间。通常状况下，当程序结束时，程序中的对...
2018-07-23 17:48:53
724
原创 Java 线程池
package ThreadPool;import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.ThreadPoolExecutor;import java.util.concurrent.TimeUnit;/** * 线程池 */public class ThreadPool{ ...
2018-07-19 11:39:08
244
转载 深入分析Java synchronized的实现原理(mark)
记得刚刚开始学习Java的时候，一遇到多线程情况就是synchronized，相对于当时的我们来说synchronized是这么的神奇而又强大，那个时候我们赋予它一个名字“同步”，也成为了我们解决多线程情况的百试不爽的良药。但是，随着我们学习的进行我们知道synchronized是一个重量级锁，相对于Lock，它会显得...
2018-07-19 09:58:38
272
原创 HttpClient引起的java.net.BindException: Address already in use: connect问题
最近利用httpclient写爬虫时遇到java.net.BindException: Address already in use: connect仔细检查后发现，自己在利用httpclient的一个静态方法中直接new new HttpClient();并在使用完毕后关闭 这就导致每发出一个http请求都会新建一个httpclient，占用一个端口，在多线程中高速重复调用该方法，就会导...
2018-07-18 16:14:27
7856
转载 maven工程读取resource资源文件（踩到了这个坑）
网上有问答如下：问： new FileInputStream(“src/main/resources/all.properties”) new FileInputStream(“./src/main/resources/all.properties”) 上面两个无法读...
2018-07-18 13:28:15
8546
转载 log4j 用法，mark一下（经常忘）
一、入门实例1.新建一个JAva工程，导入包log4j-1.2.17.jar，整个工程最终目录如下2、src同级创建并设置log4j.properties ### 设置###log4j.rootLogger = debug,stdout,D,E### 输出信息到控制抬 ###...
2018-07-18 09:26:40
321
原创 Java中对gb2312字符集的遍历
最近写爬虫需要利用被爬取app的搜索引擎，然后就想到了利用常用的汉字作为搜索关键词然而，去那去找这些常用的汉字表呢？此时很自然的就想到了gb2312字符集然后，就是怎样遍历字符集的问题了先从我们熟悉的ASCII字符集下手，其实Java没有c/c++那么自由，所以Java的遍历和c/c++还是有一点区别的 //对ASCII字符集遍历 try {...
2018-07-17 13:05:23
1038
原创 生产者，消费者问题Java实现
利用BlockingQueue实现生产者消费者问题消费者package thread;import java.util.concurrent.BlockingQueue;public class Consumer implements Runnable{ BlockingQueue<String> queue; public Consumer(B...
2018-07-14 15:23:16
342
原创 数据库连接开销在哪？
最近面腾讯-阅文时遇到这样一个问题…… Q:为什么要用数据库连接池？ A:因为新建一个和数据库的连接的开销很大。 Q:那为什么连接的开销很大呢？或者是说，新建数据库连接的开销主要在那些方面呢？ A：emmm…….书上这么说（我去去去去去。。。。。完全没想到过这个问题啊。。。） Q:你可以从内存，系统调用，socket连接考虑 A:(Orz……当时只想到了系统调用的开销) ………....
2018-06-22 21:37:02
1753
原创 Java 各种溢出测试
Java 各种溢出测试前置知识点：Java内存组成 注意上图：蓝色为所有线程共享的数据区，紫色为线程的私有区。1）程序计数器：在计算机组成结构这门课里面，我们就学到CPU里面有个PC寄存器，这个寄存器主要指CPU当前运行的指令。 在这里，其实也是一样的，对于每一个线程，都有一个PCR，用来记录程序在当前线程执行的位置。当线程阻塞后然后再重新运行，就可以在PC记录的位...
2018-06-15 18:01:24
1392
原创 关系数据库（MySQL）与NoSQL(Redis) 性能比较
对MySQL进行查询的代码import java.sql.*;public class MySQLTime{ public static void main(String[] args) { try { Class.forName("com.mysql.jdbc.Driver"); Conn...
2018-06-10 19:27:37
2927
原创 深入理解Arrays.sort(）
深入理解Java 中的Arrays.sort(）方法Java的Arrays类中有一个sort()方法，该方法是Arrays类的静态方法，在需要对数组进行排序时，非常的好用。但是sort()的参数有好几种，基本上是大同小异，下面是以int型数组为例的Arrays.sort(）的典型用法import java.util.Arrays;import java.util.Comparato...
2018-06-10 16:37:14
62066
8
原创 有趣的SQL注入——JDBC使用预处理的重要性
SQL注入——以最最基本的身份验证为例我们一般用如下SQL来进行身份验证SELECT username FROM 对应用户表 WHERE username LIKE 输入的用户名 AND password LIKE 输入的密码一般情况下，用户名与密码不匹配时无法通过滴 氮素，当恶意用户，利用sql注入的手段。。。。。不光可以通过验证，甚至还可以给你删库跑路走人例如 恶意用...
2018-06-08 15:49:15
973
原创 Java 深入理解hashcode（）方法——Boolean
Java 深入理解hashcode（）方法——Boolean环境：jdk1.8 public static void main(String []args) { Boolean b2=true; Boolean b3=false; System.out.println("ture的hash值："+b2.hashCode()...
2018-05-29 22:10:00
1930
原创 leetcode 94. 二叉树的中序遍历（Java 二叉树中序非递归遍历）
leetcode 94. 二叉树的中序遍历（Java 二叉树中序非递归遍历）很久没写算法，一个水题竟然写了好久class TreeNode{ int val; TreeNode left; TreeNode right; TreeNode(int x) { val = x; }}/** * 二叉树非递归中序遍历...
2018-05-04 16:19:35
1193
原创 布隆过滤器（Java实现）
布隆过滤器布隆过滤器是可以用于判断一个元素是不是在一个集合里，并且相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。 优点：占用空间小，查询快 缺点：有误判，删除困难具体原理：链接简单易懂的描述： 布隆过滤器。其实现方法就是：利用内存中一个长度为M的位数组B并初始化里面的所有位都为0，如下面的表格所示：0 0 0 0 0 0 0 0 ...
2018-05-02 13:53:02
815
原创 软件开发的十三种文档（mark）
详细版本链接1.可行性分析报告： 说明该软件开发项目的实现在技术上、经济上和社会因素上的可行性，评述为了合理地达到开发目标可供选择的各种可能实施方案，说明并论证所选定实施方案的理由。 2.项目开发计划： 为软件项目实施方案制订出具体计划，应该包括各部分工作的负责人员、开发的进度、开发经费的预算、所需的硬件及软件资源等。 3.软件需求说明书（软件规格说明书，系统测试需要...
2018-04-28 10:10:13
1187
原创 leetcode 32. 最长有效括号
leetcode T32 最长有效括号题目地址思路:通过栈来解决class Solution {public: int longestValidParentheses(string s) { stack<int> myStack; int max = 0; int t; for (in...
2018-04-20 20:57:55
329
原创 最长回文子串
leetcode 5.最长回文子串头一次拿Java写算法题经典的马拉车算法class Solution{ public String longestPalindrome(String s) { //每个空位插入#,以排除对奇偶性的判断 StringBuffer buffer = new StringBuffer(); ...
2018-04-11 15:53:37
266
原创 windows下基于TCP协议的大文件传输程序
目标（1）大文件的传输。对于比较大的文件，应该进行分包操作，以防止占用过多的内存，导致文件发送 失败，实验中每次最多传输1024个字符； （2）用户根据参数输入选择传输的文件和传输位置； （3）发送端和接收端分别显示文件传输相应的信息，包括：对方IP地址，当前已写（读）文件长度等； （4）对于Ctrl+C命令以及服务器提前关闭的特殊情况给出响应（如：显示信息）...
2018-04-11 15:33:24
2313
2
原创 hibernate You have an error in your SQL syntax 错误
hibernate You have an error in your SQL syntax 错误原因：用了MySQL关键字作为字段名例如将group。。。作为了字段名我保证。。。数据库老师没有讲过这个mark一下...
2018-04-09 14:30:50
378
原创 Java ee网上文档管理
目的：设计模拟“网上文稿管理“Web应用。实现文稿分级授权审核，文稿分类组织。对文稿具有添加、编辑、审核、删除和恢复等操作源代码在：https://download.csdn.net/download/github_38838414/103205661、 实验环境Windows10，IntelliJ IDEA 2017.3.4 ，Java EE 9.0.4，Tomcat v8.0，MySQL 2...
2018-03-31 09:48:11
474
原创 旅行青蛙破解汉化教程——蹭个热度
汉化破解版资源（无尽三叶草与点券）：https://github.com/wisdombyzf/lxqw/blob/master/lxqw_zf.apk截图：破解方法：工具：1，APKIDEhttps://www.pd521.com/thread-818-1-2.html2，dnspyhttps://down.52pojie.
2018-01-26 14:41:45
3542
原创 MIPS架构的cpu设计仿真（武汉大学）——5
版本3.0实现了对add,sub,addi等算术运算指令和sw，lw等访存指令的支持此处待截图。。。。。。。。。。。。。
2018-01-25 10:39:25
921
原创 MIPS架构的cpu设计仿真（武汉大学）——4
版本2.0实现了对ori,or,andi,and等逻辑运算指令和sll，srl移位指令的支持。实现了寄存器前半个周期写，后半个周期读的功能实现了ex_ex,ex_mem旁路反思：1，不该定义那么多宏的。。。。。。。。。。。。。比如刚开始还真的仿照书本定义了rst_enable，rst_disable，write_enable，read
2018-01-24 19:34:15
4543
原创 MIPS架构的cpu设计仿真（武汉大学）——3
该cpu设计仿真采用增量模型。从最简单的一条指令的流水线开始然后一步步增加功能，添加支持的指令条数，解决指令间的冒险预计最低会做到支持{add，sub，ori，lw，sw，beq，j }指令的五级流水线版本1.0实现了一个原始的支持ori指令的五级流水线例如如下指令：ori $1 $s0 0x0013 #将0号寄存器的值与0x0013进行或操作，结果储存在一号寄
2018-01-22 15:53:31
2644
1
原创 MIPS架构的cpu设计仿真（武汉大学）——2
verilog掌握：语法和C语言类似，看看，不用几个小时就可以了。modelsim的简单使用：1，新建工程文件New>>project2，确定工程名以及library名3，然后创建文件或是导入已存在的文件（为了后面的仿真演示，所以我这里就直接导入了写好的一个在取址模块4，导入文件5,然后编译文件（选择全部编译）6，进入library工作页，点击编译好
2018-01-21 11:32:42
2216
kmeams及svm算法（含数据及实验报告）
2018-04-27
openGL_c++复刻我的世界游戏
2018-04-19
Java ee网上文档管理系统
2018-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人