- 博客(62)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 hibernate内存泄漏_ConcurrentStatisticsImpl
背景:前段时间有个在线的系统(压力比较大),发现每隔一段时间就会出现系统有警报，如1000条请求就有几条是read time out.跟踪问题首先看下发现CPU,服务器内存，硬盘等信息都还OK， 然后查看下jvm的进程健康情况: jstat -gcutil <进程号> [root@ZN-YSTJQ-06 ~]# jstat -gcutil 99251 200...
2018-03-14 13:10:43
2160
原创 linux服务器被攻击,网络卡顿
今天我们收到了这个警告,同时服务器网络很卡，用SSH连接都会经常断，ping也时断时续， bsd-port/getty流量 一直往外发
2017-12-06 10:55:51
2168
原创 kafka设置外网消费者
kafka 的默认配置比较简单，但想把其端口暴露给外网（指定端口），则有一些额外的注意情况 kafka 的版本，0.8和0.10 的配置不同，这里以0.10.0.0 为主, 没有用集群，一台机做测试zookeeper安装与启动kafka 的安装包里自带有zookeeper,不过这里还是自行下载. 这里采用3.4.8版本 下载及安装请参考 http://zookeeper.ap...
2017-06-22 14:40:37
22435
5
原创 mysql的Too many connections错误重现实验
mysql有不少的变量，状态，和查询信息，简单查看下这些语句的场景，这里尝试用外部进程去访问mysql。通过查看mysql的各种数据，进一步了解mysql.
2017-02-19 18:17:08
802
原创 java,jvm分析工具
项目开发过程中，java 的内存和性能 可能由于业务开发时的一些不规范或没留意 而引起问题，这时候，jvm的查看工具就非常有必要了!本章介绍部分工具用到留存分析的时候，可以有以下几种:linux上的工具http://blog.csdn.net/mingover/article/details/55048905 * 查看内存,cpu等： top,free.. 当遇到ja...
2017-02-14 21:39:50
985
原创 chrome 上传文件控件，选择文件时会延迟近10s
chrome 上传文件 控件，点击的时候会延迟近10S的时间！！！！！但是在ff和ie上是正常的，情况如下:http://blog.csdn.net/hc1104/article/details/53547258 这边的情况和上面是一样的，但是把accept换成.zip,.apk，还是会有问题。。。（网上都是只针对图片,所以没有问题）由于我是要上传zip和apk的，网上的限制成图片的方法解决不了.
2017-02-13 10:28:19
2955
原创 flask的安装与使用
D:\work\netease\projects\flask_first说明最近的项目需要用到flask，貌似3年前用过，不过很久没搞了以前java web比较熟。这里做个简单的入门记录官网:http://docs.jinkan.org/docs/flask/下载与安装pip install flask建议用virtualenv一个例子from flask import Fl...
2019-09-14 17:20:31
381
原创 scrapy获取数据的一些问题与解决
前言我们采用scrapy 爬取了一些游戏数据，这里对遇到的一些技术问题 的解决情况项目情况爬虫的逻辑是比较简单的，有一个进程从 任务队列中 拿到 相应的任务(一般是url),去请求，拿到html/json/…后 进行解析,解析完后自己选择做什么，比如:1,把解析后的数据存起来,2,解析后发现有想用的url,重新把这些个url当作一个任务扔到 任务队列中.我们的爬虫任务有挺多的，如 游戏的i...
2019-09-06 16:32:34
1283
原创 设计模式-责任链模式
背景说明最近要搞一个简单的监测web心跳的逻辑，但我希望能做成通用点的，设计想法是这样的：做一个配置，里面填weburl,还有各种校验模块,校验模块会有多种，如httpstatus的校验，返回数据的code校验，也可能会有去查数据库的校验，甚至去调另一个接口确认其状态的校验！流程开始时即，有一个定时器,去拿配置，发现配置里有weburl及其校验模块，然后 对校验模块的列表 进行循环处理。...
2019-04-24 15:37:08
382
原创 利用mybatis-plus自动生成代码
关于代码生成器的说明我们在开发mybatis时，涉及到xml,和bean,mapper等的书写，copy改，花的时间多且会有Bug,考虑到这些代码都是机械式的，用生成的方式比较靠谱mybatis官方推荐有了相应的生成工具org.mybatis.generator,以maven插件的形式生成,会生成很多的example类,也比较方便.不过这篇要讲的是mybatis-plus的生成一些资料M...
2019-03-16 16:10:14
15365
3
原创 scrapy源码分析_初始化及settings
Crawler的初始化及动作下面是按启动顺序的逻辑,0,关于execute动作最先是把settings给加进来.site-packages\scrapy\cmdline.py中的 settings = get_project_settings() 这里首先会取site-packages\scrapy\settings\default_settings.py中的配置,然后取项目的setti...
2018-12-30 11:31:18
1072
原创 管理后台(guns的获取与修改)
背景最近有个小项目，需要一个管理后台，以前的由于技术层太旧了而且其它依赖比较多，不想带过来，于是想趁着新项目，试一下一些开源的业务框架.后台管理系统相关介绍与guns的说明jeecg,jeesite以前经常听到，去下载来看了，发现jeecg设计的过于自动了，都不太清楚怎么开发新的业务jeesite还不错，有明显暴露的web编写，其界面和使用体验也真不错，不过其表要按其标准来设计.而且底层代...
2018-12-19 11:03:33
5640
2
原创 docker创建image与Dockerfile一些规则
container 和 image 的关系image 类比为 类,container 类比为对象我们运行container(对象)中并去修改相应的变量等,一些操作如下:docker container ls -a交互运行container(即可进入这个container,进行操作!)docker run -it centos列出imagedocker images列出contain...
2018-12-08 17:52:34
2636
1
原创 docker的安装与使用
文档与安装基本安装 官方的文档走就行了,本文罗列一些简单步骤https://docs.docker.com/install/linux/docker-ce/ubuntu/#prerequisites1,安装 前如果之前有安装 则删除sudo apt-get remove docker docker-engine docker.io2,查看自己的是哪个版本，官网会有不同的命令sudo ...
2018-12-07 21:03:27
298
原创 爬虫架构简述
项目情况最近做了一个爬虫系统，使用scrapy 作为核心，用kafka作队列，然后加上 java的消费者，还有其它周边服务，形成一个架构，这里进行一个简单的整理基础结构考虑到数据的扩展性和互联网的不确认性，考虑使用 nosql来存储大部分业务数据，同时为了更好的处理文字搜索, 于是决定使用elasticsearch + mysql的方式来处理.然后，我们考虑了底层服务，这涉及到数据获取，解...
2018-10-26 11:28:30
2687
原创 jest连接AWS版本的es
Caused by: com.amazonaws.AmazonClientException: Unable to load AWS credentials from any provider in the chainAWS_ACCESS_KEY_ID
2018-10-09 16:36:01
1006
原创 es中springboot的两种连接方式
使用客户端调用es服务的两种方式有两种方式,一种 是9200端口或叫rest 接口，另一种是用 节点的9300端口或叫 TransportClient说明es的官网中https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-api.htmlWe plan on deprecating the T...
2018-10-04 23:37:52
16800
1
原创 es的数据迁移批量脚本
有大约几种迁移方式snapshotreindexlogstashelasticsearch-dumpelasticsearch-migrationElasticsearch-Exporter上面的方式中 snapshot 和reindex 是es自带, snapshot适合数据量比较大logstash 直接是工具传输, 和reindex一样，只能传数据不传mappingdump...
2018-09-19 11:10:48
3722
原创 mybatis分页pageHelper的源码查看
mybatis在springboot的集成集成springboot很简单，直接用 boot的starter即可，<dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifa...
2018-09-06 16:32:13
1191
原创 logstach的使用
安装logstachhttps://www.elastic.co/downloads/logstash 直接下载后解压即可,注意选好版本号!! 虽然logstach是可以独立运行，但一般是和 es对应的，所以版本需要选择和es一样的，免得后面出现奇怪的问题! 不需要配环境变量什么的.wget https://artifacts.elastic.co/downloads/logstash...
2018-08-27 15:11:15
1068
原创 scrapy集成scrapy-redis
背景情况爬虫由于需要网络请求，一般生产数据都比较慢，如果增加部分浏览器的处理，会更慢, 所以需要增加分布式的处理方案， 比较常见的，是把队列扔到redis中，比较常用的是 scrapy-redis 说明，这里不讲怎么去搭建一个spider,初始内容，请查看 https://blog.csdn.net/mingover/article/details/80717974怎么...
2018-08-08 19:22:44
816
原创 scrapy管理多个spider,共用settings问题
背景说明这段时间需要用到scrapy来获取一些数据，其中涉及到多个任务，之间对scrapy不太熟悉，于是一个任务一个scrapy，感觉对复用方面很不友好，于是我们在想，怎么在一个scrapy project中搞多个spider, 这样对各方面的复用会好很多.系统使用了redis,和kafka,代理逻辑, 还有散落在很多代码里的log 一般这种抽象，我会采用策略模式来做，同时兼顾单例，根据fl...
2018-07-20 11:29:05
6370
1
原创 用scrapyd部署scrapy项目
介绍与安装 scrapydscrapyd是一个服务器，类似于nginx,tomcat,会暴露web接口 ， 我们的scrapy爬虫类似作为一个webapp部署进来,然后通过webapi进行开启关闭等操作安装:pip install scrapyd我们部署的前提是自己已经有一个scrapy工程了,具体可参考:https://blog.csdn.net/mingover/articl...
2018-07-10 22:46:51
2567
原创 scrapy_demo获取网站信息
前段时间项目使用了scrapy,这里做个简单的demo,使用scrapy抓取下安居客的内容, 关于怎么搭建scrapy的工程，请查看https://blog.csdn.net/mingover/article/details/80717974全部源代码:https://github.com/huawumingguo/scrapy_demo分析安居客页面是否要登陆?我们...
2018-07-07 14:33:43
645
原创 使用scrapy进行页面抓取
安装python3略 关于虚拟环境的搭建,安装 virtualenv pip install virtualenv virtualenv 不管是在py2还是py3都可以安装新建到当前目录的虚拟环境virtualenv scrapytest 可以进入目录 里面有目录 ，怎么进入和退出这个虚拟环境？到Scripts 目录下 activate.bat...
2018-06-17 12:49:32
1744
原创 JDK动态代理
代理的概念. 代理类和实现类，都会实现同样的接口. 但是，动态代理有点不同，即，此代理类不是显式的，而是动态的，具体来讲，这个proxy是后续生成的。 要实现动态代理，就要生成一个新的类，这种方式并不常规， 我主要知道的动态的代理实现有： 1, AspectJ，这是在编译过程中新增的类，且使用的是需要第三方编译工具. 2,JDK动态代理 这篇文章是介绍jdk动态代理来.JDK动...
2018-05-21 23:46:42
143
原创 innodb锁的几个实验(一)
排它锁，共享锁的相关实验.需要用到的语句.SET FOREIGN_KEY_CHECKS=0;-- ------------------------------ Table structure for picture-- ----------------------------DROP TABLE IF EXISTS `picture`;CREATE TABLE `pict...
2018-05-15 09:22:45
952
原创 spring,getBean的源码分析
准备材料pom.xml只有两个依赖<!-- https://mvnrepository.com/artifact/org.springframework/spring-core --><dependency><groupId>org.springframework</groupId><artifactId>spring-co...
2018-04-12 18:43:55
697
原创 mycat源码分析select
搭建源码环境请先按下面这个说明 把mycat处理起来， http://blog.csdn.net/mingover/article/details/78846853下载源码， 覆盖下面三个文件 Mycat-Server\src\main\resources\server.xml Mycat-Server\src\main\resources\rules.xml Mycat-Ser...
2018-04-11 21:20:57
1587
原创 java多线程操作
线程，公共资源，监视器等在并发操作时是要特别注意的，除了使用线程安全的类，还需要多了解线程的操作线程中断interrupt操作说明在执行线程过程中，突然被stop 是非常危险的行为，很可能会导致数据操作的异步， 所以停线程，使用以下几个操作来控制.public void interrupt()public boolean isInterrupted()public...
2018-02-25 17:09:33
265
原创 idea相关配置
个人感觉idea 的体验比eclipse还是要好， 也有不少项目由于历史原因用着 eclipse ，也挺好， 留存个idea的相关内容，多个选择。一些常见配置ctrl + shift + a 命令 “showline” 显示行号 命令 “keymap” 选择用eclipse 的默认配置 命令 “show quick documentation on mou
2018-01-29 20:00:19
365
原创 elasticsearch安装中文分词(ik)与添加自定义词库
es的分词对中文不友好，要中文分词器插件，安装ik服务 (记得改好版本号)./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.5/elasticsearch-analysis-ik-5.6.5.zip安装及文件，请参考
2018-01-25 20:36:40
9216
原创 mysql千万数据表管理界面
这段时间，系统一步步走来，用户数据由原来的上百万到现在的几千万，除了前台接口做了很多改变，管理界面的修改也不少，数据量上来后，一个小的需求可能就涉及到大量的改造。这里介绍下管理界面时候的查询改变。服务介绍：A表现在业务分，一张2000W，一张几百万, 还有一张1000W的用户表,更新操作较多，数据库服务器，32G内存，16核，centos,mysql5.7分布查询coun...
2018-01-21 11:37:28
780
原创 mysql查询均有索引但速度慢问题排查
近来有个一情况非常奇怪 查询limit 10 竟然非常慢，而且都where中的两个字段和order by 的一个字段都有索引， 这个表有1200W的数据，update比较多,但压力还OK，profiles 查看使用的时间profile 能查看到 执行中的时间长短SET profiling = 1;select t.* from t_user t where 1=1
2018-01-15 16:33:25
11662
4
原创 elastic search安装配置与使用
有个数据库表有点大，而且有多条件查询，于是决定使用es来缓解查询等需求,正好重新整理下安装过程.下载与安装官网直接下载 版本使用是5.6，现在最新版本是6更改配置如果你不是本机装，就要改下ip 的配置,否则其它机器访问不了: vi config/elasticsearch.yml 以下配置改成 0.0.0.0 network.host: 0.0.0.0启动与
2018-01-14 21:57:11
574
原创 mongodb+java实现日志的日活与月活查询
业务介绍前段时间有个日志统计的需求，是规范的登陆日志，估计一个月有几十万，放入hadoop太麻烦了，放数据库又怕后续数据量增加较快，于是尝试用mongodb来存储，后续进行统计。 mongodb是采用3.4, 2017年12月最新的是3.6
2017-12-18 14:55:15
3138
原创 word的宏_vba统一设置表格宽度
近来需要编辑一个文档，其中有一个问题，就是把表格都设置为100宽,因为表格很多，处理很麻烦，于是就打算学下vba,把表格处理好. 把内容存下来用于后续参考。宏的简单操作宏一个实用操作就是 录用-> 执行, 比如，设置ctrl+shift+b 就自动 插入一个只有一列的表格，具体可参考： https://jingyan.baidu.com/article/ea24bc39ba09dcda62b3
2017-12-05 11:35:09
13623
1
原创 大表数据加索引,加字段
这段时间发现一个800W的用户表 查询非常慢,用了orderby ,排序的字段是string的，虽然也加了索引，但效果不理想。由于之前的经验，一张5000W的表，orderby 一个timestamp 字段，只要加了 tree 索引，分页10条的速度也是非常快的，于是决定对这张800W表的 timestamp加索引。但这个表正在运行，有大量的更新，在这个过程停掉服务去处理非常冒险，而且服务是分布式的
2017-11-20 23:54:56
3191
1
ibatis简单使用的想法
2013-07-01
几百万日志的相关统计分析
2017-12-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人