7 爆米花机枪手

尚未进行身份认证

无知者无畏~

等级
博文 265
排名 4k+

Springboot快速教程---Docker搭建与整合Hbase

Hbase简介HBase是Hadoop的生态系统,是建立在Hadoop文件系统(HDFS)之上的分布式、面向列的数据库,通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候,请考虑使用HBase!HBase作为GoogleBigtable的开源实现,GoogleBigtable利用GFS作为其文件存储系统类似,则HBase利用HadoopHD...

2019-07-20 20:37:23

Springboot快速教程---Docker搭建与整合Kafka

最近在搭建一个简易的基于Flink的实时推荐系统中用到了kafka,就快速的整合了下并记录在此简介什么是KafkaApacheKafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。Kafka适合离线和在线消息消费。Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。Kafka构建在ZooKeeper同步服务...

2019-07-18 20:17:38

Logstash 简易教程

建议在使用logstash之前先想清楚自己的需求是什么,从哪种数据源同步到哪里,需要经过怎么样的处理。因为logstash版本迭代较快,每个版本的插件都有点区别,比如filter中的http插件在6.6版本以后才有;output到现在(7.1)都没有jdbc的插件,然而你如果想使用output的jdbc插件就需要自己去安装热心人自己写的插件(logstash-output-jdbc),不幸的是,该...

2019-06-25 23:01:06

《深入理解JVM虚拟机》垃圾回收部分 读书笔记

自动内存管理机制Java内存区域与内存溢出异常运行时数据区域程序计数器“程序计数器(ProgramCounterRegister)是一块较小的内存空间,它可以看作是当前线程所执行的字节码的行号指示器”“如果线程正在执行的是一个Java方法,这个计数器记录的是正在执行的虚拟机字节码指令的地址;如果正在执行的是Native方法,这个计数器值则为空(Undefined)“Java虚拟机栈...

2019-06-22 10:25:34

《Maven实战》 阅读笔记

无Maven不项目,这是我的口号,但是一直没有系统的去看书,前段时间把maven实战过来一遍做了些笔记,方便后面查阅每个项目都有自己的坐标groupIdartifactIdversionpackagingclassifierinstall安装在本地deploy打包发布到远端依赖范围范围类型有:编译、测试、运行三种classpathcompile,默认...

2019-06-16 16:13:10

Docker构建服务之部署和备份Jekyll网站

来自《第一本Docker书》,我觉得很有趣,就记录一下准备国内ubuntu镜像每次构建Ubuntu镜像然后安装软件的时候,都异常的卡,那是因为没有使用国内镜像,所以我事先准备了sources.list文件,一定要确定对应的ubuntu的版本号,我用的是18.04,内容如下visources.list输入以下内容debhttp://mirrors.aliyun.com/ubuntu/...

2019-01-21 16:19:45

使用Docker Swarm快速搭建与部署你的服务集群

初始化集群准备了对应的机器(两个虚拟机),基本信息如下IP主机名备注192.168.1.8ubuntu-1主192.168.1.5ubuntu-1从注意:最好保持每个节点的docker版本号为最新且是相同的在主节点(manager)上执行root@ubuntu:/home/wangxc#dockerswarminit--advertise...

2019-01-21 16:18:35

激动的2018,充满期待的2019

现在是2019年01月02日22:48:12,是时候该做一个年度总结了,回忆下2018年的过去,放眼2019年的未来!工作真的没有想到自己仍然在这家公司任职,中间遇到过同事的离职大潮,自己的纠结时分,但仍然咬了咬牙坚持了下来,原因当然是女朋友(现在的老婆)被我说服来深圳上班,还有就是公司给涨薪了,其实还有一点是后来与朋友的某次聊天,内容大概就是说“所有的工作都是坑,跳槽只不过是从这个坑跳到另外...

2019-01-03 22:44:28

使用docker“一键”启动jd(职位信息)的搜索(es)与统计(Kibana)

jd-search-4-docker三键启动所有服务MySQL+ELK+JD-Search-Api本来是想build成是三个个image,然后使用docker-compose一键启动的,但是做到后来遇到compose容器启动顺序的问题。虽说是按照顺序启动的,但是并不会等你启动完毕后再去启动另外一个容器,官方相关链接:https://docs.docker.com/compose/star...

2018-09-28 08:03:31

一次排查Java项目内存泄漏的过程

发现问题公司自己维护的服务三四个,有的服务还分多个节点,自己也有几个私人服务器,所以为了能实时知道各个服务器的情况,就使用ServerStatus做了个云探针,功能很简单,能实时的监控每个服务器的内存、cpu、硬盘、流量的使用情况,如下虽然只有几个指标,但是已经能让我全面的掌握各服务的性能,再搭配chrome插件iChrome,每天打开浏览器就能第一时间看到监控界面,我始终相信...

2018-08-17 15:04:25

用springboot+vw-crawler轻松抓取CSDN的文章

使用springboot+vw-crawler轻松抓取CSDN的文章有关VW-Cralwer的介绍可以看这里,简单轻便开源的一款Java爬虫框架。下面结合比较流行的框架SpringBoot抓取CSDN的数据(有关的Spingboot的使用可以参考这里)配置POM使用Springboot做架构,redis做数据存储,vw-crawler做爬虫模块,最终的pom如下<...

2018-07-22 11:19:34

一套简单的java爬虫框架VW-Crawler发布啦!!!

VW-Crawler背景自己一直对爬虫比较感兴趣,大学的毕业论文也是一个爬虫项目(爬教务处信息,然后做了个Android版教务管理系统,还获得了优秀毕业设计的称号),自那以后遇到自己感兴趣的网站就会去抓一下。前段时间工作上需要一些JD信息,我就从网上找了个开源的爬虫框架WebMagic,使用简单,易配置,功能也很强大,当然了也有些网站的数据不适合使用。前前后后写了不下十几个,慢慢的就想...

2018-07-19 22:17:10

发布自己的jar到Maven Repository公服上

前段时间自己写了一个简易的Java版爬虫框架。如果想把这个框架完善还是需要大家的力量,如果每次使用都要从Gihub上下载源码岂不是很麻烦?因为自己的项目用的是maven来管理jar包,那么就试试把这个爬虫框架放到公服仓库上去吧!注册Sonatype账号使用过Jira的用户就很熟悉了,事务与项目跟踪软件。注册好之后也可以用这个账号登陆maven公服仓库https://oss.sonatype...

2018-07-08 23:00:44

一张图带你理解和实现RabbitMQ的延迟队列功能

开头先熟悉下面会用到的一些名词~exchange:交换机routingkey:路由keyqueue:队列exchange和queue是需要绑定在一起的,然后消息发送到exchange再由exchange通过routingkey发送到对应的队列中。(不是这张图~~~)exchange分四种DefaultExchange这种是特殊的DirectEx...

2018-06-14 21:06:54

搭建spark on yarn 集群

两台用的都是ubuntuIP主机名192.168.22.137spark-master192.168.22.150spark-slave1更改主机名确定每个节点的主机名与它在集群中所处的位置相同如果不同,需要修改vi/etc/hostname重启生效可能需要些安装某些工具包更换sources源...

2018-05-03 17:46:24

学习Docker之使用docker-compose编配一整套服务

使用dockercompose可以一键完成“一整套”服务的搭建也可以完成服务集群化部署。 这两天在用python写一个爬虫,数据暂时保存在本地的mongodb数据库,到部署的时候,发现线上的服务器没有python环境和mongodb,这个时候立马就想到了Docker! 最初的思路就是run一个mongodb容器,然后再把爬虫程序构建为镜像并run起来。准备动手的时候突然脑海里闪过...

2018-04-14 11:08:40

通过shell脚本和企业微信实现报警功能(完整版)

最终效果如图(GIF太大了就截了两张图)#!/bin/shexpireTime=7200dbFile="db.json"corpid=xxxcorpsecret=xxxtouser="xxx"toparty="xxx"agentid="xxx"content="服务器快崩了,你还在这里吟诗作对?"#s为秒,m为分钟,h为小时,d为日数...

2018-03-18 00:14:18

通过shell脚本和企业微信实现实时报警功能

工作中,我们会有一些应用跑在线上服务器,那么这些应用出现问题,如内存、CPU超过阈值之后我们必须要在第一时间知道,第一时间处理这些问题,尽可能的让用户感受不到应用的异常。有的公司有运维人员,那么恭喜了,运维自己应该会有一套监控体系,作为开发者就可以专心的攻克业务逻辑;但是有的公司可能没有,那么应用的状态就需要我们开发者来监控了。关于监控,有发送邮件的、有搭建Zabbix的、也有通过企业...

2018-03-11 23:03:49

我的ElasticSearch使用笔记

最新的整理在这里https://github.com/vector4wang/elasticsearch-quick以下基于Elastic5.4版本部署这里使用Docker部署获取镜像dockerpullelasticsearch:5.4启动dockerrun-d-p9200:9200-p9100:9100elasticsearch:5.4...

2018-03-04 22:40:47

学习Docker之Dockerfile的命令

使用Dockerfile去构建镜像好比堆积木、使用pom去构建maven项目一样,有异曲同工之妙,下面就把Dockerfile中主要的命令介绍一下。组成部分部分命令基础镜像信息FROM维护者信息MAINTAINER镜像操作指令RUN、COPY、ADD、EXPOSE、WORKDIR、ONBUILD、USER、VOLUME等

2018-02-01 23:49:58
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。