• 等级
  • 611199 访问
  • 225 原创
  • 33 转发
  • 4677 排名
  • 250 评论
  • 109 获赞

Docker构建服务之部署和备份Jekyll网站

来自《第一本Docker书》,我觉得很有趣,就记录一下准备国内ubuntu镜像每次构建Ubuntu镜像然后安装软件的时候,都异常的卡,那是因为没有使用国内镜像,所以我事先准备了sources.list文件,一定要确定对应的ubuntu的版本号,我用的是18.04,内容如下visources.list输入以下内容debhttp://mirrors.aliyun.com/ubuntu/...

2019-01-21 16:19:45

使用Docker Swarm快速搭建与部署你的服务集群

初始化集群准备了对应的机器(两个虚拟机),基本信息如下IP主机名备注192.168.1.8ubuntu-1主192.168.1.5ubuntu-1从注意:最好保持每个节点的docker版本号为最新且是相同的在主节点(manager)上执行root@ubuntu:/home/wangxc#dockerswarminit--advertise...

2019-01-21 16:18:35

激动的2018,充满期待的2019

现在是2019年01月02日22:48:12,是时候该做一个年度总结了,回忆下2018年的过去,放眼2019年的未来!工作真的没有想到自己仍然在这家公司任职,中间遇到过同事的离职大潮,自己的纠结时分,但仍然咬了咬牙坚持了下来,原因当然是女朋友(现在的老婆)被我说服来深圳上班,还有就是公司给涨薪了,其实还有一点是后来与朋友的某次聊天,内容大概就是说“所有的工作都是坑,跳槽只不过是从这个坑跳到另外...

2019-01-03 22:44:28

使用docker“一键”启动jd(职位信息)的搜索(es)与统计(Kibana)

jd-search-4-docker三键启动所有服务MySQL+ELK+JD-Search-Api本来是想build成是三个个image,然后使用docker-compose一键启动的,但是做到后来遇到compose容器启动顺序的问题。虽说是按照顺序启动的,但是并不会等你启动完毕后再去启动另外一个容器,官方相关链接:https://docs.docker.com/compose/star...

2018-09-28 08:03:31

一次排查Java项目内存泄漏的过程

发现问题公司自己维护的服务三四个,有的服务还分多个节点,自己也有几个私人服务器,所以为了能实时知道各个服务器的情况,就使用ServerStatus做了个云探针,功能很简单,能实时的监控每个服务器的内存、cpu、硬盘、流量的使用情况,如下虽然只有几个指标,但是已经能让我全面的掌握各服务的性能,再搭配chrome插件iChrome,每天打开浏览器就能第一时间看到监控界面,我始终相信...

2018-08-17 15:04:25

用springboot+vw-crawler轻松抓取CSDN的文章

使用springboot+vw-crawler轻松抓取CSDN的文章有关VW-Cralwer的介绍可以看这里,简单轻便开源的一款Java爬虫框架。下面结合比较流行的框架SpringBoot抓取CSDN的数据(有关的Spingboot的使用可以参考这里)配置POM使用Springboot做架构,redis做数据存储,vw-crawler做爬虫模块,最终的pom如下<...

2018-07-22 11:19:34

一套简单的java爬虫框架VW-Crawler发布啦!!!

VW-Crawler背景自己一直对爬虫比较感兴趣,大学的毕业论文也是一个爬虫项目(爬教务处信息,然后做了个Android版教务管理系统,还获得了优秀毕业设计的称号),自那以后遇到自己感兴趣的网站就会去抓一下。前段时间工作上需要一些JD信息,我就从网上找了个开源的爬虫框架WebMagic,使用简单,易配置,功能也很强大,当然了也有些网站的数据不适合使用。前前后后写了不下十几个,慢慢的就想...

2018-07-19 22:17:10

发布自己的jar到Maven Repository公服上

前段时间自己写了一个简易的Java版爬虫框架。如果想把这个框架完善还是需要大家的力量,如果每次使用都要从Gihub上下载源码岂不是很麻烦?因为自己的项目用的是maven来管理jar包,那么就试试把这个爬虫框架放到公服仓库上去吧!注册Sonatype账号使用过Jira的用户就很熟悉了,事务与项目跟踪软件。注册好之后也可以用这个账号登陆maven公服仓库https://oss.sonatype...

2018-07-08 23:00:44

一张图带你理解和实现RabbitMQ的延迟队列功能

开头先熟悉下面会用到的一些名词~exchange:交换机routingkey:路由keyqueue:队列exchange和queue是需要绑定在一起的,然后消息发送到exchange再由exchange通过routingkey发送到对应的队列中。(不是这张图~~~)exchange分四种DefaultExchange这种是特殊的DirectEx...

2018-06-14 21:06:54

搭建spark on yarn 集群

两台用的都是ubuntuIP主机名192.168.22.137spark-master192.168.22.150spark-slave1更改主机名确定每个节点的主机名与它在集群中所处的位置相同如果不同,需要修改vi/etc/hostname重启生效可能需要些安装某些工具包更换sources源...

2018-05-03 17:46:24

学习Docker之使用docker-compose编配一整套服务

使用dockercompose可以一键完成“一整套”服务的搭建也可以完成服务集群化部署。 这两天在用python写一个爬虫,数据暂时保存在本地的mongodb数据库,到部署的时候,发现线上的服务器没有python环境和mongodb,这个时候立马就想到了Docker! 最初的思路就是run一个mongodb容器,然后再把爬虫程序构建为镜像并run起来。准备动手的时候突然脑海里闪过...

2018-04-14 11:08:40

通过shell脚本和企业微信实现报警功能(完整版)

最终效果如图(GIF太大了就截了两张图)#!/bin/shexpireTime=7200dbFile="db.json"corpid=xxxcorpsecret=xxxtouser="xxx"toparty="xxx"agentid="xxx"content="服务器快崩了,你还在这里吟诗作对?"#s为秒,m为分钟,h为小时,d为日数...

2018-03-18 00:14:18

通过shell脚本和企业微信实现实时报警功能

工作中,我们会有一些应用跑在线上服务器,那么这些应用出现问题,如内存、CPU超过阈值之后我们必须要在第一时间知道,第一时间处理这些问题,尽可能的让用户感受不到应用的异常。有的公司有运维人员,那么恭喜了,运维自己应该会有一套监控体系,作为开发者就可以专心的攻克业务逻辑;但是有的公司可能没有,那么应用的状态就需要我们开发者来监控了。关于监控,有发送邮件的、有搭建Zabbix的、也有通过企业...

2018-03-11 23:03:49

我的ElasticSearch使用笔记

最新的整理在这里https://github.com/vector4wang/elasticsearch-quick以下基于Elastic5.4版本部署这里使用Docker部署获取镜像dockerpullelasticsearch:5.4启动dockerrun-d-p9200:9200-p9100:9100elasticsearch:5.4...

2018-03-04 22:40:47

学习Docker之Dockerfile的命令

使用Dockerfile去构建镜像好比堆积木、使用pom去构建maven项目一样,有异曲同工之妙,下面就把Dockerfile中主要的命令介绍一下。组成部分部分命令基础镜像信息FROM维护者信息MAINTAINER镜像操作指令RUN、COPY、ADD、EXPOSE、WORKDIR、ONBUILD、USER、VOLUME等

2018-02-01 23:49:58

学习Docker之10张图带你深入理解Docker容器和镜像

刚开始接触Docker之后,就对容器和镜像的概念有所迷惑,上一篇也简单的说了一下之前的见解,其实并不准确,在之后的学习中再加上网上找的资料,发现了下面的这一片博文,一定要多看几遍,看完思考再看,就会对容器和镜像有更深刻的认识。原文链接:http://dockone.io/article/783【编者的话】本文用图文并茂的方式介绍了容器、镜像的区别和Docker每个命令后面的技术细节,

2018-01-27 22:24:26

学习Docker之Docker、容器和镜像的简介和常用命令

第一篇通过部署SpringBoot项目来见识到了Docker的强大点我,接下来就来简单聊聊什么是Docker?什么是Docker镜像与容器Docker常用命令问题小王在工作之余接了个私单,功能很简单,开发完之后只要在本地将程序跑起来,就能完成客户的需求。于是小王每天晚上花个一两个小时去开发,一周之内搞定了,然而在远程给客户部署的时候,出现了各种各样的问题,光配置环境就花了两三

2018-01-21 23:45:11

学习Docker之Docker初体验---SpringBoot集成Docker的部署、发布与应用

准备工作会一点springboot不会没关系,花十几分钟补一下Quick-SpringBoot会一点Maven不会没关系,花几分钟补一下Maven的快速应用会一点Linux命令不会没关系,花十几分再补一下Linux菜鸟教程一台联网的Centos机器安装Docker进入Centos终端,执行命令yuminstalldocker静待一会,等待

2018-01-18 23:21:12

微信短链接秒进支付宝拆红包的逆向分析与代码获取(不用写任何代码)

最近支付宝红包风靡全国,真的是谁的群多并且发的比其他人早就能很赚一笔,目前想要拿到红包有以下两种途径复制别人的邀请码,打开支付宝用支付宝扫描别人的红包二维码有人感觉很麻烦于是就做了在微信里点击短链接即可自动跳转到支付宝领红包的方式,理想情况下真的是在1秒以内。下面是一个演示图:说明:上周末还可以的,根据短链接直接跳转到支付宝,前几天微信把这个给屏蔽了,所以中间就加了一个额外

2018-01-11 23:41:32

Springboot与Selenium合体变蜘蛛爬企查查

最近工作上需要一些企业的详细的数据,工商信息啦,基本信息啦,还有一些关系图(投资关系、人物图谱)之类的,然后我来负责从企查查上弄些数据。强调:下面只是快速实现数据抓取的思路,没有详细的代码,同时也拒绝伸手党。  现实中,一些工商信息网站会被无数的爬虫“骚扰”,所以网站的反爬虫策略也是越来越高,就拿企查查来说,基本的信息是直接可访问的,但是像人物图谱和企业图谱这些内容还是需要登录的,特别

2018-01-09 23:27:57

爆米花机枪手

无知者无畏~
关注
  • 计算机软件/攻城狮
  • 中国 广东省 深圳市
奖章
  • 专栏达人
  • 持之以恒