- 博客(272)
- 资源 (47)
- 收藏
- 关注
RSS订阅
原创 K3S+K3D=K8S 开发利器快速入门
最近在做服务私有化建设这块，对于物理机能轻量化进行容器资源管理和对服务运维，k3s还是比较合适的。对于新鲜事物，作为非运维的我还是迫切想解并搞个demo出来尝尝鲜。
2022-03-16 00:05:46
2643
原创 SpringMVC应用在jetty容器中启动，如何引用其他路径下的配置文件？
<?xml version="1.0" encoding="UTF-8"?><Configure class="org.eclipse.jetty.webapp.WebAppContext"> <!-- set contextPath，read env property jetty.web.contextPath, default is root --> <Set name="contextPath"><SystemProperty name=
2021-02-27 21:01:56
358
原创 windows上使用anaconda快速构建python的各种环境
Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。 [1] 因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和 Python）。简单的说用Anaconda可以构建任何你需要的python环境，类似于docker一样，下面直接介绍如何使用。官网：https://www.anaconda.com/.
2020-09-20 20:33:04
417
原创 多人协作，远程Git使用Reset回滚后，其他人如何做到本地与线上代码同步
多人协作，远程Git使用Reset回滚后，其他人如何做到本地与线上代码同步背景场景重现准备重现发现并解决问题最后背景一般公司里开发某个系统都是多人协作开发，使用Git作为代码版本管理工具，那你可能或者肯定会遇到其他人错提代码到线上，回退之后其他人再去pull的时候，代码并不会改变，本以为已经更新了，后续再次提交的时候，线上的代码又被“污染”了，然后再次回滚，其他人依然没有pull到新代码，然后往复循环，最后搞得大家都很疲惫。场景重现准备重现很简答，随意在远程git创建一个仓库，我在gitee创建一
2020-07-31 00:29:06
5090
1
原创 Hive上使用UDF遇到的诡异的事
Hive上使用UDF遇到的诡异的事Hive上使用UDF遇到的诡异的事背景噩梦开始后续Hive上使用UDF遇到的诡异的事这里记录一下自己用UDF遇到的问题，最后虽然解决了也知道是什么原因导致的，但是没有从代码或Hive层面去理解，全是靠自己意会出来的。背景一个业务需求，需要在hive上操作，逻辑比较复杂，写了两个udf，用的是一项目，对应的目录如下：└─src ├─main └─java └─com └─quick └─udf
2020-07-16 21:22:52
621
转载 为什么硅谷公司已经不用Nexus管理Maven仓库？
关注世界领先 DevOps 平台 JFrog最近经常被问到一个问题：“我已经在用 Nexus 管理 Maven 仓库，用 Artifactory 替换它有什么好处？”其实这个问题在社区里早已有官方的答案：https://binary-repositories-comparison.github.io/可以看这个 https://github.com/binary-repositories-c...
2020-01-16 08:53:13
1111
翻译 二进制的生命周期(翻译)
几乎每个人会去编写一个程序，接着编译，然后运行该程序并查看您辛勤编码的成果 。 嘴周看到程序正常运行起来会感觉很棒！ 但是，要使这些所有工作顺利进行，我们还要感谢其他人。那就是您的编译器（当然，假设您使用的是编译语言，而不是解释性语言），它在幕后会做很多工作。在本文中，我将尝试向您展示如何将您编写的源代码转换为计算机可以实际运行的代码， 我在这里选择Linux作为我的主机，并选择C作为编程语言，...
2019-12-23 22:15:25
743
转载 spring 使用通用Mapper批量添加数据 java.lang.InstantiationException: tk.mybatis.mapper.provide.SpecialProvider
通用Mapper是一款针对mybatis进行扩展的轻量级组件，使用起来非常方便。当调用其针对mysql进行批量添加数据的方法时，发现报错，仔细研究了一番，发现是在使用通用Mapper上出现了问题。下面贴出本文使用的通用的Mapper github 地址及其版本。通用Mapper github主页：https://github.com/abel533/Mapper/ 本文示例使用的版本是3.5...
2019-12-20 09:30:15
988
原创 2019程序员个人面试随笔
2019程序员个人面试随笔我找工作的时间范围在2019年10月13日至11月22日，此时工作年限四年零七个月。先说几个重点1、简历一定要写好，我整理简历花了两三天的时间，差点吐了，用到的网站有https://github.com/geekcompany/ResumeSamplehttps://github.com/resumejob/awesome-resume2、投简历之前花个三四天...
2019-11-25 22:44:59
763
原创 Java中高位转低位溢出的计算过程
System.out.println((byte) 129);System.out.println((byte) -129);System.out.println("~b2: " + ~10);结果是：-127127~b2: -11计算机中是以补码进行计算正数的反码补码都是原码，如：10原码: 1010反码: 1010补码：1010负数 -10原码 10000000...
2019-09-18 20:43:54
723
原创 Java中对象占用内存大小计算
Java中对象占用内存大小计算可以直接进入正题对象的组成这一节byte与bitbit： 位，比特。 信息的最小单位，二进制数中的一个位数(二进制位)，其值为“0”或“1”；byte: 字节。计算机文件大小的基本计算单位;原码：正数本身，负数，正数对应的二进制最高位为1(负)；反码：正数本身，负数，符号位不变，其余各位取反；补码：正数本身，负数：反码+10的反码、补码都为零注意...
2019-09-18 00:09:40
883
原创 Mybatis中单双引号引发的惨案
#{}与${}的区别#{}是预编译处理，${}是字符串替换Mybatis在处理#{}时，会将sql中的#{}替换为?号， 调用PreparedStatement的set方法来赋值；Mybatis在处理时，就是把{}时，就是把时，就是把{}替换成变量的值。使用#{}可以有效的防止SQL注入，提高系统安全性。再通俗的说，使用${}mybatis会把参数加上双引号，而${} 你给啥，sql语...
2019-09-03 23:15:49
6814
原创 面试系列之Integer缓存所引发的惨案(保证看完你就彻底明白)
今天在整理代码的时候发现了一段程序，如下Integer integer1 = 3;Integer integer2 = 3;if (integer1 == integer2) System.out.println("integer1 == integer2");else System.out.println("integer1 != integer2");Integer in...
2019-08-28 14:24:44
423
转载 Guava的布隆过滤器
程序世界的算法都要在时间，资源占用甚至正确率等多种因素间进行平衡。同样的问题，所属的量级或场景不同，所用算法也会不同，其中也会涉及很多的trade-off。If there’s one rule in programming, it’s this: there will always be trade-offs.你是否真的存在今天我们就来探讨如何判断一个值是否存在于已有的集合问题。这类问...
2019-08-24 19:31:25
1449
原创 Springboot快速教程---Docker搭建与整合Hbase
Hbase简介HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！HBase作为Google Bigtable的开源实现，Google Bigtable利用GFS作为其文件存储系统类似，则HBase利用Hadoop HD...
2019-07-20 20:37:23
2752
5
原创 Springboot快速教程---Docker搭建与整合Kafka
最近在搭建一个简易的基于Flink的实时推荐系统中用到了kafka，就快速的整合了下并记录在此简介什么是KafkaApache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务...
2019-07-18 20:17:38
619
原创 Logstash 简易教程
建议在使用logstash之前先想清楚自己的需求是什么，从哪种数据源同步到哪里，需要经过怎么样的处理。因为logstash版本迭代较快，每个版本的插件都有点区别，比如filter中的http插件在6.6版本以后才有；output到现在(7.1)都没有jdbc的插件，然而你如果想使用output的jdbc插件就需要自己去安装热心人自己写的插件(logstash-output-jdbc),不幸的是，该...
2019-06-25 23:01:06
1502
原创 《深入理解JVM虚拟机》垃圾回收部分 读书笔记
自动内存管理机制Java内存区域与内存溢出异常运行时数据区域程序计数器“程序计数器（Program Counter Register）是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器”“如果线程正在执行的是一个Java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址；如果正在执行的是Native方法，这个计数器值则为空（Undefined）“Java虚拟机栈...
2019-06-22 10:25:34
498
原创 《Maven实战》 阅读笔记
无Maven不项目，这是我的口号，但是一直没有系统的去看书，前段时间把maven实战过来一遍做了些笔记，方便后面查阅每个项目都有自己的坐标groupIdartifactIdversionpackagingclassifierinstall 安装在本地deploy 打包发布到远端依赖范围范围类型有: 编译、测试、运行 三种classpathcompile，默认...
2019-06-16 16:13:10
441
2
原创 Docker构建服务之部署和备份Jekyll网站
来自《第一本Docker书》，我觉得很有趣，就记录一下准备国内ubuntu镜像每次构建Ubuntu镜像然后安装软件的时候，都异常的卡，那是因为没有使用国内镜像，所以我事先准备了sources.list文件，一定要确定对应的ubuntu的版本号，我用的是18.04，内容如下vi sources.list输入以下内容deb http://mirrors.aliyun.com/ubuntu/...
2019-01-21 16:19:45
836
原创 使用Docker Swarm快速搭建与部署你的服务集群
初始化集群准备了对应的机器(两个虚拟机)，基本信息如下IP主机名备注192.168.1.8ubuntu-1主192.168.1.5ubuntu-1从注意：最好保持每个节点的docker版本号为最新且是相同的在主节点(manager)上执行root@ubuntu:/home/wangxc# docker swarm init --advertise...
2019-01-21 16:18:35
1290
原创 使用docker“一键”启动jd(职位信息)的搜索(es)与统计(Kibana)
jd-search-4-docker三键启动所有服务MySQL+ELK+JD-Search-Api本来是想build成是三个个image，然后使用docker-compose一键启动的，但是做到后来遇到compose容器启动顺序的问题。虽说是按照顺序启动的，但是并不会等你启动完毕后再去启动另外一个容器，官方相关链接:https://docs.docker.com/compose/star...
2018-09-28 08:03:31
716
原创 一次排查Java项目内存泄漏的过程
发现问题公司自己维护的服务三四个，有的服务还分多个节点，自己也有几个私人服务器，所以为了能实时知道各个服务器的情况，就使用ServerStatus做了个云探针，功能很简单，能实时的监控每个服务器的内存、cpu、硬盘、流量的使用情况，如下 虽然只有几个指标，但是已经能让我全面的掌握各服务的性能，再搭配chrome插件iChrome，每天打开浏览器就能第一时间看到监控界面， 我始终相信...
2018-08-17 15:04:25
3304
2
原创 用springboot+vw-crawler轻松抓取CSDN的文章
使用springboot+vw-crawler轻松抓取CSDN的文章有关VW-Cralwer的介绍可以看这里,简单轻便开源的一款Java爬虫框架。下面结合比较流行的框架SpringBoot抓取CSDN的数据(有关的Spingboot的使用可以参考这里)配置POM使用Springboot做架构，redis做数据存储，vw-crawler做爬虫模块，最终的pom如下<...
2018-07-22 11:19:34
1105
原创 一套简单的java爬虫框架VW-Crawler发布啦！！！
VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去抓一下。前段时间工作上需要一些JD信息，我就从网上找了个开源的爬虫框架WebMagic，使用简单，易配置，功能也很强大，当然了也有些网站的数据不适合使用。前前后后写了不下十几个，慢慢的就想...
2018-07-19 22:17:10
953
1
原创 发布自己的jar到Maven Repository公服上
前段时间自己写了一个简易的Java版爬虫框架。如果想把这个框架完善还是需要大家的力量，如果每次使用都要从Gihub上下载源码岂不是很麻烦？因为自己的项目用的是maven来管理jar包，那么就试试把这个爬虫框架放到公服仓库上去吧！注册Sonatype账号使用过Jira的用户就很熟悉了，事务与项目跟踪软件。注册好之后也可以用这个账号登陆maven公服仓库https://oss.sonatype...
2018-07-08 23:00:44
3453
1
原创 一张图带你理解和实现RabbitMQ的延迟队列功能
开头先熟悉下面会用到的一些名词~exchange： 交换机routingkey: 路由keyqueue: 队列exchange和queue是需要绑定在一起的，然后消息发送到exchange再由exchange通过routingkey发送到对应的队列中。(不是这张图~~~)exchange分四种Default Exchange这种是特殊的Direct Ex...
2018-06-14 21:06:54
1177
原创 搭建spark on yarn 集群
两台用的都是ubuntu IP 主机名 192.168.22.137 spark-master 192.168.22.150 spark-slave1更改主机名确定每个节点的主机名与它在集群中所处的位置相同 如果不同，需要修改vi /etc/hostname 重启生效可能需要些安装某些工具包更换sources源...
2018-05-03 17:46:24
1070
原创 学习Docker之使用docker-compose编配一整套服务
使用docker compose可以一键完成“一整套”服务的搭建也可以完成服务集群化部署。 这两天在用python写一个爬虫，数据暂时保存在本地的mongodb数据库，到部署的时候，发现线上的服务器没有python环境和mongodb，这个时候立马就想到了Docker！ 最初的思路就是run一个mongodb容器，然后再把爬虫程序构建为镜像并run起来。准备动手的时候突然脑海里闪过...
2018-04-14 11:08:40
1761
原创 通过shell脚本和企业微信实现报警功能(完整版)
最终效果如图(GIF太大了 就截了两张图) #!/bin/shexpireTime=7200dbFile="db.json"corpid=xxxcorpsecret=xxxtouser="xxx"toparty="xxx"agentid="xxx"content="服务器快崩了，你还在这里吟诗作对？"# s 为秒，m 为 分钟，h 为小时，d 为日数 ...
2018-03-18 00:14:18
4690
5
原创 通过shell脚本和企业微信实现实时报警功能
工作中，我们会有一些应用跑在线上服务器，那么这些应用出现问题，如内存、CPU超过阈值之后我们必须要在第一时间知道，第一时间处理这些问题，尽可能的让用户感受不到应用的异常。有的公司有运维人员，那么恭喜了，运维自己应该会有一套监控体系，作为开发者就可以专心的攻克业务逻辑；但是有的公司可能没有，那么应用的状态就需要我们开发者来监控了。关于监控，有发送邮件的、有搭建Zabbix的、也有通过企业...
2018-03-11 23:03:49
4753
1
原创 我的ElasticSearch使用笔记
最新的整理在这里 https://github.com/vector4wang/elasticsearch-quick 以下基于Elastic 5.4版本部署这里使用Docker部署获取镜像docker pull elasticsearch:5.4启动 docker run -d -p 9200:9200 -p 9100:9100 elasticsearch:5.4...
2018-03-04 22:40:47
1845
原创 学习Docker之Dockerfile的命令
使用Dockerfile去构建镜像好比堆积木、使用pom去构建maven项目一样，有异曲同工之妙，下面就把Dockerfile中主要的命令介绍一下。组成部分 部分 命令 基础镜像信息 FROM 维护者信息 MAINTAINER 镜像操作指令 RUN、COPY、ADD、EXPOSE、WORKDIR、ONBUILD、USER、VOLUME等
2018-02-01 23:49:58
963
转载 学习Docker之10张图带你深入理解Docker容器和镜像
刚开始接触Docker之后，就对容器和镜像的概念有所迷惑，上一篇也简单的说了一下之前的见解，其实并不准确，在之后的学习中再加上网上找的资料，发现了下面的这一片博文，一定要多看几遍，看完思考再看，就会对容器和镜像有更深刻的认识。原文链接：http://dockone.io/article/783 【编者的话】本文用图文并茂的方式介绍了容器、镜像的区别和Docker每个命令后面的技术细节，
2018-01-27 22:24:26
2009
2
原创 学习Docker之Docker、容器和镜像的简介和常用命令
第一篇通过部署SpringBoot项目来见识到了Docker的强大点我，接下来就来简单聊聊什么是Docker?什么是Docker镜像与容器Docker常用命令问题小王在工作之余接了个私单，功能很简单，开发完之后只要在本地将程序跑起来，就能完成客户的需求。于是小王每天晚上花个一两个小时去开发，一周之内搞定了，然而在远程给客户部署的时候，出现了各种各样的问题，光配置环境就花了两三
2018-01-21 23:45:11
1162
原创 学习Docker之Docker初体验---SpringBoot集成Docker的部署、发布与应用
准备工作会一点springboot 不会没关系，花十几分钟补一下Quick-SpringBoot会一点Maven 不会没关系，花几分钟补一下Maven的快速应用会一点Linux命令 不会没关系，花十几分再补一下Linux菜鸟教程一台联网的Centos机器 安装Docker进入Centos终端，执行命令yum install docker静待一会，等待
2018-01-18 23:21:12
8381
4
原创 微信短链接秒进支付宝拆红包的逆向分析与代码获取(不用写任何代码)
最近支付宝红包风靡全国，真的是谁的群多并且发的比其他人早就能很赚一笔，目前想要拿到红包有以下两种途径复制别人的邀请码，打开支付宝用支付宝扫描别人的红包二维码有人感觉很麻烦于是就做了在微信里点击短链接即可自动跳转到支付宝领红包的方式，理想情况下真的是在1秒以内。下面是一个演示图： 说明：上周末还可以的，根据短链接直接跳转到支付宝，前几天微信把这个给屏蔽了，所以中间就加了一个额外
2018-01-11 23:41:32
28289
5
原创 Springboot与Selenium合体变蜘蛛爬企查查
最近工作上需要一些企业的详细的数据，工商信息啦，基本信息啦，还有一些关系图(投资关系、人物图谱)之类的，然后我来负责从企查查上弄些数据。强调：下面只是快速实现数据抓取的思路，没有详细的代码，同时也拒绝伸手党。 现实中，一些工商信息网站会被无数的爬虫“骚扰”，所以网站的反爬虫策略也是越来越高，就拿企查查来说，基本的信息是直接可访问的，但是像人物图谱和企业图谱这些内容还是需要登录的， 特别
2018-01-09 23:27:57
4135
6
原创 使用生产者消费者解决海量数据的处理与相关优化
最近一直在优化海量数据(几千万)处理这一块。我使用的是java提供的ExecuterPool线程池来实现的，这几天在研究如何使用生产者和消费者模式去解决类似处理数据的问题，下面是思考与实现的过程与思考。
2017-08-21 00:50:09
1658
滁州学院教务信息查询客户端
2015-06-04
滁州学院新闻客户端
2015-06-04
Fiddler2数据抓取包
2015-04-09
jsp WebSocket+Tomcat8实现真●Web版即时聊天室(单人+多人)
2015-10-13
HTML5 WebSocket+Tomcat实现真●Web版即时聊天室(单人+多人)
2015-10-11
Html5 WebSocket聊天功能（单人+所有人）
2015-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人