- 博客(105)
- 收藏
- 关注
RSS订阅原创 OS X 安装lrzsz工具完整流程
1.使用HomeBrew工具（如果没有安装，需要先安装HomeBrew）安装lrzsz工具，具体命令：brew install lrzsz2.安装iTerm2（这个是免费的）（1）下载iTerm2，地址：https://iterm2.com/downloads.html；（2）下载2个sh脚本，地址：https://github.com/xjh22222228/iterm2-zmodem，具体需要下载的文件名：iterm2-recv-zmodem.sh，iterm2-send-zmodem
2020-05-26 11:05:17
392
原创 Kafka学习札记
一.安装配置1.部署Zookeeper，注意一个Zookeeper集群最好不要超过7个点（要保持一致性，太多点，效率会很差）；2.安装Zookeeper，下载安装包的时候，地址：https://apache.org/dist/zookeeper/stable/，如果要使用下载带bin的安装包，如果需要源码下载无bin的安装包；3.完成java安装配置；===============...
2020-05-26 10:30:25
192
原创 Flink（Linux）-分布式集群搭建
1.到Flink官网下载最新版本安装包，https://flink.apache.org/downloads.html；2.安装jdk1.8或者以上版本；3.集群配置是按照master/slave的模式，首先选择一个主节点（master），主要配置： （1）flink安装目录中的conf/flink-conf.yaml ，主要配置jobmanager.rpc.address，配置为本...
2020-05-26 10:29:47
627
原创 Hadoop3.1.2（Linux版本）环境搭建记录2-Pseudo-Distributed（伪分布式模式）
上一节中我们了解了单机模式，这一节中，会说明第二种模式伪分布式模式，这种模式相比于单机模式，增加了检查内存使用情况，hdfs输入输出，以及其他的守护进程交互。 配置伪分布式主要是配置etc/hadoop中的配置文件，分别是core-site.xml、mapred-site.xml以及hdfs-site.xml。core-site.xml（配置namenode）<c...
2020-05-26 10:29:09
150
原创 Hadoop3.1.2（Linux版本）环境搭建记录1-Standalone（单机模式）
上一篇中已经完成了安装包的下载，以及安装配置工作，接下来说一下单机模式的配置方式。单机模式，就是只有一台机器的情况下，这种模式是不会使用HDFS的，同时也不会启动守护进程，只是用来调试MapReduce程序才会用到。这种方式不需要修改配置文件，直接调用hadoop命令运行即可。...
2020-05-26 10:29:01
248
原创 Hadoop3.1.2（Linux版本）环境搭建记录-搭建准备
1.下载Hadoop安装包，在网址https://hadoop.apache.org/releases.html中可以看到所有的Hadoop版本，当然都是Linux版本，选择自己需要的版本，如本次选择的版本为3.1.2，下载地址https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz；...
2020-05-26 10:26:43
239
原创 CentOS7.7安装配置vsftpd3.0.2总结
1.查看系统是否自带了vsftpd，具体命令：rpm -q vsftpd# 或者vsftpd -v2.如果没有安装，使用安装命令：yum install vsftpd -y3.设置开机启动，命令：chkconfig vsftpd onservice vsftpd restartnetstat -antup|grep ftp4.配置，vi /etc/vsft...
2020-01-09 15:07:39
1094
转载 单例模式的几种写法(包含双检锁写法)
饿汉式单例类Java代码 public class Singleton { private Singleton(){ } private static Singleton instance = new Singleton(); private static Singleton
2017-06-02 10:47:53
10244
4
转载 大型分布式网站术语分析
1. I/O优化增加缓存，减少磁盘的访问次数。优化磁盘的管理系统，设计最优的磁盘方式策略，以及磁盘的寻址策略，这是在底层操作系统层面考虑的。设计合理的磁盘存储数据块，以及访问这些数据库的策略，这是在应用层面考虑的。例如，我们可以给存放的数据设计索引，通过寻址索引来加快和减少磁盘的访问量，还可以采用异步和非阻塞的方式加快磁盘的访问速度。应用合理的RAID策略提升磁盘I/O。2. We
2017-04-25 17:07:16
349
转载 Java泛型详解
引言泛型是Java中一个非常重要的知识点，在Java集合类框架中泛型被广泛应用。本文我们将从零开始来看一下Java泛型的设计，将会涉及到通配符处理，以及让人苦恼的类型擦除。泛型基础泛型类我们首先定义一个简单的Box类：12345publicclass Box {
2017-04-07 10:56:41
289
转载 可以不要再使用Double-Checked Locking了
Double-Checked Locking方法被广泛的使用于实现多线程环境下单例模式的懒加载方式实现，不幸的是，在JAVA中，这种方式有可能不能够正常工作。在其他语言环境中，如C++，依赖于处理器的内存模型、编译器的重排序以及编译器和同步库之间的工作方式。由于这些问题在C++中并不确定，因此我们不能够确定具体的行为。但是在C++中显示的内存屏障是可以被用来让其正常工作的，而这些屏障在JAVA中又
2017-04-06 10:15:32
717
1
转载 如何在生产环境使用Btrace进行调试
转载地址：http://www.importnew.com/23614.html背景记得前几天有人问我：在生产环境中可能经常遇到各种问题，你们一般是如何进行调试的？ 很惭愧，没有经验。因为平时碰不到生产环境的服务器，定位问题需要各种数据，所以大多数问题的解决方式都是在本地打断点进行调试，或者在测试环境利用输出日志进行调试，这种方式简单粗暴，但过程比较繁琐，需要各种重新发布，
2017-03-30 09:55:53
1155
转载 Jenkins Gitlab持续集成打包平台搭建
相关概念JenkinsJenkins，一个用Java编写的开源的持续集成工具，提供了软件开发的持续集成服务，可监控并触发持续重复的工作，具有开源，支持多平台和插件扩展，安装简单，界面化管理等特点。更多介绍参考维基介绍.GitlabGitLab是一个利用Ruby on Rails开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人
2017-03-29 10:00:48
352
转载 Centos6.5下docker 环境搭建
一.运行docker Linux内核版本需要在3.8以上,针对centos6.5 内核为2.6的系统需要先升级内核.不然会特别卡，退出容器. 在yum的ELRepo源中,有mainline（3.13.1）、long-term（3.10.28）这2个内核版本，考虑到long-term更稳定，会长期更新，所以选择这个版本。1.查看当前版本：[root@localhost ~]#
2017-03-03 13:54:20
391
转载 修改linux中dns设置
通过编辑/etc/resolv.conf文件，往里边添加内容nameserver “dns url” 例如：nameserver 202.96.128.86nameserver 202.96.128.166nameserver 8.8.8.8nameserver 8.8.4.4然后保存退出，前面的是当地DNS，后面的是谷歌公开的DNS。如下图所示
2017-03-01 13:06:43
496
转载 CentOS6 换yum源方法总结
本文章介绍的yum源支持的版本是CentOS 6系列，理论上支持RHEL6系列。更新方法如下：先进入yum源配置目录cd /etc/yum.repos.d备份系统自带的yum源mv CentOS-Base.repo CentOS-Base.repo.save下载其他更快的yum源中科大的yum源：wget http://centos.ustc
2017-03-01 13:04:05
2307
原创 WebSocket详解-作用与使用方法
WebSocket准确的讲是对现有的Http协议的扩展和补充，相比于使用长轮询和ajax轮询来说，使用WebSocket可以获得更加高效地实时远程通信。使用WebSocket可以使用第三方框架，如Netty等，也可以使用Tomcat7以上版本自带的WebSocket支持功能。使用WebSocket可以解决Web开发中经常遇到的跨域问题。
2017-02-06 18:09:08
1733
转载 Java中try,catch,finally的用法
Java中try,catch,finally的用法，以前感觉还算熟悉，但看到一篇博文才有更深点的理解，总结网友博客如下。Java异常处理的组合方式：1.try+catch 运行流程：运行到try块中，如果有异常抛出，则转到catch块去处理。然后执行catch块后面的语句 2.try+catch+finally 运行流程：运行到try块中，如果有异常抛出，则转到
2017-01-12 10:43:16
452
转载 hibernate配置C3P0详解
Hibernate整合C3P0实现连接池hibernate中可以使用默认的连接池，无论功能与性能都不如C3PO（网友反映，我没有测试过），C3P0是一个开源的JDBC连接池，它实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。目前使用它的开源项目有Hibernate，spring等。C3P0是一个易于使用JDBC3规范和JDBC2可选的扩展定义的功能增强，使传统
2017-01-10 17:29:25
903
转载 web.xml组件加载顺序
web.xm组件加载顺序为：context-param -> listener -> filter -> servlet(同类则按编写顺序执行)。web.xml常用组件解析： WEB应用的名字 WEB应用的描述 context-param元素声明应用范围内的初始化参数 spring配置文件位置 -->
2017-01-10 13:56:47
269
转载 深入浅出 JIT 编译器
本文将深入浅出地讲解 JIT 编译器在 JVM 中的运作原理，使读者能够更好的理解 Java 底层机制并且为读者在 Java 性能优化领域打开更广的视野。JIT 简介JIT 是 just in time 的缩写, 也就是即时编译编译器。使用即时编译器技术，能够加速 Java 程序的执行速度。下面，就对该编译器技术做个简单的讲解。首先，我们大家都知道，
2017-01-09 11:21:42
299
转载 hibernate一级缓存，二级缓存，三级缓存，缓存算法及配置。
什么是缓存（我的理解）：在内存中开辟一块空间，把原来在硬盘上的东西，放到内存当中，当需要用到一些数据时，直接在内存中查找，而不是到硬盘上查找。这块内存中的空间就是缓存。缓存能提高程序的运行效率。一级缓存（session级的缓存）：在一个session中load同一个对象2次，load时，hibernate首先在session缓存中查找对象，如果没找到就到数据库中去load。因此，在同一个ses
2017-01-06 13:35:26
315
转载 Mysql主从配置，实现读写分离
大型网站为了软解大量的并发访问，除了在网站实现分布式负载均衡，远远不够。到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一台服务器扛，如此多的数据库连接操作，数据库必然会崩溃，数据丢失的话，后果更是 不堪设想。这时候，我们会考虑如何减少数据库的联接，一方面采用优秀的代码框架，进行代码的优化，采用优秀的数据缓存技术如：memcached,如果资金丰厚的话，必然会想到假设服务器群，来
2017-01-06 13:14:42
219
转载 如何解决ajax跨域问题
找到一种解决方式现在也知道了怎样来解决跨域问题，余下的就是实现的细节了。实现的过程中错误还是避免不了的。由于不了解json和jsonp两种格式的区别，也犯了错误，google了好久才解决。首先来看看在页面中如何使用jQuery的ajax解决跨域问题的简单版：$(document).ready(function(){ var url='http://localhos
2016-12-29 14:29:44
265
转载 java调用并执行shell脚本以及问题总结
背景我们在开发过程中，大部分是java开发， 而在文本处理过程中，主要就是脚本进行开发。 java开发的特点就是我们可以很早地进行TDDL， METAQ 等等地对接； 而脚本开发的特点就是在进行批处理的时候非常方便。 前阵子我遇到这么一个需求场景： 对抓取的数据进行打包， 后来又遇到我要通过脚本进行抓取，比如nodejs下基于phantomjs的casperjs爬虫。解决方法
2016-11-01 16:11:21
13052
2
转载 CentOS6.5使用yum命令方便快捷安装Nginx
当然，首先要求是可以联网的系统，因为yum安装需要互联网连接。 1.为了追加 nginx 的 yum 仓库，需要创建一个文件 /etc/yum.repos.d/nginx.repo，并将下面的内容复制进去： [nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$base
2016-10-27 14:50:39
204
转载 java之HeapByteBuffer&DirectByteBuffer以及回收DirectByteBuffer
byte buffer一般在网络交互过程中Java使用得比较多，尤其是以NIO的框架中；看名字就知道是以字节码作为缓冲的，先buffer一段，然后flush到终端。而本文要说的一个重点就是HeapByteBuffer与DirectByteBuffer，以及如何合理使用DirectByteBuffer。1、HeapByteBuffer与DirectByteBuff
2016-10-27 11:22:13
223
转载 三大Java 虚拟机垃圾回收机制的比较（HotSpot, JRockit, IBM JVM）
原文地址：http://apmblog.compuware.com/2011/05/11/how-garbage-collection-differs-in-the-three-big-jvms/========================================================================================
2016-10-26 15:18:34
325
转载 jvm参数详解
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同
2016-10-26 14:35:51
406
转载 Tomcat容器管理安全的几种验证方式
当访问服务器中受保护的资源时，容器管理的验证方法可以控制确认用户身份的方式。Tomcat支持四种容器管理的安全防护，它们是：BASIC(基本验证)：通过HTTP验证，需要提供base64编码文本的用户口令DIGEST(摘要验证)：通过HTTP验证，需要提供摘要编码字符串的用户口令FORM(表单验证)：在网页的表单上要求提供密码CLIENT-CERT(客户端证书验证)：以客户端证书来确认用户
2016-10-13 11:05:43
428
转载 用Maven部署war包到远程Tomcat服务器
过去我们发布一个Java Web程序通常的做法就是把它打成一个war包，然后用SSH这样的工具把它上传到服务器，并放到相应的目录里，让Tomcat自动去解包，完成部署。很显然，这样做不够方便，且我们在用SSH把文件拽上去的时候很可能会搞错。(当然了大厂就不会有这样的问题，因为人家有运维团队专门来干这个事情，哈哈)现在我要的是：一行命令部署到本地服务器，在本地测试一番，没有问题的话就
2016-10-13 10:38:07
329
转载 使用 Docker 搭建 Java Web 运行环境
Docker 是 2014 年最为火爆的技术之一，几乎所有的程序员都听说过它。Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker 的
2016-10-13 10:16:13
246
转载 使用 Docker 搭建 Java Web 运行环境
Docker 是 2014 年最为火爆的技术之一，几乎所有的程序员都听说过它。Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker 的
2016-10-13 10:14:43
360
转载 用Maven部署war包到远程Tomcat服务器
过去我们发布一个Java Web程序通常的做法就是把它打成一个war包，然后用SSH这样的工具把它上传到服务器，并放到相应的目录里，让Tomcat自动去解包，完成部署。很显然，这样做不够方便，且我们在用SSH把文件拽上去的时候很可能会搞错。(当然了大厂就不会有这样的问题，因为人家有运维团队专门来干这个事情，哈哈)现在我要的是：一行命令部署到本地服务器，在本地测试一番，没有问题的话就
2016-09-06 11:03:23
283
转载 外键以及外键约束简介
SQL FOREIGN KEY 约束一个表中的 FOREIGN KEY 指向另一个表中的 PRIMARY KEY。让我们通过一个例子来解释外键。请看下面两个表："Persons" 表：Id_PLastNameFirstNameAddressCity1AdamsJohnOxford S
2016-07-13 16:41:36
789
原创 有关MySQL驱动的相关问题与解决方法
1.the server time zone value aest is unrecognized or represents more than one time zone或者check your url解决方法：换连接驱动，例如版本MySQL5.6对应连接驱动5.1.17，Driver Name：com.mysql.jdbc.Driver
2016-06-24 14:03:33
1180
转载 Java开发常用的在线工具
作为一个Java开发人员，经常要和各种各样的工具打交道，除了我们常用的IDE工具以外，其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。博主偏爱使用在线工具，因为个人觉得这样比较方便。本文就总结了一下我常用的在线工具。欢迎纠正及补充。我会在我的个人博客(http://www.hollischuang.com)中单独创建一个常用工具页面，把这些工具的链接放到里面，我会持续更新这个页
2016-06-07 17:47:06
419
转载 Java开发常用的在线工具
作为一个Java开发人员，经常要和各种各样的工具打交道，除了我们常用的IDE工具以外，其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。博主偏爱使用在线工具，因为个人觉得这样比较方便。本文就总结了一下我常用的在线工具。欢迎纠正及补充。我会在我的个人博客(http://www.hollischuang.com)中单独创建一个常用工具页面，把这些工具的链接放到里面，我会持续更新这个页
2016-06-07 17:46:43
323
转载 Java编程性能优化一些事儿
在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。1. 尽量在合适的场合使用单例使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面：第一，控制资源的使用，通过线程同步来控制资源的并发访问；第二，控制实例的产生，以达到
2016-06-07 16:03:13
510
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人