redstarofsleep-CSDN博客

原创 xshell5登录ubuntu20.04

由于ssh版本的更新，导致老版本的xshell无法登录ubuntu20.04。更换新版本的xshell7可以登录，但是新的免费版限制了单个窗口最多打开4个tab。感觉还不如老的xshell5好用。要让xshell5能够登录ubuntu20.04的话需要修改以下ssh的配置文件。打开/etc/ssh/ssd_config这个配置文件，在最后加上KexAlgorithms +diffie-hellman-group-exchange-sha256,diffie-hellman-group1-s.

2021-08-03 09:48:08 328 1

原创 Hadoop全分布安装--使用JournalManager

我是在ubuntu上安装的Hadoop，ubuntu版本14.04和16.04都有，关系不大。使用了3台服务器。总共安装了2个nameNode，3个dataNode，3个journalNode下面是安装步骤：1. 安装JDK：我安装的是1.8。 jdk安装方法，参照以前的： https://blog.csdn.net/redstarofsleep/article/detail...

2018-10-12 13:38:37 692

原创 spark streaming流式处理kafka中的数据（java）

spark streaming是spark中用来处理流式数据的，用来对接各类消息队列是极好的。spark streaming并不是真正实时的流式处理，它本质上还是批处理，只是每一个批次间隔的时间很短。我是用java来写的。跟大佬们的scala不能比，没有scala简洁。。先是maven需要依赖的spark-kafka包：<dependency> <gro...

2018-07-19 10:39:11 6553 2

原创 spark独立集群管理器的安装配置

我是在ubuntu14.04上安装配置spark的。spark的版本是2.3.0。首先是很重要的准备工作，配置各台机器的主机名hostname。可先输入命令hostname查看机器的当前主机名。编辑/etc/hostname，修改主机名，每台机器都改成不一样的。改完后再输入hostname查看，会发现没变，改了这个文件是要重启后才会变的。直接执行hostname <主机名>即可...

2018-07-19 09:49:44 944

原创 Docker容器中运行nginx

Dockerfile如下：FROM ubuntu:14.04MAINTAINER XXX "[email protected]"RUN mv /etc/apt/sources.list /etc/apt/sources.list.bakWORKDIR /etc/aptRUN touch sources.listRUN echo "deb http://mirrors.ustc.edu.cn/ub...

2018-03-30 14:25:40 1605

原创 Docker容器中运行flume

flume配置文件如下：# Name the components on this agentapp1.sources = r1app1.sinks = k1app1.channels = c1# Describe/configure the sourceapp1.sources.r1.type = avroapp1.sources.r1.bind = 0.0.0.0app1.so...

2018-03-30 14:11:13 4090 1

原创 Springboot整合log4j2并将日志发送到flume

springboot整合log4j2大体步骤是很简单的，只是中间有一些小细节需要注意。首先pom文件中增加log4j2<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artif...

2018-03-21 15:35:56 5424 1

原创 springboot整合AOP（JointPoint找不到）

springboot整合aop按照例子本来很简单，但是过程中间有可能会有一个坑。先来官方标准做法：我的springboot用的版本是1.5.6.RELEASE。在pom.xml中加入aop的依赖就可以了：<dependency> <groupId>org.springframework.boot</groupId> <artif...

2018-03-08 10:22:21 1885

原创 Zookeeper集群的安装与配置

Zookeeper集群的安装配置实际上非常简单，只需编辑几个配置文件即可。有一点需要注意的，Zookeeper集群中Zookeeper服务的数量尽量是奇数个，因为Zookeeper的仲裁机制要求超过半数的服务正常才可以，所以如果是4个的话，那两个正常是无法工作的，必须要3个正常才行。因此zookeeper集群中服务的数量就至少是3个，这样的话保证2个不挂掉就能正常工作。下面是具体的配置过程

2017-11-21 16:33:19 493

原创 springboot整合mongodb

springboot访问mongodb，官方已经有了很好的集成。首先建立依赖： org.springframework.boot spring-boot-starter-data-mongodb 然后在配置文件中配置mongodb的连接地址，用户名和密码spring.data.mongodb.uri=mongodb://user:pass

2017-09-30 10:42:33 563

原创 springboot整合mybatis

springboot整合mybatis需要依赖org.mybatis.spring.boot，相应数据库的jdbc包当然也是要加的 org.mybatis.spring.boot mybatis-spring-boot-starter 1.3.1 然后在springboot的配置文件中加入数据库连接的相关信息：spring.datas

2017-09-29 10:08:05 350

原创 springboot整合activemq

springboot整合activemq是非常简单的。首先依赖spring-boot-starter-activemq。 org.springframework.boot spring-boot-starter-activemq 然后在配置文件中设置activemq的相关参数：spring.activemq.broker-url=tcp:

2017-09-29 09:48:53 484

原创 ubuntu下配置网络(IP、网关、DNS)

命令行下直接配置：配置IP和子网掩码：ifconfig eth0 192.168.2.1 netmask 255.255.255.0设置网关：route add default gw 192.168.2.254命令行下直接配置在机器重启后就无效了，需要重新配置。要一直有效就需要改配置文件进行配置打开配置文件：/etc/network/interfaces配置文件中已

2017-08-23 09:38:12 4389

原创初识hadoop--（2）通过java操作hdfs

要通过本地windows上的java代码操作远程hdfs，首先需要在windows上装个小工具：https://github.com/steveloughran/winutils官方提供的工具。然后配置环境变量指向这个工具的安装路径：HADOOP_HOME: C:\Users\lhc\myapp\hadoop-2.7.1然后还要修改host文件（文件位置C:\Windo

2017-08-15 13:11:11 380

原创初识hadoop hdfs--（1）安装

我是在ubuntu14.04上安装的最简单的单点的hadoop，按照官方文档安装的。首先要安装几个必备的软件1. 安装jdk. 从oracle官网下载jdk，jdk-8u77-linux-x64.tar.gz, 然后解压缩tar -xzvf jdk-8u77-linux-x64.tar.gz配置环境变量：在/etc/profile最后追加export JAVA_HOME=/usr/

2017-08-15 12:51:48 367

转载 nginx配置https【转】

nginx要实现ssl，在编译时要添加--with-http_ssl_module，如：./configure --with-http_ssl_module#cd /usr/local/nginx/conf#mkdir ssl#cd ssl生成一个私有key# openssl genrsa -des3 -out aoshiwei.com.key 1024提示输入密码

2017-08-10 13:24:21 394

原创 docker中运行activemq

Dockerfile如下：FROM ubuntu:14.04MAINTAINER *** "****@*****.com"RUN apt-get updateADD jdk-8u77-linux-x64.tar.gz /usr/local/javaRUN cp /etc/profile /etc/profile.bakENV JAVA_HOME /usr/local/java/jdk

2017-08-08 16:10:27 3346

原创 docker中运行redis

Dockerfile如下：FROM ubuntu:14.04MAINTAINER ******* "***@******.com"RUN apt-get updateRUN apt-get install -y redis-serverRUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN echo "Asia/S

2017-08-08 16:05:54 362

原创用Dockerfile构建java web环境（2）

Dockerfile有两种写法：（1）FROM ubuntu:14.04MAINTAINER *** "***@******.com"RUN apt-get updateADD jdk-8u77-linux-x64.tar.gz /usr/local/javaRUN cp /etc/profile /etc/profile.bakENV JAVA_HOME /usr/local/

2017-08-07 15:59:49 497

原创 nginx代理udp

nginx是支持udp或者tcp的代理或者负载均衡的。是通过stream模块来支持udp的。首先在编译过程中就需要开启stream模块：./configure --prefix=/usr/local/nginx --with-pcre=/home/temp/nginx/pcre-8.32 --with-zlib=/home/temp/nginx/zlib-1.2.8 --with-open

2017-08-07 13:34:16 3935

原创 nginx负载均衡及主备配置

先负载均衡nginx的负载均衡有4种模式：1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。 2)、ip_hash 每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端

2017-07-06 16:54:38 13516

原创 docker容器时区与宿主机不一致的解决方法

一般情况下，我们的宿主机服务器的时区都是在东八区，而docker容器里却是在零时区。这样就导致了时间差了8个小时，所以需要把容器的时间也设置成东八区。在dockerfile中的设置如下：RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN echo "Asia/Shanghai" > /etc/timezone

2017-03-08 14:19:55 4536

转载 apt-get常用命令

一，什么的是apt-get高级包装工具（英语：Advanced Packaging Tools,简称：APT）是Debian及其衍生发行版（如：ubuntu）的软件包管理器。APT可以自动下载，配置，安装二进制或者源代码格式的软件包，因此简化了 Unix系统上管理软件的过程,apt-get命令一般需要root权限执行，所以一般跟着sudo命令。二，apt-get中文参数用法：ap

2017-01-06 15:35:33 362

原创 docker常用命令

docker run 从镜像运行一个容器 -i 标准输入 -t tty终端 --name 指定容器的名字，需唯一，不指定的话会自动随机分配一个名字 -d 使容器在后台运行 -p 主机端口：docker容器端口将容器端口映射到主机端口 -w 设置工作目录，即先cd进入该目录再执行命令 -e “xxx” 传递环境变量

2016-12-22 15:41:19 692

原创用Dockerfile构建java web环境

用dockerfile构建一个java的web环境，主要分为2步，第一步是在镜像中安装jdk并配置环境变量，第二步是安装tomcat。先贴一下完整的dockerfileFROM ubuntu:14.04MAINTAINER *** "***@******.com"RUN apt-get updateADD jdk-8u77-linux-x64.tar.gz /usr/local/ja

2016-12-15 12:44:21 2008

转载 MySQL日志格式 binlog_format【转】

MySQL 5.5 中对于二进制日志 (binlog) 有 3 种不同的格式可选：Mixed,Statement,Row，默认格式是 Statement。总结一下这三种格式日志的优缺点。MySQL Replication 复制可以是基于一条语句 (Statement Level) ，也可以是基于一条记录 (Row Level)，可以在 MySQL 的配置参数中设定这个复制级别，不同复制级别

2016-12-13 16:15:01 2683

原创 mysql主备

mysql的实时主备就是保持两个mysql的数据同步，主备及一主一备，对主数据库的操作也会实时反应到备数据库中。数据库的主备是实现读写分离、容灾备份、负载均衡等的基础。 mysql的主备是mysql本身就提供的功能，我们只需要对数据库进行配置就可以了。mysql的主备的原理也不是很复杂，就是主数据库（master）会把自己的每一次改动都记录到二进制日志 Binarylog 中。从数据库

2016-12-09 16:24:26 1554 1

原创 Centos7安装mysql

首先去官方网站下载yum仓库 http://dev.mysql.com/downloads/repo/yum/；下载需要的版本对应的rpm文件，比如现在最新的是mysql57-community-release-el7-9.noarch.rpm然后安装这个rpm: rpm -Uvh mysql57-community-release-el7-9.noarch.rpm接下来就

2016-11-04 10:23:29 462

转载 Centos7忘记root密码时重置

1 - 在启动grub菜单，选择编辑选项启动2 - 按键盘e键，来进入编辑界面3 - 找到Linux 16的那一行，将ro改为rw init=/sysroot/bin/sh4 - 现在按下 Control+x ，使用单用户模式启动5 - 现在，可以使用下面的命令访问系统chroot /sysroot6 - 重置密码passwd root7 - 更新系

2016-10-25 15:37:40 549

原创 Linux下配置tomcat自启动

在/etc/rc.local中添加jdk和tomcat的启动脚本路径即可export JAVA_HOME=/usr/local/java/jdk1.8.0_73/home/server/apache-tomcat-6.0.35/bin/startup.sh

2016-09-29 10:57:19 363

原创 CAS单点登录六-Restful API

CAS-server提供了restful api供调用，要开启restful服务，首先要找到与之对应的jar包。cas源代码里cas-server-integration-restlet这个工程就是支持restful的模块，编译出来后得到一个jar包，3.6之前的版本也可以直接下载到这个jar包。把jar包cas-server-integration-restlet-3.5.2.jar，放

2016-06-28 17:05:38 14395 9

原创 CAS单点登录五-使用http而不是https

配置https是有些许麻烦的，那能不能让cas使用http协议，而不用https呢，答案是可以的。首先要把cas-client所在的项目的web.xml里cas-server的两个url改成http的。只改web.xml也是能跑起来的，你会发现也能登录，但是这时候不是单点的，即在应用A通过cas-server登录后切换到应用B，会发现仍然要求登录。

2016-06-27 16:58:35 5129

原创 docker安装及镜像加速

我是在ubuntu14.04上安装docker的，ubuntu14.04直接安装docker都不需要安装额外的依赖包当然安装前最好更新一下软件源apt-get update通过官方脚本即可完成安装$ curl -ssl https://get.docker.com/ | sh就这么简单，只要这一条命令。https://git.docker.com就是安装脚本，直接执行，让它安装

2016-04-26 15:43:39 4121 1

原创 CAS单点登录四-单点登出

实现最基本的单点登出只需在client处的web.xml中加入一个过滤器和一个监听器 <listener> <listener-class>org.jasig.cas.client.session.SingleSignOutHttpSessionListener</listener-class> </listener&...

2016-04-19 14:58:30 5153 2

原创 CAS单点登录三-客户端获取登录信息

通过上篇的配置，登录是从数据库中进行验证了。http://blog.csdn.net/redstarofsleep/article/details/51144809那么现在要解决的问题是，客户端怎么知道登录者是谁呢？如何获取登录者的信息。首先还是打开deployerConfigContext.xml这个配置文件找到id为attributeRepository的bean。默认这个bean配置的应该是...

2016-04-13 17:34:05 15040 1

原创 CAS配置二-通过数据库进行登录验证

上一篇记录了搭建基本的CAS单点登录服务器： http://blog.csdn.net/redstarofsleep/article/details/51135105在实际中，用户信息都是存储在数据库中的，所以就需要配置数据库认证：首先在cas-server-webapp的WEB-INF目录下找到deployerConfigContext.xml这个Spring配置文件，在文件中找到S

2016-04-13 17:07:18 4623 1

原创 cas单点登录搭建

CAS是一个开源的单点登录解决方案。github地址：http://jasig.github.io/cas具体什么是单点登录，以及其基本原理，这里先不写了，下次再具体写。今天只记录一下cas的基本搭建过程。首先从它的网站上下载cas-server。最新的4.2.x的是通过gradle构建的，如果不会用grad了就找稍微老一点的版本，以前的版本是可以用maven构建的。如果maven也不会用，或者懒...

2016-04-12 17:41:29 3904

原创 Servlet3--基于注解的servlet

在Servlet2.5及以下版本时，每写一个Servlet都需要在web.xml中进行配置。从Servlet3.0开始，Servlet可以使用注解进行配置，无需再在web.xml中配置了。@WebServlet(name="HelloServlet", urlPatterns="/HelloServlet")public class SampleServlet extends Ht

2016-02-13 16:25:25 1747

转载 PMP考试中项目管理过程组与知识领域对应关系

项目管理过程组与知识领域

2016-01-19 11:45:39 1398

转载 Linux 技巧：让进程在后台运行

本文转自： http://www.ibm.com/developerworks/cn/linux/l-cn-nohup/我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务，结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢？下面举了一些例子，您可以针对不同的场景选择不同的

2015-11-18 11:09:51 3246