- 博客(56)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 使用Redis Pipeline管道技术，批量导入Redis 500万条记录（借助Mysql生成csv文件）
本文是基于Python2.7.5版本写的shell脚本，目的是在CentOS7.3上执行Redis Pipeline管道操作命令，以批量导入Redis 500万条记录，下面是详细操作步骤。步骤一：在Mysql5.7上创建一个Stored Procedure，在表demo_data中导入Mysql模拟的500万条记录：登陆Mysql:Mysql -hlocalhost -uroot -p登陆成功后，切换到要导入数据的数据库实例。然后，创建表demo_data：CREATE T
2021-04-25 19:41:10
1086
原创 CentOS7.6安装配置Redis6.0.9
总体规划系统版本：CentOS7.6 X64Redis版本： 6.0.9IP地址： 192.168.1.201集群模式： 暂定standlone，以后扩展成cluster安装步骤1.下载Redis官网6.0.9版本：到官网先下载tar.gz包，下载URL：https://download.redis.io/releases/redis-6.0.9.tar.gz可以在下载完成后，拷贝到你指定的目录下，如我下载的目录为：/home/software也可以.
2021-01-24 01:56:11
653
原创 MySQL远程连接报错 Host xxx is not allowed to connect to this MySQL server
一看到这个错误：Host xxx is not allowed to connect to this MySQL server第一反应应该就是MySQL的远程连接未开启，解决办法如下：1.在本机命令行登录：mysql -u root -p输入密码2.登录mysql后，切换到mysql:use mysql;3.执行授权sql：update user set host = '%' where user = 'root';4.授权立即生效：FLUSH PRIVILEGES
2020-11-29 18:45:11
568
原创 Kafka的几个常用命令
集群中创建主题bin/kafka-topics.sh --create --zookeeper 192.168.1.201:2181,192.168.1.202:2181,92.168.1.203:2181 --replication-factor 3 --partitions 3 --topic jackTopic集群中查看主题bin/kafka-topics.sh --list --zookeeper 192.168.1.201:2181,192.168.1.202:2181,92.168.1.
2020-11-28 00:09:27
676
原创 Linux 压缩和解压缩命令
打包成tar.gz格式压缩包# tar -zcvf package.tar.gz /package解压tar.gz格式压缩包# tar zxvf package.tar.gz打包成tar.bz2格式压缩包# tar -jcvf package.tar.bz2 /package解压tar.bz2格式的压缩包# tar jxvf package.tar.bz2压缩成zip格式# zip -q -r package.zip package/解压zip格式的压缩包
2020-11-15 16:49:38
665
原创 CentOS7.6 Nginx1.61.1日志按日期切割
文件名：/usr/local/nginx/split_log.sh脚本内容：#!/bin/bash##设置日志文件存放目录LOG_PATH="/var/log/nginx/"#定义日期格式RECORD_TIME=$(date -d "yesterday" +%Y-%m-%d+%H:%M)#设置pid文件PID=/var/run/nginx/nginx.pid#重命名日志文件mv $LOG_PATH/access.log $LOG_PATH/access.$RECORD..
2020-11-01 14:35:51
224
原创 CentOS7.6系统申请和安装私有CA证书
CentOS7.6上，以root用户操作cd /etc/pki/CA/执行如下，注意有左右英文下的括号：(umask 077; openssl genrsa -out private/cakey.pem 1024)openssl req -new -x509 -key private/cakey.pem -out cacert.pem -days 365touch index.txt serialecho "10001" > serialmkdir csr-------
2020-11-01 11:27:02
904
原创 CentOS7.6下Nginx热部署步骤
Nginx热部署步骤1. 备份旧的nginx二进制可执行文件 cp nginx nginx.bak2. 向Nginx的Master主进程发送SIGUSR2命令，在原来的master和worker子进程上创建新的master和worker进程 此时，新旧master和worker并行存在 kill -s SIGUSR2 $Master_PID3. 查看进程pid所在目录，此时多了个文件: nginx.pid.oldbin 查看进程pid目录： ll /var/r...
2020-10-26 16:10:59
216
原创 CentOS7.6配置nginx1.16.1的环境变量
1.编辑/etc/profile文件 sudo vi /etc/profile 2.添加export export NGINX_HOME=/usr/local/nginxexport PATH=$PATH:$NGINX_HOME/sbin 3.保存退出 :wq！ 4.使修改生效source /etc/profile 5.验证 nginx -v 6.配置别名 1）配置...
2020-10-25 23:08:04
725
1
原创 CentOS7.6 卸载Nginx1.16.1
1:停止Nginx软件service nginx stop2:删除Nginx的自动启动chkconfig nginx off3:从源头删除Nginxrm -rf /usr/sbin/nginxrm -rf /etc/nginxrm -rf /etc/init.d/nginx4:再使用yum清理yum remove nginx5: 结束
2020-10-25 20:27:07
287
原创 CentOS7.6安装配置Nginx1.61.1
1.安装依赖： yum install gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 或者直接执行一条命令安装全部依赖包： yum install gcc-c++ -y pcre pcre-devel zlib zlib-devel openssl openssl-devel2.下载或上传安...
2020-10-25 11:39:49
207
原创 解决java.lang.ClassCastException: class java.lang.Integer cannot be cast to class java.lang.Long异常
下面代码段，用jdbcTemplate.queryForMap查询数据库表的ID时，虽然编译通过没有报错，但会有问题：try { Map<String,Object> userPo = jdbcTemplate.queryForMap("select * from auth_user where username='" + username + "'"); if (userPo == null) { throw
2020-07-21 22:58:54
18939
转载 -bash: jps命令未找到...解决办法
转载自：https://blog.csdn.net/leshami/article/details/78562642解决方法：需要安装java-1.X.X-openjdk-devel这个包，他提供了jps这个工具。（1）查找可用的包yum list |grep jdk-develjava-1.6.0-openjdk-devel.x86_64 1:1.6.0.41-1.13.13.1.el7_3 base java-1.7.0-openjdk-dev...
2020-07-19 12:41:04
1009
原创 CentOS7.6用Shell脚本批量启动Zookeeper集群（3个ZK节点）
1.规划三个Zookeeper集群如下：Slave1: 192.168.1.201Slave2:192.168.1.202Slave3:192.168.1.2032.前提：3个节点均已设置了SSH免密登录注： 如何配置CentOS7上的SSH免密登录，参考文章：https://blog.csdn.net/ywd1992/article/details/1005193583.在3个节点中的任意一台机器登录，创建启动脚本：1）脚本名称：touch start_zk_...
2020-07-19 11:22:45
633
原创 CentOS7.6 SSH免密登录配置报错
今天配置Linux的SSH免密登录1.报错如下：Authentication refused: bad ownership or modes for directory /root/.ssh2.原因目录/root/.ssh权限，其owner是root:root，权限是777。但是SSH不希望/root/.ssh目录和~/.ssh目录对组有写权限。3.解决修改目录/root/.ssh的权限，按照下面修改：ssh对相关文件夹的权限要求如下：1）.ssh目录的权限必须是700；2
2020-07-19 00:20:48
320
原创 Centos7.6安装和配置最新版Nginx服务
1. 使用EPEL仓库中的Nginx安装包。先运行下面的命令来完成安装epel仓库：sudo yum install epel-release2. 输入以下命令来安装 Nginx：sudo yum install nginx3.设置Nginx开机启动：sudo systemctl enable nginx4.启动 Nginx：sudo systemctl start nginx5.运行以下命令，检查Nginx运行状态，正常启动nginx后，状态应为active：..
2020-07-18 00:34:51
683
原创 CentOS7.6安装和配置Kafka集群（三个节点，亲测通过）
三个节点规划如下（实验环境与ZK Server一致，实际生产环境需要独立部署在不同的实际服务器或Docker容器）：Master: 192.168.1.201Slave1:192.168.1.33Slave2:192.168.1.203Zookeeper版本：zookeeper-3.4.12Kafka版本：kafka_2.12-2.3.0安装配置步骤：1.安装配置zookeeper集群（三个节点） 详细步骤见前一篇文章，地址：https://mp.csd...
2020-07-09 00:17:38
855
原创 CentOS7.6安装和配置Zookeeper集群（三个节点，亲测通过）
三个节点集群规划：Master: 192.168.1.201Slave1:192.168.1.33Slave2:192.168.1.203Zookeeper版本：zookeeper-3.4.121.下载zookeeper.3.4.12.tar.gz下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz然后解压：tar -xzvfzooke...
2020-07-09 00:16:33
578
原创 用SXSSFWorkbook导出50万条数据到本地Excel文件（简单实现例子）
不废话，上代码：import org.apache.poi.ss.usermodel.Cell;import org.apache.poi.ss.usermodel.Row;import org.apache.poi.ss.util.CellReference;import org.apache.poi.xssf.streaming.SXSSFSheet;import org.apa...
2018-09-10 17:07:31
5440
原创 Linux环境的ECS中，解决中文显示为乱码的情况
一般原因如下: 1. 未安装中文语言包2. 未设置正确的默认语言3. SSH 终端未正确配置1.设置系统语言为中文：sudo vim /etc/default/locale将内容改为：LANG="zh_CN.UTF-8"LANGUAGE="zh_CN:zh:en_US:en"2.执行下面命令，安装中文语言包：sudo apt-get inst
2018-01-07 22:07:30
1426
4
原创 Linux递归统计当前目录下普通文件的数量
Linux递归统计当前目录下普通文件的数量：ls -lR |grep "^-"|wc -l或者：ls -lR | grep -c "^-"递归统计方式: ls -lRLinux常见的文件类型有：普通文件、目录文件、字符设备文件和块设备文件、符号链接文件等，其中：1 普通文件的文件权限第一个字符为"-"2 目录文件的文件权限第一个字符为"d"3 字符设备文件的文件权限
2018-01-07 22:06:17
13738
原创 Win7安装与配置RabbitMQ
1.安装下载Erlang，地址：http://www.erlang.org/download/otp_win32_R15B.exe，双击安装即可（首先装）下载RabbitMQ，地址：http://www.rabbitmq.com/releases/rabbitmq-server/v3.3.4/rabbitmq-server-3.3.4.exe ，双击安装即可下载rabbit-clien
2018-01-07 22:04:50
1633
1
原创 阿里云Ubuntu16.04 LTS上安装与配置RabbitMQ
1、下载rabbitmq-server-generic-unix-3.6.5.tar.xz2、tar -xvf rabbitmq-server-generic-unix-3.6.5.tar.xz3、mv rabbitmq_server-3.6.5/ /usr/local/rabbitmq4、启动： #启动rabbitmq服务 /usr/local/rabbitmq/
2018-01-07 22:01:49
1152
原创 Zookeeper3.4.6与Kafka0.8.1.1集群安装和配置详细步骤
第一步：Zookeeper分布式集群环境的安装与配置准备环境：JDK版本：jdk-7u25-linux-i586.tar.gz #可以命令下载：wgethttp://211.149.198.47/data/main/jdk-7u7-linux-i586.tar.gzkafka版本：kafka_2.9.2-0.8.1.1.tgzzookeeper版本：zookeep
2017-04-24 15:52:11
1396
原创 CentOS6.4卸载和安装jdk7
找到当前系统中已经安装的jdk和java：rpm -qa | grep javarpm -qa | grep jdk 单个卸载程序，使用rpm -e xxx命令。命令行：rpm -e jdk-1.7.0_79-fcs.x86_64 批量卸载所有名字包含jdk的已安装程序。命令行：rpm -qa | grep jdk | xargs rpm -e --nodeps 批量卸
2017-04-24 13:41:39
756
转载 【转载】序列化框架性能对比（kryo、hessian、java、protostuff）
本文转自： http://blog.csdn.net/jmppok/article/details/44409693 ，作者 jmppok，感谢分享序列化框架性能对比（kryo、hessian、Java、protostuff）简介： 优点缺点Kryo速度快，序列化后体积小
2017-04-24 12:44:02
721
转载 /bin/bash^M: bad interpreter: No such file or dire
在执行shell脚本时提示这样的错误主要是由于shell脚本文件是dos格式，即每一行结尾以\r\n来标识，而unix格式的文件行尾则以\n来标识。
2016-01-12 01:15:43
448
转载 JAVA反射机制及应用例子
JAVA 反射机制是Java 被视为动态（或准动态）语言的一个关键性质。这个机制允许程式在运行时通过Reflection APIs 取得任何一个已知名称的class 的内部资讯，包括其modifiers（诸如public, private,static 等等）、superclass（例如Object）、interfaces（例如Cloneable），也包括fields 和methods 的所有
2014-09-30 01:24:26
534
转载 Spring核心包
除了spring.jar文件，Spring还包括有其它13个独立的jar包，各自包含着对应的Spring组件，用户可以根据自己的需要来选择组合自己的jar包，而不必引入整个spring.jar的所有类文件。 (1) spring-core.jar 这个jar文件包含Spring框架基本的核心工具类，Spring其它组件要都要使用到这个包里的类，是其它组件的基本核心，当然你也可以在自
2014-09-30 01:22:50
1111
转载 myeclipse8.5上安装 Maven3.0.5插件
环境准备：JDK 1.6Maven 3.0.4myeclipse 8.6.1安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目，目前最新版本是 3.0.4，我用的也是这个。首先去官网下载 Maven：http://www.apache.org/dyn/closer.cgi/maven/binaries/apa
2014-09-29 00:48:19
1880
转载 BroadLeaf项目搜索功能改进
Broadleaf Commerce 是一个开源的Java电子商务平台，基于Spring框架开发，提供一个可靠、可扩展的架构，可进行深度的定制和快速开发。关于SolrBroadleaf项目中关于商品的搜索使用了嵌入式的Solr服务器，这个从配置文件中可以看出来。项目主页： http://www.broadleafcommerce.com/示例网站： http://demo.
2014-09-28 22:15:33
1058
转载 Java递归搜索指定文件夹下的匹配文件
import java.io.File;import java.util.ArrayList;import java.util.List;import java.util.Queue;/** * @author tiwson 2010-06-02 * */public class FileSearcher { /** * 递归查找文件 * @param baseDi
2014-09-28 03:19:12
810
转载 JAVA递归调用 复制文件夹及子文件夹及文件夹下的文件
import java.io.*; import java.util.*; /** *复制文件 *by lecky.lee *2006-06-08 */ public class CopyFile { String intiPathOut; //初始输出路径 int cnt=0; //计数器，用于判定是否首次调
2014-09-28 03:17:31
705
转载 分布式消息系统Kafka介绍
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。
2014-09-27 22:50:25
507
转载 两道设计模式的面试题
这是最近碰到的2个设计模式的面试题，大概如此： 1, Windows Media Player和RealPlayer是常用的媒体播放器，它们的API结构和调用方法非常不同，现在你的应用需要同时支持调用这2种播放器的API。你要怎么设计？ 2, 现在有一种空调，它支持3种模式：Hot Air，Cool Air 和DoNothing。例如，当选择Hot Air模式时，再
2014-09-27 22:50:19
1748
原创 Java IO中的文件复制实例(原创)
package org.jack.tools.IO;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import
2014-09-27 22:31:05
600
原创 Linux中Sed命令删除字符串中的部分字符
用Sed命令可以把一个字符串中的一些字符删除，比如删除日期#Echo “2006-11-21 22:16:30” | sed ‘s/-//g’ | sed ‘s/ //g’ | sed ‘s/://g’得到的结果就是：20061121221630
2014-09-27 22:29:20
5990
转载 linux查找目录下的所有文件中是否含有某个字符串
查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式 （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。 （
2014-09-27 22:24:06
498
转载 分布式发布订阅消息系统 Kafka 架构设计
英文原文：Kafka Architecture Design我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。活动流数据是所有站点在对其网站使用
2014-09-27 22:04:43
750
Jquery上传插件文件ajaxfileupload.js 修复版下载
2017-09-28
《Hadoop技术内幕：深入解析MapReduce架构设计i与实现原理》迷你书
2013-09-10
Hadoop MapReduce Cookbook
2013-09-10
Java编程中使用动态代理实现AOP功能(附项目设计实例)
2013-08-29
反射实现 AOP 动态代理模式(Spring AOP 的实现原理）
2013-08-26
基于LDAP统一身份认证系统的研究
2013-08-25
Java开发中的Memcache原理及实现
2013-08-25
RedHat安装WebLogic11g软件及Web工程的部署
2013-03-17
[硕士毕业论文]单点登录系统设计与实现
2012-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人