- 博客(31)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
# ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台## 引言什么要做日志分析平台？随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。## 待解决的痛点:1、大量不同种类的...
2020-06-06 10:59:14
937
原创 alertmanager 钉钉告警
Linux 监控系统监控架构 监控系统是由prometheus、grafana 、alertmanage 、node_exporter模块组成，可以对本机和多台机器进行监控，下面将对各个模块进行简单的介绍 node_exporter：用于数据采集，该模块将部署在被监控的机器上，也可以部署在控制机上对本机进行监控； prometheus...
2019-10-24 17:23:45
2381
1
转载 ubuntu 安装新版本go
获取最新的软件包源，并添加至当前的apt库add-apt-repository ppa:longsleep/golang-backports 更新 apt库apt-get update 安装gosudo apt-get install golang-go
2019-10-11 18:10:08
862
转载 linux 添加到用户组
usermod -G groupname username (这种会把用户从其他组中去掉，只属于该组)如：usermod -G duke linuxprobe(probe扩展了duke组)usermod -G googlelinuxprobe ，如果这样的命令，再进行扩展，则只会覆盖原来的duke扩展组usermod -a -G groupname username (把用户添加到这...
2019-10-11 11:05:56
177
原创 fabric多orderer节点环境搭建的详细过程
## 引言文章写了块两年了，一直在公司内部分享，今天存放在这里，也算做个记录吧本文配置结构为3台kafka，2个orderer,4个peer其中kafka需要安装jdk,peer需要安装go和docker因为实际环境需要，本文全部都是离线安装，安装详见附件系统 Ubuntu 16.04.3## hosts将hosts复制到所有主机中```shellvim...
2019-05-17 10:55:16
3257
原创 JDK安装
1.简单的安装方法yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel #安装openjdk 安装JDK的最简单方法应该就是使用apt-get来安装了，但是源一般是OpenJDK，如果需要安装Oracle的JDK这种方法就不合适了，直接跳过看下面的章节。 1.使用ctrl+alt+t打开终端，你可以添加一个...
2018-11-20 17:24:47
200
转载 Ubuntu 16.04下添加新用户
某些情况下，Ubuntu 使用useradd 新用户名，在home 文件夹下面看不到新创建的用户文件夹，例如：root@worker:/home/kuku# useradd spark root@worker:/home/kuku# passwd spark Enter new UNIX password: Retype new UNIX password: passwd: pass...
2018-08-16 10:17:31
1054
转载 linux 常用命令
查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式 （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。 （2）基本元字...
2018-07-28 22:32:02
172
转载 Naxsi+nginx前端保护
官网即下载地址https://github.com/nbs-system/naxsi/releases参考网址https://www.123admin.com/how-to-setup-and-configure-naxsi-for-nginx-on-centos/解压tar zxvf naxsi-0.56rc1.tar.gz运行nginx -V然后...
2018-07-23 21:07:55
959
转载 apt安装nginx最新版
sudo apt-get install software-properties-commonsudo add-apt-repository ppa:nginx/stable sudo apt-get updatesudo apt-get install nginx
2018-07-18 09:38:03
2306
转载 Apache ab性能测试结果分析
一直以来我都是用Loadrunner去做性能测试。Loadrunner实际上是一个很重的性能测试工具。他的功能很全面，是一把很好的牛刀。 如果我们只是需要对一个页面做简单的性能测试，使用Loadruner这把牛刀就不是一个很好的选择了。 所以就找了把小刀－－ab来试试。这把小刀真的是轻巧又锋利，在这里就记录一下对ab测试过程中的一些自己的理解，供大家参考。 我们就拿百度首页来祭刀吧。首先你得...
2018-05-09 17:59:04
1928
转载 inux中，如何把一个目录及其子目录中的读写权限交给一个普通用户！
1.更改所有者:chown -R 用户 目录2.更改权限:chmod -R 755 目录linux ls和 ll 命令ll 命令列出的信息更加详细，有时间，是否可读写等信息 ll命令和ls -l命令结果区别：上面结果说明：各个字段的含义：文件属性 文件数 拥有者 所属的group 文件大小 建档日期 文件名 drwx------ 2 Guest users 1024 Nov 21 21:05 ...
2018-04-25 11:02:30
10514
原创 RedHat Linux 7安装CentOS 7 yum源
由于Red Hat Enterprise Linux 7 的更新包只对注册的用户生效，所以需要自己手动更改成CentOS 的更新包，CentOS几乎和RedHat是一样的，所以无需担心软件包是否可安装，下面是安装步骤。# 删除redhat自带的yum包rpm -qa|grep yum|xargs rpm -e --nodeps# 注意:单个的安装包可能会依赖其它包（例如yum和yum-fastes...
2018-03-13 18:30:58
408
转载 mysql--实现oracle的row_number() over功能
有时候我们想要得到每个分组的前几条记录，这个时候oracle中row_number函数使用非常方便，但可惜mysql没有。网上搜了些实现方法。表flow_task有phaseno（序列号），objectno（编号）等几个字段，我们想实现根据编号字段分组，然后组内根据序列号排序功能 select @rownum:=@rownum+1 rownum,a.objectno,a.phaseno, ...
2018-03-06 10:43:11
919
转载 Ubuntu Nginx 开机自启动
update-rc.d命令，是用来自动的升级System V类型初始化脚本，简单的讲就是，哪些东西是你想要系统在引导初始化的时候运行的，哪些是希望在关机或重启时停止的，可以用它来帮你设置。首先 我们需要在 /etc/init.d/目录下创建一个nginx的脚本文件，命令 vi nginx 输入以下内容1234567891011121314151617181920212223242526272829...
2018-02-23 11:24:33
840
转载 超详细nginx配置文件
user work work; //运行nginx的用户(组)worker_processes auto; //work进程数1个主进程pid /opt/soft/nginx/run/nginx.pid; //pid存放位置error_log /opt/log/nginx/localhost/error.log error; //全局nginx运行时 error ...
2018-02-23 10:22:50
226
转载 服务器运维及部署
建立新的账号及密码给root账户修改密码$ passwd注意：完成後不要登出系統，使用另一個視窗用新密碼嘗試登入，即使失敗也可以在原來的視窗重複以上步驟。新建一个账号$ adduser bigertech$ passwd bigertech //修改该用户密码工具安装与配置接下来我们需要给这台服务器安装必备的工具，包括以下几项，本文将给出工具的安装方法及常见问题的解决。nginxn
2017-12-04 16:22:18
5943
转载 安装node-sass的正确姿势
安装 node-sass 的时候总是会各种不成功，今天我琢磨了一会儿总算知道要怎么解决了。首先要知道的是，安装 node-sass 时在 node scripts/install 阶段会从 github.com 上下载一个 .node 文件，大部分安装不成功的原因都源自这里，因为 github Releases 里的文件都托管在 s3.amazonaws.com 上面，而这个网址在国内总是
2017-11-29 16:56:27
19557
转载 java8 使用Map中的computeIfAbsent方法构建本地缓存，提高程序效率
一、概念及使用介绍 在JAVA8的Map接口中，增加了一个方法computeIfAbsent，此方法签名如下：public V computeIfAbsent(K key, Functionsuper K,? extends V> mappingFunction) Map接口的实现类如HashMap,ConcurrentHashMap,HashTable等继承了此方法
2017-11-28 11:40:37
2149
转载 ScheduleThreadPoolExecutor的工作原理与使用示例
1. ScheduleExecutorService接口、ScheduledFuture接口从图中可以看出ScheduledExecutorService接口继承了ExecutorService接口，同时还添加了有关提交定时任务的四个方法。12345678910
2017-11-28 10:03:15
854
原创 spring mvc 通过字节流返回图像
/** * 通过url请求返回图像的字节流 */ @RequestMapping("icon/{cateogry}") public void getIcon(@PathVariable("cateogry") String cateogry, HttpServletRequest request,
2017-11-27 22:34:21
9660
转载 java枚举类型enum的使用
java 枚举类型enum 的使用最近跟同事讨论问题的时候，突然同事提到我们为什么java 中定义的常量值不采用enmu 枚举类型，而采用public final static 类型来定义呢？以前我们都是采用这种方式定义的，很少采用enum 定义，所以也都没有注意过，面对突入起来的问题，还真有点不太清楚为什么有这样的定义。既然不明白就抽时间研究下吧。Java 中的枚举类型采用关键字enum
2017-11-24 14:29:42
217
原创 linux grep 正则表达式
grep正则表达式元字符集： ^ 锚定行的开始 如：'^grep'匹配所有以grep开头的行。 $ 锚定行的结束 如：'grep$'匹配所有以grep结尾的行。 . 匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。 * 匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。 .*一起用代表任意字符。 [] 匹配一个指定范
2017-11-17 16:29:58
251
转载 mysql 遇到了Invalid default value for 'created_at'的错误
在创建表的时候遇到了Invalid default value for 'created_at'的错误，不知道什么原因造成的。CREATE TABLE `test` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `title` varchar(255) COLLATE utf8_unicode_ci NOT NULL, `crea
2017-11-15 14:54:20
15907
1
转载 Ubuntu16.04.1 安装Nginx
Ubuntu/CentOS 系统上安装与配置Nginx一、在线安装： Ubuntu：sudo apt-get install nginx CentOS: sudo yum install nginx二、安装后的位置： 1、服务地址：/etc/init.d/nginx 2、配置地址：/etc/nginx/ 如：/etc/nginx/ngin
2017-11-13 16:55:15
436
转载 Ubuntu16.04下安装redis并实现helloworld
保证网络畅通，选定好下载工作路径，执行以下命令下载redis-3.2.6：sudo wget http://download.redis.io/releases/redis-3.2.6.tar.gz1 解压该文件：sudo tar -zxvf redis-3.2.6.tar.gz1 会在当前目录下生成文件夹redis-3.2.6，我把它移动到了/usr/redis目录下： ...
2017-11-13 11:35:36
224
转载 Git pull避免用户名和密码方法
linux下1. 在~/下， touch创建文件 .git-credentials, 用vim编辑此文件，输入： https://{username}:{password}@github.com 注意去掉{}2. 在终端下执行 git config --global credential.helper store3. 可以看到~/.gitconfig文件，会多了一项： [crede...
2017-11-13 09:52:50
1439
转载 Ubuntu上安装MySQL非常简单只需要几条命令就可以完成
1. sudo apt-get install mysql-server2. apt-get isntall mysql-client3. sudo apt-get install libmysqlclient-dev安装过程中会提示设置密码什么的，注意设置了不要忘了，安装完成之后可以使用如下命令来检查是否安装成功：sudo netstat -tap | grep mysql通过上述命令检查之后...
2017-11-10 15:48:45
250
转载 Java中用单例模式有什么好处
Java中用单例模式有什么好处Java Singleton模式主要作用是保证在Java应用程序中，一个类Class只有一个实例存在。 使用Singleton的好处还在于可以节省内存，因为它限制了实例的个数，有利于Java垃圾回收（garbage collection）。我们在浏览BBS、SNS网站的时候，常常会看到“当前在线人数”这样的一项内容。对于这样的一项功能，我们通常的做法是
2017-11-10 00:42:09
277
转载 MD5 升级优化 加盐
背景:现在很多公司使用MD5存放用户密码，但是当摘要过的MD5值泄漏出去后还是有很大可能通过别的方法获得原文。通过以下网站很容易获得原文http://www.cmd5.com/http://pmd5.com/"123456":e10adc3949ba59abbe56e057f20f883e"888888":21218cca77804d2ba1922c33e015
2017-11-08 23:23:31
485
原创 maven项目自动git打包发布重启Tomcat
shell 脚本下载废话不多说直接上脚本#!/bin/bash#Timelog_time=`date +[%Y-%m-%d]%H:%M:%S`###manual_properties###project_name=shuxin-javatomcat_basehome=/var/apache-tomcat-7.0.79_81tomcat_port=80
2017-11-08 23:01:41
407
CentOS 7 yum源安装软件包
2018-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人