- 博客(72)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 基于jmx的flume的指标采集展示
基于jmx的flume的指标采集展示最近参与一个项目，需求：采集flume指标并通过可视化页面显示。最近参与一个项目，需求：采集flume指标并通过可视化页面显示。flume基于java编写，可以通过配置jmx端口，启用jmx端口，通过jmxtrant采集指标，并写入influxdb，进而通过grafana进行展示。所以本文对这一部分做一个简单介绍。1.启用jmx步骤：在flume的启动脚本中加入如下内容(同理：其他服务开启jmx端口，也可通过如下方式进行配置),然后启动agent:-Dcom.su
2020-05-28 22:24:38
550
转载 构建微服务：Spring boot 入门篇
Spring官方网站本身使用Spring框架开发，随着功能以及业务逻辑的日益复杂，应用伴随着大量的XML配置文件以及复杂的Bean依赖关系。随着Spring 3.0的发布，Spring IO团队逐渐开始摆脱XML配置文件，并且在开发过程中大量使用“约定优先配置”（convention over configuration）的思想来摆脱Spring框架中各类繁复纷杂的配置（即时是Java Confi...
2019-05-08 22:48:44
178
原创 linux之ping
最近遇到一个问题，同时上千台主机同时ping一台主机，导致该主机cpu使用率一直飙升的问题。觉得有必要查找下ping相关知识，记录如下：ping命令介绍：man ping查看如下PING(8) System Manager's Manual: iputils ...
2019-05-07 09:13:29
515
原创 对数组中特定字符串的后缀进行切割
转载自：http://generalcode.cn/archives/255消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事情，但如果生产者写入消息的速度比消费者读取的速度快怎么办呢？这样随着时间增长，消息堆积越来越严重。对于这种场景，我们需要增加多个消费者来进行水平扩展。Kafka消费者是消费组的一部分，当多个消...
2019-02-02 11:02:45
394
原创 ansible基础配置使用
1.安装ansibleyum install ansible -y2.基础配置[1]/etc/ansible/hosts说明：（1）":"表示类似主机名，即db[1:3]表示dbhosts组中主机包含db1,db2,db3（2）“vars”表示组的变量[dbhosts]db[1:3][dbhosts:vars]ansible_ssh_user=test_useransib...
2019-01-26 15:22:39
158
原创 2种垃圾回收器g1和cms
学习背景：更改cms为g1官网推荐配置：https://docs.oracle.com/cd/E40972_01/doc.70/e40973/cnf_jvmgc.htm#autoId2Tuning Garbage Collection with Oracle JDKWhen using Oracle's JDK, the goal in tuning garbage collection ...
2019-01-26 14:48:57
387
原创 提交ambari社区patch方法
提交ambari社区patch方法前提： （1）有git账号（密码是将来提交git时的用户密码） （2）有jira号（没有也没有关系）步骤： （1）登录ambari的jira页面，创建jira。 https://issues.apache.org/jira/projects/AMBARI/issues ，点击创建，根据页面提示创建jira （2）登录git https://g...
2018-04-10 23:15:02
347
转载 有用的20个java小代码
下面是20个非常有用的Java程序片段，希望能对你有用。字符串有整型的相互转换String a = String.valueOf(2); //integer to numeric string int i = Integer.parseInt(a); //numeric string to an int2、 向文件末尾添加内容BufferedWriter out = null; tr
2017-03-22 22:36:23
3251
原创 磁盘检测
最近项目需求，需要有坏盘告警。 查了下有个rpm包：gsmartcontrol使用其smartctl命令可以获取是否坏盘。故代码如下：from resource_monitoring import psutilimport subprocesspdisks = psutil.disk_partitions()#获取分区disks = dict()badnum = 0totalnum =
2017-03-22 22:28:51
482
原创 mvn之pom常用属性
一个包含软连接的pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac
2017-02-16 12:45:21
355
原创 shell文件操作基础
1.判断字符串是否数字if [[ $test != *[!0-9]* ]]; then echo "this is a digest"fi可参考： http://mywiki.wooledge.org/BashFAQ/0542.判断字符串是否是目录或者文件test -d $file或者[-d $file]test -f $file或者[-f $file]例如：if test -f $f
2017-02-04 11:17:46
340
原创 检测坏盘
最近项目需求，需要有坏盘告警。 查了下有个rpm包：gsmartcontrol使用其smartctl命令可以获取是否坏盘。故代码如下：from resource_monitoring import psutilimport subprocesspdisks = psutil.disk_partitions()#获取分区disks = dict()badnum = 0totalnum =
2017-01-20 10:56:06
407
转载 译]badblocks指令
原贴:http://www.linuxfly.org/post/192.htm1412月 [译]badblocks指令 大 | 中 | 小 [2007/12/14 16:40 | 分类: 基础知识 » 系统命令 | by linuxing ] 硬盘是一个损耗设备，当使用一段时间后可能会出现坏道等物理故障。电脑硬盘出现坏道后，如果不及时更换或进行技术处理，坏道就会越来越多，并会造成频
2017-01-13 08:53:34
356
转载 kerberos认证原理---讲的非常细致，易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式有问题，
2017-01-10 15:55:55
1452
转载 hive
转载：http://blog.csdn.net/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查
2016-11-18 18:13:35
1268
原创 linux之history
之前敲击过的命令，每次总是通过history查找，有时候时间长了，难免会时间，无意间发现history也是支持grep的。顿觉方便，现记录如下： （1）history|grep ”例如history|grep ‘wget’：会将之前的wget操作全部列出 （2）如果需要之前某个命令，只需要命令 !num即可
2016-11-08 22:46:46
359
转载 mysql 报错权限拒绝
异常： # mysql -uroot -p Enter password: ERROR 1045 (28000): Access denied for user ‘root’@’localhost’ (using password: NO) 方法一：# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables
2016-11-04 23:00:39
909
原创 ranger编译打包
1、源码打包：下载源码： 2、编译源码： 3、生成tar包 4、编辑pom.xml 5、打包mvn rpm:rpm其中usersync打包遇到问题，其中提示还有二进制文件。 解决方法，加入x86_64即可
2016-11-02 21:05:31
1069
原创 mathout编译
1、获取源码 从apache.fayea.com下获取mathout的的tar包： wget http://apache.fayea.com/mahout/0.12.2/apache-mahout-distribution-0.12.2.tar.gz 2、解压 tar -zxvf apache-mahout-distribution-0.12.2.tar.gz 3、重命名 mv apach
2016-11-02 20:01:49
803
转载 Ranger初始用
Ranger源码编译、使用手册1 Ranger简介Apache Ranger提供一个集中式安全管理框架,它可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制.通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限.这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接.2 准备2.1 环境
2016-10-30 22:34:21
7258
2
转载 React初接触
最近心血来潮，想了解下react的相关内容。看了阮一峰老师的博客，其中组件化比较感兴趣，所以拉出来做个记录。 一、React 允许将代码封装成组件（component），然后像插入普通 HTML 标签一样，在网页中插入这个组件。React.createClass 方法就用于生成一个组件类。var HelloMessage = React.createClass({ render: functi
2016-09-14 15:08:22
273
原创 hadoop之non dfs used
最近总是被问到ambari上显示的磁盘上磁盘使用率上non dfs used是指什么，之前的回复都是“不是hdfs使用的空间，比如说系统linux本身文件占用的空间等”，朋友表示解释的不够准确。无意间看到一个老外在stackoverflow上写的例子，感觉还是很有道理的，表述如下： “non dfs used”可以通过如下公式进行计算：non dfs used = configured capac
2016-09-11 18:05:22
2399
转载 ambari之alert解析
本次分析是基于ambari2.1.1进行的。 1，Ambari Server启动时，会整合Alert定义，并将其保存到数据库中 AmbariServer.java中 LOG.info("********* Reconciling Alert Definitions **********"); ambariMetaInfo.reconcileAlertDefi
2016-09-06 19:43:16
1705
原创 ambari之quicklinks
之前在ambari开发中，集成自定义服务时，不仅仅需要在stacks下加入服务，还需要在ambari-web端进行相关配置。后来无意间在IBM的一个博客中看到有在2.3版后仅作简单配置即可添加快速链接，忍不住想研究一番。 首先来看下官网的介绍。 官网在发布版的2.4.0加入了quicklinks的jira。 一、简介 服务可以通过在metainfo中加入一串quicklink的引用（一串预定
2016-09-03 20:33:15
3148
2
原创 linux之chattr命令
最近在使用groupmod 命令时，报错 一般情况下，会考虑是权限问题，执行ll查看： 乍一看没有问题啊，怎么会出现这个错，通过度娘发现ll查看的是显式命令，文件还有隐藏权限呢？怎么看呢？用下面的命令：lsattr该命令时查看隐藏权限的chattr是改变隐藏权限的如果想要了解这chattr的详细命令，可以查看 http://www.runoob.com/linux/linux-com
2016-08-29 12:50:57
537
原创 nodejs入门1-环境
最近因为项目需要开始接触前端的框架之一nodejs。故记录下。 第一个问题就是前端环境，也就是nodejs的环境搭建。 其实nodejs的环境特别容易搭建。从官网下载https://nodejs.org/en/即可最新版本即可。 我选了图片红色标注的部分，稳定。 点击下载安装即可。根据向导一步步走下去即可。安装完成后，可以从开始菜单中nodejs看到，如下： 点开Node.js c
2016-08-28 17:37:30
438
原创 linux之查进程
最近遇到端口被占用的情况，但是不知道进程是哪个，网上查了下，有两个小命令lsof具体使用方法如下： （1）lsof -Pnl +M -i4(i6)|grep port （2）netsta -anp|grep port 根据结果，获取pid 然后通过ps -ef|grep pid可以知道哪个进程占用的。
2016-08-28 16:19:55
469
原创 ambari之部署大数据平台
amabri作为一款快速部署大数据平台的利器，简单、方便以及带引导，为用户提供了快捷部署的方式。 （1）配置本地repo源，默认在/etc/yum.repo.d/下面，ambari.repo; （2）执行yum clean all ; yum repolist更新本地yum操作； （3）下载ambari-server; yum install ambari-server; （4）安装amba
2016-08-25 23:14:21
731
原创 数据库编码
查看数据的编码： 方法一：status 方法二：show variables like ‘character%’; 通过方法二可以看到数据库中常见的几种编码类型： (1)character_set_client为客户端编码方式； (2)character_set_connection为建立连接使用的编码； (3)character_set_database数据库的编码； (4)char
2016-08-24 22:53:24
1470
转载 log4j详解
一、Log4j简介Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。1、LoggersLoggers组件在此系统中被分为五个级别：DEBUG、INFO、WARN、ERROR和FATAL。这
2016-08-23 23:03:27
261
原创 设置log4j的日志回滚
最近发现了一个好玩的东西：之前一直不理解为什么有些日志过段时间后就会追加一个时间戳在日志的后面，原来是log4j中有个配置—日志回滚。 具体使用方法如下：log4j.rootLogger=DEBUG,ROLLFILE log4j.addivity.org.apache=true # 应用于文件回滚 log4j.appender.ROLLFILE=org.apache.log4j.Rolli
2016-08-23 22:58:49
3980
原创 ambari之phoenix基础使用
ambari自2.0起开始使用metrics来对集群的指标进行收集，其中采集到的指标信息会存放在phoenix数据库中，现将使用方法介绍以备后续使用。访问phoenix的方法，从官网下载对应的phoenix的相关jar包：到bin目录下执行./sqlline.py zookeeper_ip:2181，其中zookeeeper_ip是zookeeper所在节点的ip; 注意：此过程中可能会出现版
2016-08-23 14:10:46
3300
原创 java单元测试覆盖率工具-clover
最近在弄项目的java部分的单元覆盖率统计情况，因此有机会接触到clover这个工具。先分享使用方法如下： linux配置方法如下： 1. 首先配置~/.m2/setting.xml,添加配置如下： com.atlassian.maven.plugins 2、修改pom.xml,添加配置如下： <plugin> <groupId>com.atlassi
2016-08-07 21:31:39
3015
原创 yarn之调度
在yarn中，负责给应用分配资源的就是Scheduler。目前我们程序中选择的调度器是fairscheduler。 可以这样子理解：当提交一个大的job时，如果只有这一个job，则它获取的就是集群中所有资源；此时如果提交第二个job，这个fairscheduler就会分配一般资源给这个job，让两个job共享集群资源。当然其中一个任务完成后就会立即释放自己占用的资源，从而另一个任务又获取了全部系统
2016-07-30 12:49:47
758
原创 ambari基础篇
ambari2.2.2当前支持的操作系统 ambari当前支持的64位操作系统版本如下： RHEL (Redhat Enterprise Linux) 6 and 7 CentOS 6 and 7 OEL (Oracle Enterprise Linux) 6 and 7 SLES (SuSE Linux Enterprise Server) 11 Ubunt
2016-07-25 09:46:40
460
原创 前端基础--html
学习前端，以下几个内容必须稍作了解。 html(呈现内容) css（美化界面） javascript（交互）–jquery(不同浏览器显示效果不一样，考虑)1、html常用标签（1）换行<br/>（2）标题<h></h>（3）段落<p>（4）列表<ul></ul> <ol></ol>
2016-07-25 08:43:55
316
原创 远程调试ambari
1、首先请开启ambari-server的debug模式，方法如下： service ambari-server start –debug 注意事项： （1）请确保执行该命令前，ambari-server的状态是stop的； 2、在intelligece中配置ambari-server的调试： 从菜单中，选择run-debug,然后edit configuration，添加remote，配
2016-06-28 19:26:09
1290
3
原创 python之psutil模块
因为调研metrics的原因，看到系统级别的质保监控的信息可以通过psutil来进行获取，故对psutil进行学习。
2016-06-23 17:14:46
317
原创 ambari之metrics整理
1、metrics概念介绍： metrics中文意思指标，在amabri中监控系统指标跟hadoop组件的指标信息主要通过amabri-metrics-monitor和hadoop-sink来进行收集。其中monitor监控系统级别信息（例如cpu/memory等信息，该模块只通过使用python脚本中的一个psutil–系统性能信息模块）；hadoop-sink用于收集hadoop组件的相关信息
2016-06-23 17:01:41
4374
无需python查看parquet文件
2023-09-15
Android 断开连接自己设备的手机
2015-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人