- 博客(63)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 rpm包查看命令
rpm包查看一般命令安装软件：rpm –ivh filename.rpm升级软件：rpm –Uvh filename.rpm卸载软件：rpm –e filename.rpm查询软件描述信息：rpm –qpi filename.rpm列出软件文件信息：rpm –qpl filename.rpm查询文件属于哪个RPM包：rpm –qf filename.rpmq=quer...
2022-02-11 17:51:20
9625
原创 mysql安装&cloudera安装
mysql-5.7.21-1.el6.x86_64.rpm-bundle.tar安装到centos6.5-rw-r--r-- 1 root root 472760320 Aug 3 20:14 mysql-5.7.21-1.el6.x86_64.rpm-bundle.tar-rw-r--r-- 1 7155 31415 23850100 Dec 28 2017 mysql-comm...
2021-10-21 10:07:28
256
原创 spark处理时间(java.util.Date)转换为字符串出现不合理日期(02-31)
问题一在spark里使用 rdd.map 做准换时，其中有一个时间字段(列), 需要将java.util.Date类型转换为字符串类型，进行对表insert。转换时出现了 2021-02-31这种非法日期，从而导致入库失败package com.scala01import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.sql.{DataFrame, Dataset, SaveMod.
2021-10-13 11:25:08
758
原创 Jackson-json（二）
Jackson用于解析json数据，现有解决的几个问题：例：json数据---HBASE的JMX数据{ "beans": [{ "name": "Hadoop:service=HBase,name=Master,sub=AssignmentManger", "modelerType": "Master,sub=AssignmentManger", "tag.Context": "master", "tag.Hostname": "hadoop-warehouse-master-0
2021-08-15 21:17:22
158
原创 hadoop的log4j_and_hdfs_audit.log开启
在Hadoop2.9.2的log4j.properties配置文件中，默认情况下日志有两种滚动方式：log4j.appender.RFA=org.apache.log4j.RollingFileAppenderlog4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender其中RFA和DRFA为关键字。若想起用某种方式需要在...
2021-08-09 21:51:53
1103
原创 slf4j-log-log4j.properties
<dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.30</version> </dependency>测试将指定的类 的日志单独打印到一个文件中## 指定类的日志单...
2021-08-09 21:50:42
95
原创 MySQL用户权限
在MySQL数据库系统中，权限分配是按照user表>db表>table_pric表>columns_priv表的顺序来分配的。即先判断user表中的权限是否为Y，如果user表中的值是Y，就不需要检查后面的表。否则依次检查db表、table_priv表和columns_priv表。...
2021-06-18 11:13:26
196
1
原创 rpmbuild制作rpm包
1使用rpmdev-setuptree命令，可以在当前用户下生成以下结构文件夹rpmbuild/ BUILD RPMS SOURCES SPECS SRPMS当然，也可以手动新建cd ~/rpmbuild;mkdir -pv {BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}2将准备的包hello-2.8.2.2.tar.gz 放到rpmbuild/SOURCES 必须是tar.gz 结尾...
2021-04-19 17:37:19
211
原创 fpm安装和使用fpm打包rpm（二）
背景：公司使用cloudera安装了一些组件，前人留下了一个大坑，cloudera安装是使用的在线（连互联网）安装，然而 现在cloudera官网不能下载任何包了，关键是这个版本再网上还找不到，所以需要自己打包cloudera*el7.x86_64.rpmfpm安装https://blog.csdn.net/bck1453925668/article/details/85867220fpm安装依赖包 下载https://rubygems.org/gems/fpm/versions/1.10.2..
2021-04-15 18:08:15
208
原创 MR任务在yarn集群中资源占用分析
MR任务启动hadoop jar MapReduceTest-1.0-SNAPSHOT.jar com.example7pi.jobPI -Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 100 1000000000-Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 参数只能放在类名后 参数前。若是放在最后，参数获取不到关于M
2021-03-13 15:00:55
1313
原创 apache-common-cli
package com.cli;import org.apache.commons.cli.*;import org.apache.commons.math3.random.AbstractRandomGenerator;public class test { public static void main(String[] args) throws ParseException { CommandLine cmdlines = cmdLine(a...
2020-12-22 19:28:38
94
原创 hbase对HDFS开启短路读功能
1.增加短路读路径mkdir /var/lib/hadoop-hdfs chmod 775 /var/lib/hadoop-hdfschown hdfs:root -R /var/lib/hadoop-hdfs2.开启datanode 短路读(${HADOOP_HOME}/etc/hadoop/hdfs-site.xml)添加配置 <property> <name>dfs.client.read.shortcircuit</name> ...
2020-10-28 23:56:59
412
原创 使用MR入库hbase_BilkLoad(二)
使用MR任务读取txt文档, 将文件转换HFile文件, 再将HFile文件导入hbase表中, 这样对hbase无压力mapperpackage com.hbaseBulkLoad;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.*;im
2020-10-28 16:37:56
231
原创 使用MR任务读写HBASE表(一)
以下代码是使用MR任务读取HBASE的表，然后再写到HBASE表中， 也可以写到另外的HBASE集群的表中Mapperpackage com.MRforHbaeToHbase;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Re
2020-10-25 22:16:41
290
原创 执行MR任务增加依赖其他jar方法
提交MapReduce任务,增加依赖其他jar方法执行mapreduce任务,若是依赖其他包,需要将包做以下指定, 提交机客户端执行:$ export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/bai/software/hbase/lib/*执行以下命令,查看是否生效[bai@hadoopsit201 ~]$ hadoop classpath... /home/bai/software/hbase/lib/*: ......
2020-10-21 21:04:48
137
原创 raft选举
https://www.iteblog.com/api/raft/raft协议: leader选举的过程节点有3中状态: Follower > Candidate(候选人) > Leaderelection timeout 是follower变成Candidate的时间,这是一个150ms 到 300ms的随机数heartbeat timeout leader向follower发送的信息leader选举1.一开始节点的状态都是follower2.每个节点都会设置一个elect
2020-10-11 18:57:11
216
原创 Jackson-json（一）
java的json处理包jackson <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jacks
2020-10-10 18:00:25
203
原创 java 获取机器IP地址方法
在看hutool工具类是看到 了获取主机ip的方法 HostInfo hostInfo = new HostInfo(); System.out.println(hostInfo.getAddress()); System.out.println(hostInfo.getName());但是这个方法在win7上获取的IP是错误的, 获取到的地址是:169.254.246.199第二种方法System.out.println("===...
2020-10-10 15:50:06
855
原创 java打jar包的maven方式
在使用Maven管理项目时, 使用maven打成jar包运行, 默认情况下是不包含依赖jar包的将jar包采用不解压jar包的方式,打入进一个jar包内,以下主要是 pom文件的配置:但是这种方式还是不能像springboot那样 用一个单独的jar 包, 并执行<build> <plugins> <plugin> <groupId>org.apache.maven.plug
2020-09-28 17:27:14
719
原创 nc命令的使用
nc命令1.监听本机的9988端口nc -l 9988/nc -lp 9988nc 0.0.0.0 9988可以双向字符通信2.探测端口是否处于监听,若是监听返回succeeded字符nc -w 1 127.0.0.1 9988 < /dev/null && echo succeedednc命令的参数-z 在centos7已经废除,表示zero,表示扫描时不发送任何数据3.打开一个shell,使用netcat创建远程shell服务端开启nc -l 20000
2020-09-25 14:58:08
780
原创 spark算子
SparkContext val conf: SparkConf = new SparkConf().setMaster("local") conf.setAppName("sparkTest") val sc = new SparkContext(conf) val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6)) 。。。。。 sc.stop()sc.makeRDD()底层调用的是 .parallel
2020-09-12 21:52:47
283
原创 MapReduce(一)
wordcountmapreduce的阶段MAP 分区 排序 规约 分组 Reducemappackage com.example;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.util.StringUtils;import java.io.B
2020-09-09 19:43:41
76
原创 scala
package com.exampleobject feon2 { def main(args: Array[String]): Unit = { val unit = List(1,3,7,8,3,2) val unit2 = List("11","23","14","22") println(unit.max) println(unit.min) println(unit.sum) println(unit.product) //相乘...
2020-08-30 22:14:55
90
原创 数据库连接(二) JdbcTemplate
使用spring框架中的JdbcTemplate 来连接处理数据库,JdbcTemplate接收来自 druid 的 DataSource环境配置 spring的包libs/commons-logging-1.2.jarlibs/druid-1.1.20.jarlibs/hamcrest-core-1.3.jar //junit的依赖libs/junit-4.12.jarlibs/mysql-connector-java-8.0.21.jarlibs/spring-beans-5..
2020-08-19 10:40:23
164
原创 数据库连接池(一) Druid
Druid测试数据连接driverClassName=com.mysql.cj.jdbc.Driverurl=jdbc:mysql://127.0.0.1:3306/mybatis?userUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghaiusername=rootpassword=123456#filters=statinitialSize=2 #数据库连接数,始终保持的连接个数.若设为
2020-08-19 10:25:48
144
原创 java单例模式
public class Singleton { private volatile static Singleton singleton; private Singleton (){} public static Singleton getSingleton() { if (singleton == null) { synchronized (Singleton.class) { //同步方法,若将synchronized 修饰整个方...
2020-08-19 09:55:53
75
原创 java Properties存储中文乱码
默认情况下Properties使用方法store(OutputStreamout,Stringcomments) 将键值对存储到本地文件，若是有中文 会出现乱码，若是直接将乱码读回到 java 里，是可以成功读回的，没有乱码问题Properties properties = new Properties();properties.setProperty("nj","najing");properties.setProperty("bj","北京");properties.store(...
2020-08-17 13:28:15
749
原创 java多线程（四）阻塞队列、同步队列
阻塞队列Interface BlockingQueue<E>ArrayBlockingQueue ， LinkedBlockingDeque ， SynchronousQueue（同步队列） 抛出异常 不抛出异常 阻塞等待 超时等待 添加 add offer put offer(,,) 删除 remove poll take poll(,) 返回队首元素 .element() ...
2020-08-16 22:49:14
137
原创 java多线程（三）读写锁ReadWriteLock
java.util.concurrent.locksInterface ReadWriteLock 所有已知实现类： ReentrantReadWriteLock 读：可以多个线程读写：只有一个线程写线程操作资源类ReentrantReadWriteLock可重入锁 读写锁import java.util.HashMap;import java.util.Map;import java.util.concurrent.TimeUnit;import java.uti.
2020-08-16 21:59:26
114
原创 java多线程（三） 3大辅助类
1. CountDownLatchcountDown() //减少锁存器的计数，如果计数达到零，释放所有等待的线程。 执行一次 减 1可以用于线程执行完成的计数import java.util.concurrent.CountDownLatch;public class CountDownLatchTest { public static void main(String[] args) { CountDownLatch countDownLatch = new ..
2020-08-16 21:37:42
211
原创 java多线程（二） 线程安全的集合类
一般使用的Arraylist hashset hashmap 都是线程不安全的1.java提供了 Collections 工具类将一般的 Arraylist hashset hashmap 转换成线程安全的方法2.JUC也提供了 线程安全的集合类import java.util.*;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.CopyOnWriteArrayList;imp.
2020-08-16 20:54:40
157
原创 java多线程（一）线程间同步传统方式，线程的唤醒
1.synchronized本质：队列 锁特点：java关键字 比较慢public class synchronizedTest { public static void main(String[] args) { Data data = new Data(); for (int i = 0; i <30 ; i++) { new Thread(()->{ data.sa...
2020-08-16 20:20:12
190
原创 java程序jar打包3种方式
想将写出来的java程序打包成.jar方式以操作HDFS的程序来做示例, 一般情况下,使用idea方式打包出来的jar文件里只有程序本身 .class文件,没有依赖包,所以单独的jar包不能独立运行.第一种方式可以使用命令hadoop jardemo-1.0-SNAPSHOT.jar com.hdfs.demo的方式运行, hadoop命令运行时,所有的依赖包都被加载.这种方式有弊端, 当有配置文件在jar包中时, 配置文件会读取失败.读取方式 InputStream core...
2020-07-07 15:06:10
1088
原创 读取jar包内的资源文件
一般有将java项目打成jar包来执行, 有可能需要读取一些额外的文件, 若想将文件打入jar包中, 此时的jar包就是一个文件了, 采取一般的读取文件获取方式就会失败可以采用InputStream is=ClassLoader.getSystemClassLoader().getResourceAsStream("etc/core.txt");返回流的方式,(一般的配置文件放置的位置)ClassLoader.getSystemResource("").getPath()获取当前目录 打.
2020-06-15 15:15:51
554
原创 StringBuilder的容量扩容方式
StringBuilder的容量概念扩容方式：stringBuilder 扩容方式：1.初始化容量 16 （字符串大小范围0~16）2.若是大小为17 时，容量为34=16*2+2 （字符串大小范围17~34）3.若是大小为35 时，容量为70=34*2+2 （字符串大小范围70~(70*2+2)）代码测试： /* stringBuil...
2020-04-23 20:17:38
1660
原创 java_fastjson时间序列化
<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</art...
2020-04-20 15:46:37
359
1
原创 springboot请求ajax
后台代码//返回的是List集合， 相当于数组 @PostMapping("/listAll") @ResponseBody public List<Student> listAll(Model model){ return studentRepository.findAll(); }前端<script>...
2020-04-17 23:57:46
139
原创 java注解反射
注解：package org.example.注解;import java.lang.annotation.*;@MyAnnotation(name = "hahah")public class demo2 {}@Target({ElementType.TYPE,ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)...
2020-04-17 23:51:20
116
原创 java的jar修改后重新打包(不依赖外部工具)
将一个jar包使用unzip 解压后, 然后进入目录修改 需要的地方使用命令:jar -cvfM0 server.jar * 可以生成新的jar包命令 中的 0 必须要加, 不加的话,生成的jar会比之前小,jar包不能使用命令 中的 0 再次生成新的jar包,会比之前的jar要大...
2020-04-17 23:48:42
254
原创 mybatis实现增删改查
pom.xml mybatis依赖mysql的链接包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2020-04-06 18:41:26
135
fpm_pack.zip
2021-04-15
cerebro0.8.4.rar
2019-10-30
docker_portainer.tar
2019-07-04
centos.6.7-tools.tar.rar
2019-07-04
hdfs_monitor_forDaPeng-4.0.1-1.el7.x86_64.rpm
2019-05-13
hdfs_monitor.V3.0
2019-04-09
hdfs_monitor.V2.0
2019-04-06
hdfs_monitor
2019-04-06
superset-0.23.3.2.zip
2018-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人