- 博客(27)
- 收藏
- 关注
RSS订阅
原创 centos7安装elasticsearch-7.6.2
<1>基本信息介绍，三台机器分别为hadoop102（192.168.15.102）,hadoop103（192.168.15.103）,hadoop104（192.168.15.104）;安装es7到三台机器，kibana安装到hadoop02，集群管理工具使用cerebro-0.8.3<1>.使用root用户，创建es用户名密码[root@hadoop102 kibana-7.6.2]$ useradd es<2>设置密码[root@hadoop102 ki
2021-01-01 18:25:05
341
原创 生产者、消费者交替模型
package com.atguigu.bigdata.juc;import java.util.concurrent.TimeUnit;/** * @auth tianmin * @date 2020-03-02 - 17:04 * @nodes 生产者消费者模型 * 1.实现生产者、消费者交替 * * 总结: * 1.高内聚，低耦合，线程操作资源类...
2020-03-02 17:40:12
132
原创 八锁理论
package com.atguigu.bigdata.juc;import java.util.concurrent.TimeUnit;/** * @auth tianmin * @date 2020-03-02 - 15:54 * @nodes */public class PhoneSync { public static void main(String[] ar...
2020-03-02 16:51:28
280
原创 Spark用户自定义函数(弱类型)
1.弱类型1.1 自定义类UserAvgpackage com.atguigu.bigdata.sqlimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction, UserDefinedFunct...
2020-02-28 17:55:24
191
原创 maxwell安装部署--抓取相应的表
maxwell安装部署1 在MySQL中建立一个maxwell库用于存储Maxwell的元数据[atguigu@hadoop102 module]$ mysql -uroot -p123456mysql> CREATE DATABASE maxwell ;分配一个账号可以操作该数据库GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';分配这个账号可以监控其他数据库的权限GRANT SELECT ,REP
2021-05-15 10:37:24
347
原创 canal1.15安装，抓取数据到kafka
@canal安装mysql设置my.cnf文件配置log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复权限设置set global validate_password_policy=LOW;CREATE USER canal IDENTIFIED BY 'canal@123';grant sele
2021-04-26 22:01:25
353
原创 2021-01-01
创建索引PUT school创建一条数据PUT /school/test1/1{ "name":"狂神说", "age":4}命令详解:PUT /索引名/类型名/文档ID{}按指定的mapping创建indexPUT test1{ "mappings": { "properties": { "name":{ "type": "text" }, "age":{ "type": "long"
2021-01-01 23:13:49
83
原创 hive3 安装
core-site.xml hadoop.proxyuser.root.groups * Allow the superuser livy to impersonate any members of the group group1 and group2 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> <description&g
2020-12-06 10:41:03
124
原创 hadoop3安装配置
hadoop3安装hadoop-env.shmapred-env.sh yarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkershadoop-env.shexport HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USE
2020-12-05 23:23:15
126
原创 Redis安装
1.安装gccyum -y install gcc automake autoconf libtool make2.安装redistar -zxvf redis-4.0.14.tar.gz -C /opt/module/3.进入redis目录cd redis-4.0.14/4.编译make MALLOC=libc5.安装到/usr/local/redismake PRE...
2020-03-11 09:37:12
75
原创 安装mongodb以及设置为windows服务 详细步骤
将mongodb设置成windows服务，这样就不用使用命令启动了，设置方法如下：1、在data文件夹下新建一个log文件夹，用于存放日志文件，在log文件夹下新建文件mongodb.log2、在 D:\mongodb文件夹下新建文件mongo.config，并用记事本打开mongo.config输入以下内容:dbpath=D:\mongodb\data\db logpath=D:...
2020-03-05 20:08:44
169
原创 Spark自定义累加器
import org.apache.spark.util.AccumulatorV2import scala.collection.mutable/** * @author tianmin * @date 2020/3/3 0003 * @notes Spark自定义累加器 */class SessionAccumulator extends AccumulatorV2[Str...
2020-03-03 22:06:30
107
原创 Java四大函数式接口
package com.atguigu.bigdata.juc;import java.util.function.Consumer;import java.util.function.Function;import java.util.function.Predicate;import java.util.function.Supplier;/** * @auth tianmin...
2020-03-03 16:56:30
125
原创 线程池ThreadPoolExecutor
package com.atguigu.bigdata.juc;import java.util.concurrent.*;/** * @auth tianmin * @date 2020-03-03 - 13:13 * @nodes 线程池 * 1. */public class ThreadPoolDemo { public static void main(Str...
2020-03-03 15:49:55
94
原创 ReadWriteLock(读写锁)
package com.atguigu.bigdata.juc;import java.util.HashMap;import java.util.Map;import java.util.UUID;import java.util.concurrent.TimeUnit;import java.util.concurrent.locks.Lock;import java.util....
2020-03-03 11:47:08
122
原创 信号灯：控制线程并发数
package com.atguigu.bigdata.juc;import java.util.concurrent.Semaphore;import java.util.concurrent.TimeUnit;/** * @auth tianmin * @date 2020-03-03 - 10:20 * @nodes 7个线程抢占3个车位，保证每个线程都能抢到一次 * 信...
2020-03-03 10:45:44
116
原创 CyclicBarrier 线程调度
package com.atguigu.bigdata.juc;import java.util.concurrent.BrokenBarrierException;import java.util.concurrent.CyclicBarrier;/** * @author tianmin * @date 2020/3/2 0002 * @notes CyclicBarrier ...
2020-03-02 23:00:38
145
原创 CountDownLatch 控制线程调度顺序
package com.atguigu.bigdata.juc;import java.util.concurrent.CountDownLatch;/** * @author tianmin * @date 2020/3/2 0002 * @notes CountDownLatch 控制线程调度顺序 */public class CountDownLatchDemo { ...
2020-03-02 22:51:32
114
原创 带返回值的线程
package com.atguigu.bigdata.juc;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.FutureTask;/** * @author tianmin * @date 2020/3/...
2020-03-02 21:48:53
99
原创 多线程顺序调用
package com.atguigu.bigdata.juc;import java.util.concurrent.locks.Condition;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;/** * @author tianmin * @date...
2020-03-02 21:39:13
97
原创 生产者、消费者、新版写法
package com.atguigu.bigdata.juc;import java.util.concurrent.TimeUnit;import java.util.concurrent.locks.Condition;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.Reentrant...
2020-03-02 18:10:12
88
原创 SparkStream自定义接收器Receiver
需求：SparkStream自定义接收器Receiver，用socket读入一行试下wordcount案列1.自定义MyReceiver类package com.atguigu.bigdata.streamimport java.io.{BufferedReader, InputStreamReader}import java.net.Socketimport java.nio.cha...
2020-02-29 10:05:20
208
原创 SparkStream自定义接收器，完成WordCount
SparkStream自定义接收器需求：自定义接收器，通过Socket完成WordCount案列1.自定义接收器类package com.atguigu.bigdata.streamimport java.io.{BufferedReader, InputStreamReader}import java.net.Socketimport org.apache.spark.stora...
2020-02-28 23:12:17
94
原创 Spark用户自定义函数(强类型)
1.定义函数//输入数据case class UserBean(name: String, age: Long)//缓冲区case class AvgBuffer(var sum: Long, var count: Int)//输入、缓冲区、输出类型class AgeAvgClass extends Aggregator[UserBean, AvgBuffer, Double] {...
2020-02-28 18:00:26
372
翻译 linux上开启的tomcat使用浏览器访问不了
在linux上开启的tomcat使用浏览器访问不了。主要原因在于防火墙的存在，导致的端口无法访问。CentOS7使用firewall而不是iptables。所以解决这类问题可以通过添加firewall的端口，使其对我们需要用的端口开放。1.使用命令 firewall-cmd --state查看防火墙状态。得到结果是running或者not running2.在running 状态下，向f...
2019-12-01 20:42:56
131
原创 idea,run和debug运行结果不一致的问题
idea,run和debug运行结果不一致的问题今天使用spring做事物管理，发现正常运行不正确，debug才得到了正确的结果。原因是run和debug运行的JDK版本不一致。修改一下四个地方在重启电脑即可。今天使用spring做事物管理，发现正常运行不正确，debug才得到了正确的结果。原因是run和debug运行的JDK版本不一致。修改一下四个地方在重启电脑即可。...
2019-11-15 20:47:36
5134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人