- 博客(91)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 springboot + vue实战
创建springboot项目点击下一步直至安装成功进入项目后会自动安装依赖等着就行然后在resource下创建application.yml文件在文件中加入以下信息创建mapper文件夹
2022-07-27 20:57:17
5479
原创 redis的基本使用
package redis_learn;import org.junit.Test;import redis.clients.jedis.Jedis;import java.util.Iterator;import java.util.List;import java.util.Set;public class JedisDemo { //@Test表示这个方法是单元测试的方法 //连接并添加String类型数据 @Test public void fun1
2021-11-10 20:09:20
970
原创 tortoiseGit与Gitee结合
目录git下载生成ssh公钥tortoiseGit下载tortoiseGit使用Gitee创建仓库TortoiseGit简单使用git下载下载地址生成ssh公钥打开git执行命令ssh-keygen -t rsa -C “自己邮箱”打开上面的路径将改文件下信息全复制,去gitee上黏贴tortoiseGit下载下载地址tortoiseGit使用Gitee创建仓库创建好的仓库如下复制地址TortoiseGit简单使用创建git文件夹右键点击克隆将刚刚git
2021-11-10 11:12:02
1307
原创 Hadoop实例学习(十五)YARNshell操作
目录YARN常用命令yarn application 查看任务列表yarn application 查看任务状态yarn application 强杀任务yarn logs 查看日志查询 Application 日志查询 Container 日志yarn applicationattempt 查看尝试运行的任务列出所有 Application 尝试的列表打印 ApplicationAttemp 状态yarn container 查看容器列出所有 Container打印 Container 状态yarn no
2021-08-24 10:28:04
462
原创 Hadoop实例学习(十四)ETL清洗
目录ETL案例编写ETLMapper类编写ETLDriver类ETL数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程清理的过程往往只需要运行 Mapper 程序，不需要运行 Reduce 程序。案例将含有空字段的行清洗编写ETLMapper类package ETL;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;i
2021-08-22 15:39:58
259
原创 Hadoop实例学习(十三) Join应用
目录Reduce Join解决的问题实例编写TableBean 类编写TableMapper类编写TableDriver类Reduce Joinmap端: 将不同表或者不同文件中的相同字段信息作为key,并将不同表或者文件中剩下的信息作为value最后输出给reduce;reduce端:将每个分组的中来源不同的文件分开,最后再进行合并;解决的问题将不同文件进行结果结合的结果实例编写TableBean 类package ReduceJoin;import org.apache.
2021-08-21 21:55:51
241
原创 ClickHouse学习(十一)clickhouseAPI操作
目录创建maven编写API创建maven在pom中加入clickhouse依赖 <!-- Clickhouse --> <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version&g
2021-08-19 11:20:42
1221
原创 ClickHouse学习(十)监控运行指标
目录监控下载两兄弟(Prometheus + Grafana)安装安装Prometheus安装GrafanaClickHouse 配置Grafana 集成 Prometheus添加监控监控监控就是查看各个运行指标的使用情况下载两兄弟(Prometheus + Grafana)Prometheus 下载地址Grafana 下载地址上传至虚拟机进行安装安装安装Prometheus[root@spark01 clickhouse]# tar -xzvf prometheus-2.26.0
2021-08-18 22:20:01
787
原创 ClickHouse学习(八)物化视图
目录什么是物化视图使用物化视图好处基本语法创建物化视图向物化视图中增加数据导入历史数据什么是物化视图在数据库中视图指的是通过一张或者多张表查询出来的逻辑表,就类似网页版的拳皇一样按UIO就会放招而不是用上下上下BABA那样按,视图就是UIO记录了招式的过程但是并不记录数据.而clickhouse的物化视图则是把查询的结果和相应的引擎存入到磁盘或内存中,类似形成了一张新的表,但是表中会对自己数据进行重新组织.使用物化视图好处可以避免对基础表的频繁查询并复用结果，从而显著提升查询的性能基本语法
2021-08-16 21:44:58
598
原创 ClickHouse学习(六)语法优化
目录导入官方数据count优化导入官方数据去官网下载上传至虚拟机将文件解压到clickhouse自己的数据文件夹中[root@spark01 data]# tar -xvf hits_v1.tar -C /var/lib/clickhouse[root@spark01 data]# tar -xvf visits_v1.tar -C /var/lib/clickhouse由于导入数据后会是root用户,所以得将用户进行修改,进入data和文件夹下修改用户[root@spark01
2021-08-10 16:59:09
548
原创 ClickHouse学习(五)集群操作
目录副本zookeeper配置测试分片集群搭建测试副本zookeeper配置内部直接修改直接将其改成自己的就行外部文件形式在/etc/clickhouse-server/config.d下创建metrika.xml文件<?xml version="1.0"?><yandex><zookeeper-servers> <node index="1"> <host>spark01</host> <port>
2021-08-03 18:46:09
1803
3
原创 ClickHouse学习(四)SQL操作
目录增删改查数据导入数据导出增INSERT INTO 数据库名.表名 [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ...insert into t_order_mt values(101,'sku_001',1000.00,'2021-08-01 12:00:00'),(101,'sku_002',2000.00,'2021-08-01 12:00:00');删虽然clickhouse提供了删除和修改的功能但是其原理还是
2021-08-02 14:46:57
749
原创 ClickHouse学习(三)表引擎
目录表引擎的作用引擎类型MergeTree日志集成引擎MergeTree表引擎的作用表引擎（即表的类型）决定了：决定表存储在哪里以及以何种方式存储支持哪些查询以及如何支持并发数据访问索引的使用是否可以执行多线程请求数据复制参数引擎类型MergeTree适用于高负载任务的最通用和功能最强大的表引擎。这些引擎的共同特点是可以快速插入数据并进行后续的后台数据处理。 MergeTree系列引擎支持数据复制（使用Replicated* 的引擎版本），分区和一些其他引擎不支持的其他功能。该
2021-07-30 21:19:26
486
原创 ClickHouse学习(二)ClickHouse单机安装
目录准备工作关闭防火墙CentOS 取消打开文件数限制安装依赖CentOS 取消 SELINUX安装修改配置文件启动 ClickHouse启动server使用 client 连接 server快速安装准备工作关闭防火墙关闭防火墙:systemctl stop firewalld.service查看防火墙状态:systemctl status firewalld.service启动禁用防火墙:systemctl disable firewalld.serviceCentOS 取消打开
2021-07-29 15:31:29
448
原创 ClickHouse学习(一)ClickHouse?
这里写目录标题什么是ClickHouse特点缺点什么是ClickHouse是一个面向列式存储的数据库，并允许使用SQL查询实时生成分析报告,主要用于OLAP(在线分析处理查询),它在大数据领域没有走Hadoop生态，而是采用Local attached storage作为存储，这样整个IO可能就没有Hadoop那一套的局限。特点对于单表查询来说是最快的在内存数据库领域号称是最快的多样化引擎包含了合并树、日志、接口和其他四大类 20 多种引擎拥有DBMS(数据库管理系统) 的功能
2021-07-29 09:54:28
485
原创 shell基本操作(下)
目录运算符算术运算符字符串运算符流程控制if else 判断case 语句for 循环运算符算术运算符expr + , - , *, /, % 加，减，乘，除，取余复合运算,注意``不是单引号“((运算式))”或“((运算式))”或“((运算式))”或“[运算式]”字符串运算符= 检测两个字符串是否相等,相对返回true!= 检测两个字符串是否不相等,不相等返回true-z 检测字符串长度是否为0,为0返回true-n 检测字符串长度是否不为0,不为0返回tru
2021-07-25 19:52:01
411
原创 shell基本操作(上)
Centos默认的解析器是bash所以脚本以#!/bin/bash开头!!!目录基础知识helloworld执行脚本变量特殊变量字符串基础知识helloworldtouch test.sh创建一个脚本文件编写helloworldecho表示输出#!/bin/bashecho "HelloWorld"执行脚本sh/bash + 文件相对路径/绝对路径另一种方法直接赋予一定权限chmod 777 xxx.sh也有相对路径和绝对路径两种可以直接利用shell创建文件并写入.
2021-07-24 21:34:51
436
原创 Kafka学习(二)Kafka shell操作
目录创建主题查看主题删除主题发送消息启动消费者并观察查看主题信息创建主题[root@spark01 kafka_2.12-0.10.2.0]# kafka-topics.sh --create --zookeeper spark01:2181,spark02:2181,spark03:2181 --replication-factor 3 --partitions 3 --topic test其中–topic 定义topic名–replication-factor 定义副本数–partitio
2021-07-15 16:32:22
483
原创 flink学习(五)DataStream API
目录编程的模型Source基于集合的Source基于文件的Source编程的模型编程的主要是用以下三步来写data source获取数据的来源例如基于集合中,文件,socket,MySQLtransforations对获取到的数据进行相关的规则计算sink将处理好的数据输出或者保存Source基于集合的Sourceenv.fromElements()：元素env.fromCollection()：集合env.generateSequence():产生序
2021-07-04 12:08:07
1004
1
原创 DolphinScheduler搭建
目录下载安装包解压mysql操作访问UI界面报错下载安装包https://www.apache.org/dyn/closer.lua/dolphinscheduler/1.3.6/apache-dolphinscheduler-1.3.6-bin.tar.gz解压mysql操作将MySQL的驱动包放到该文件下的lib中在MySQL中建立dolphinscheduler数据库修改配置文件/usr/dolphin/apache-dolphinscheduler-1.3.6-bin/conf
2021-06-29 10:12:45
1598
原创 vue安装
安装vuehttps://nodejs.org/en/一直点下一步就行出现以下信息证明初步安装成功有些npm资源被屏蔽或者是国外资源所以咱们用国内镜像----cnpmcnpm安装安装命令:npm install -g cnpm --registry=http://registry.npm.taobao.org安装完成安装vue-cli2 脚手架构建工具安装命令:npm install -g vue-cli安装成功测试自己创建一个放vue项目的文件夹进去该文件夹中
2021-06-25 21:16:29
1164
原创 spark整合hive
目录安装hive配置信息启动spark测试安装hivehttps://blog.csdn.net/qq_43659234/article/details/111632216配置信息把配置好的hive-site.xml文件copy到spark的安装目录的conf下[root@spark01 conf]# cp hive-site.xml /usr/spark/spark-3.0.0-bin-hadoop3.2/conf/在spark的conf下的spark-env.sh中添加hive配置
2021-06-03 10:54:26
1778
1
原创 Kafka学习(一)安装Kafka
目录下载安装包上传至集群解压并配置配置Kafka分发修改启动测试创建主题查看主题发送消息启动消费者并观察查看主题信息下载安装包http://kafka.apache.org/downloads上传至集群用rz命令上传配置环境变量解压并配置[root@spark01 Kafka]# tar -xzvf kafka_2.12-0.10.2.0.tgz 在Kafka的配置信息中能看见它有自带的zookeeper用它自带或者自己单独使用自己配置好的zookeeper都行配置Kafka
2021-06-02 12:28:31
1590
原创 idea创建Scala运行环境(spark,flink运行环境)
下载scala包将Scala包下载至windowshttps://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.zip解压Scala包其中最重要的就是以下的这些jar包创建maven项目傻瓜式操作就行配置Scala有两种办法一种是直接在pom.xml文件中加入相关的配置信息另一种就是从windows下载好的Scala中导入我用的是第二种先在idea中下载好Scala插件在商店中下载Scala的插件下载好会要求重启
2021-05-14 11:21:29
2307
原创 flink学习(三)flink on yarn
目录为什么用on yarn模式两种模式Session模式搭建启动测试为什么用on yarn模式在集群运行时，可能会有很多的集群实例包括MapReduce、Spark、Flink等等，那么如果它们全基于on Yarn就可以完成资源分配，减少单个实例集群的维护，提高集群的利用率。两种模式内存集中管理模式(Session模式)这种方式需要先启动集群，然后在提交作业，接着向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资
2021-05-13 11:02:35
3085
原创 HBase学习(七) Hbase与Phoenix集成
目录Phoenix搭建下载Phoenix安装包配置环境变量拷贝server的jar包并重启HBase配置phoenix下的hbase-site.xml文件修改hbase下的hbase-site.xml重启HBase并连接phoenixPhoenix搭建下载Phoenix安装包http://phoenix.apache.org/download.html!!!注意hbase与phoenix的版本得相对应配置环境变量刷新权限拷贝server的jar包并重启HBase将phoenix文件夹下
2021-05-03 18:05:23
3112
2
原创 linux保证成功安装python3.5
目录安装python所需的依赖两种方式下载python配置编译安装测试安装python所需的依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-develyum -y install gcc两种方式下载python一种是去官网下载好后上传至虚拟机https://www.python.org/ftp/python/另一种就是利用wget命令安装没安装的先安装
2021-04-28 11:08:11
3373
1
原创 HBase学习(六) HBase与Hive集成
目录结合的理由导入依赖结合的理由通过 Hive 与 HBase 整合，可以将 HBase 的数据通过 Hive 来分析，让HBase 支持 JOIN、GROUP等SQL 查询语法。实现将批量数据导入到 HBase 表中导入依赖将hbase文件夹下的lib中的jar放入hive的lib文件夹中...
2021-04-27 16:40:23
3433
原创 Hive学习(二)常用交互式命令
目录Hive -help查看帮助定义变量verbose模式hive -ehive -fhive -i查看hive中的历史命令退出命令hive与hadoop联动set配置log文件和表头Hive -help查看帮助hive -help定义变量hive --define foo=bar 或 hive -d foo=bar 或 hive --hivevar foo=bar打开hive命令行窗口时定义变量verbose模式执行verbose模式可以显现出要执行的sql语句hive -e不进
2021-04-27 10:27:00
3718
原创 flink学习(一)本地(local)模式和集群(standalone)模式
目录本地模式(local)搭建下载flink安装包上传至虚拟机并解压配置环境变量启动flink并测试集群(standalone)模式搭建配置flink-conf.yaml和workers文件flink-conf.yaml文件workers文件masters文件分发集群启动flink集群启动jps查看进程UI界面查看测试集群本地模式(local)搭建下载flink安装包https://downloads.apache.org/flink/flink-1.12.2/flink-1.12.2-bin-s.
2021-04-24 17:06:37
5336
3
原创 HBase学习(五) HBase高可用搭建
HBase高可用搭建在hbase下的conf文件夹中创建backup-masters[root@master1 conf]# vi backup-masters1.修改hbase的hbase-site.xml2.将Hadoop中core-site.xml拷贝到hbase的conf文件下3.修改hbase的regionservers添加节点信息将配置好的conf文件分发给另外两台节点重新启动hbase查看进程...
2021-04-20 14:28:18
3730
1
原创 HBase学习(四) HBase API操作
目录准备工作创建maven项目添加依赖API操作准备工作创建maven项目添加依赖在pom.xml文件中加入<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</vers
2021-04-13 14:45:10
3756
4
原创 HBase学习(三) HBase的数据结构
目录RowKeyColumn FamilyCellTime Stamp命名空间RowKeyHBase 数据库中也有一个表示唯一的键，这个唯一的键是 RowKey。RowKey 组成：HBase 中 RowKey 由任意字符串组成，组成长度不超过 64KB ,在实际应用中长度一般为10-100bytes，一般用到70-100bytes就能满足需求,在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特
2021-03-23 15:35:16
4111
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人