- 博客(692)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 开发者学习交流
秉着大家一起学习交流进步的原则，特此构建一个学习交流群，该群主要有以下几个功能1.不定期答疑服务2.定时学习提醒以及最新技术文档，视频共享服务3.不定期工作机会发布4.群氛围管理，只做纯技术分享...
2020-04-16 22:49:16
415
原创 多次kerberos认证服务超时
调整 /var/kerberos/krb5kdc/kdc.conf 文件，有则修改，无则添加[kdcdefaults]kdc_tcp_listen_backlog = 7调整 /etc/krb5.conf[dbmodules]disable_last_success = true调整 /etc/sysconfig/krb5kdcKRB5KDC_ARGS=‘-w 48’ #增大kdc的进程数量生效上述配置systemctl daemon-reload && syste
2023-11-03 10:04:30
174
原创 hbase表出现RIT删除方案
/zkCli.sh -server node2:2181 --node2为仿真节点，生产需改。deleteall ‘hbase:meta’,‘表名’,‘table:state’hadoop dfs -rm -r /hbase/data/default/表名。6. 删除 /hbase/MasterProcWALs 目录。deleteall /hbase/table/表名。3.删除hbase:meta对应表信息。1）echo所有表的元数据信息。
2023-05-12 16:34:34
855
1
原创 shell中有大量的转义字符需要写入变量打入文本中
在编程时发现用shell读取oralce库,其中clob字段存在大量文本信息,需要远程写入其他服务器文本中,以下记录一个小细节"echo \" ${will_text}\" > ${txt_path}"
2022-05-20 11:45:11
386
1
原创 hbase的预分区
对于hbase的预分区,首先预估源数据的rowkey前缀规则,一般推荐是region server的个数,保证rowkey平均分配,如rowkey客户id,推荐将客户id反转,分区规则 0-10create 't1', 'f1', SPLITS => ['0', '1', '2', '3','4','5','6','7','8','9']可以观察到其start key 和 end key的分布写入两条数据验证一下可以看到写请求变化注意: truncate操作会丢失所有预分区.
2022-05-17 23:35:14
842
原创 flink作业提交流程
文章目录独立模式（Standalone）YARN 集群1. 会话（Session）模式单作业（Per-Job）模式应用（Application）模式（1） 一般情况下，由客户端（App）通过分发器提供的 REST 接口，将作业提交给JobManager。（2）由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。（3）JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（slot
2022-05-08 22:55:24
2933
原创 flink的架构 job manager和TaskManager
文章目录job managerjob master资源管理器（ResourceManager）分发器（Dispatcher）TaskManagerjob managerjob maager 是flink 集群中任务管理和调度的核心,控制应用执行的主进程,每个应用都应该被唯一的Job manager 所控制执行,ha 环境下可能会有多个,但是只有一个为leader,其中 job manager 有三个组件job masterJobMaster 是 JobManager 中最核心的组件，负责处理单独的作
2022-05-08 21:50:36
1755
1
原创 flink的部署模式
文章目录会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode）flink 主要分为三种部署模式:⚫ 会话模式（Session Mode）⚫ 单作业模式（Per-Job Mode）⚫ 应用模式（Application Mode）会话模式（Session Mode）首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源问题: 同一个task manager上的作业
2022-05-08 17:16:07
1393
原创 java.lang.IllegalArgumentException: The given host:port (‘yarn-cluster‘) doesn‘t contain a valid por
修改flink安装包中的bin/flink开头增加代码export HADOOP_CLASSPATH=`hadoop classpath`
2022-04-27 20:42:54
1771
原创 flink sql 时态和和静态表的理解
静态表flink sql 定义的维度表,一般程序启动的时候将维度即信息一次性缓存到内存中,下次流数据与之关联的时候,实际是与内存中数据进行关联查询样例SQLcreate table source_kafka (id bigint,name string,proctime as proctime()) WITH ( 'connector' = 'kafka', 'topic' = 'test', 'properties.bootstrap.servers' = 'xxx', 'p
2022-03-18 12:06:48
3383
2
原创 flinksql 的函数使用指南
文章目录时间函数CURRENT_TIMECURRENT_DATE时间函数CURRENT_TIME使用select CURRENT_TIME from a结果: 只有时分秒18:51:28CURRENT_DATE使用select CURRENT_DATE from a结果 只有年月日2022-02-11
2022-02-11 09:52:19
710
原创 flinksql报错大全
报错Type mismatch in column 1 of UNION解决方案:sql 在 union的时候 两个表字段出现类型不一致现象
2022-02-09 14:30:16
4067
2
原创 两个数组元素的二元组合
文章目录 String s = "{\n" + " \"name\":[\"op\",\"pl\",\"zs\"],\n" + " \"age\":[\"11\",\"12\"],\n" + " \"sex\":\"F\",\n" + " \"class\":[\"ONE\",\"TWO\"]\n" + " \n" + "}";
2021-12-28 09:19:29
517
原创 flink sql 自定义connector 原理解读
文章目录创建动态表工厂类比于flume的sink,source,channel的模型,定义好connector,用户编写自定义的source端和siink端,就可以将数据需求sql化实现架构图:创建动态表工厂对于source端实现 DynamicTableSourceFactory 接口, DynamicTableSourceFactory 需要实现的方法 @Override public DynamicTableSource createDynamicTableSource(Co
2021-11-17 15:59:26
554
原创 flink sql 自定义connector 原理解读
文章目录创建动态表工厂类比于flume的sink,source,channel的模型,定义好connector,用户编写自定义的source端和siink端,就可以将数据需求sql化实现架构图:创建动态表工厂对于source端实现 DynamicTableSourceFactory 接口, DynamicTableSourceFactory 需要实现的方法 @Override public DynamicTableSource createDynamicTableSource(Co
2021-11-17 13:42:36
1953
原创 flink sql 的 source / sink 原理
文章目录sourcesource对于flink sql 中的source 无奈就两种.流表 比如数据源是kafka 或者mq等动态数据源维表数据源是mysql/hbase/redis等静态数据源datastream 定义一个source的基本内容source , sink 的connector 连接配置信息(sql中connector)source , sink的序列化方式信息(sql 中format字段)source,sink的字段信息 (sql source ,sink field
2021-11-08 23:43:20
2511
原创 log4j打印日志到控制台
log4j.rootLogger=WARN,console#输出到控制台log4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=[%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%m%nlog4j.app
2021-11-04 15:10:15
3503
原创 flink sql连接hbase
文章目录创建hbase表可以设置参数 public static final ConfigOption<String> TABLE_NAME = ConfigOptions.key("table-name").stringType().noDefaultValue().withDescription("The name of HBase table to connect."); public static final ConfigOption<String> ZOO
2021-11-02 10:59:25
1288
原创 Flink: No operators defined in streaming topology. Cannot execute
Flink: No operators defined in streaming topology. Cannot execute需要增加print(), 类似spark 中需要触发算子一样env.print()env.execute("Test Job")
2021-10-27 16:20:03
3858
原创 maven打包插件
依赖包和主程序分开的包依赖包和主程序一起的包<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.0.0</ver
2021-10-20 09:52:46
214
原创 kerberos认证报错
由于本地始终偏差,需要在krb5.conf文件中 libdefaults中增加udp_preference_limit =1
2021-09-28 10:11:52
526
原创 面试: Hive数据倾斜汇总
文章目录倾斜现象产生场景join阶段产生原因解决方案开启负载均衡小表join大表，某个key过大表中作为关联条件的字段值为0或空值的较多表中作为关联条件的字段重复值过多表不同数据类型关联产生数据倾斜count distinct 大量相同特殊值数据量过大倾斜现象任务进度长时间卡在99% 有的时候甚至100%,查看任务监控页面.发现只有少量的reduce 子任务未完成,因为其处理的数据量和其他reduce 差异过大,单一reduce 记录数与平均记录数差异过大,最长时长远大于平均时长产生场景大部分发生在
2021-08-30 10:35:32
475
原创 虚拟机启动hadoop无法启动
2021-08-26 00:43:41,743 WARN [main] namenode.NameNode (NameNode.java:format(1204)) - Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:192.16
2021-08-26 00:47:52
1027
原创 ssh远程报错java命令找不到
Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profilebash的运行模式可以分为login shell 以及non-login shell直接通过终端登录访问的,输入用户名,密码得到就是一个login shell,而 “ssh 主机名 命令” 的方式这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，~/.bash_profi
2021-08-25 23:30:46
944
原创 hive报错Error: GC overhead limit exceeded
事故缘由根据yarn上资源使用情况,发现集群的内存,cpu,核数都正常,但是数据导入任务执行 88%后,就出现GC overhead limit exceeded , 根据生成的执行日志,发现数据导入只有map 任务,数据量级别在几千万的数据量设置jvm参数set mapred.child.java.opts=-Xmx8000m;set mapreduce.map.java.opts=-Xmx8096m;set mapreduce.reduce.java.opts=-Xmx8096m;set
2021-08-23 11:09:04
3156
1
原创 mybatis动态sql实现逻辑
文章目录1.xml文件读取2.xml 文件解析mybatis通过将sql配置xml文件中,通过解析xml动态标签来实现动态sql如下样例 xml文件<?xml version = "1.0" ?><!DOCTYPE script SYSTEM "script-1.0.dtd"><script namespace="user"> <common id="commonOrder"> order by id desc <
2021-08-13 15:54:01
713
原创 clickHouse的SQL操作
文章目录查询alter 操作类似于传统的数据库的insert,但是和其他大数据组件,对于大数据量的数据进行update以及delete操作时,比较重.而且ck不支持事务比较重的原因是会删除原有的分区,重建新分区,因此在做批量的变更,而避免频繁的小数据的操作删除操作alter table t_order_smt delete where sku_id ='sku_001';修改操作alter table t_order_smt update total_amount=toDecimal32(20
2021-08-10 00:32:12
1028
原创 clickHouse的表引擎
文章目录表引擎的使用TinyLogMemoryMergeTreepartition by 分区(可选)并行数据写入与分区合并表引擎的使用表引擎是 ClickHouse 的一大特色。可以说， 表引擎决定了如何存储表的数据。数据的存储方式和位置，写到哪里以及从哪里读取数据。支持哪些查询以及如何支持并发数据访问。索引的使用（如果存在）。是否可以执行多线程请求。数据复制参数。表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数TinyLog以列文件的形式保存在磁
2021-08-06 11:17:53
278
原创 clickHouse的数据类型
文章目录整型浮点型布尔型Decimal128(s)，相当于 Decimal(38-s,s)，有效位数为 1~38Decimal 型字符串枚举类型时间类型数组参考:https://clickhouse.tech/docs/zh/整型固定长度的整型，包括有符号整型或无符号整型整型范围（-2n-1~2n-1-1）：Int8 - [-128 : 127]Int16 - [-32768 : 32767]Int32 - [-2147483648 : 2147483647]Int64 - [-92233
2021-08-05 00:15:24
314
原创 ClickHouse 入门
文章目录数据分区与线程级并行ClickHouse 是俄罗斯的 Yandex 于2016 年开源的列式存储数据库(DBMS),使用 C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分许数据报告CK主要的存储方式是列式存储,对于列的聚合,计数,求和等统计操作原因由于行式存储,由于某一列的数据类型都是相同,针对数据存储更容易进行数据压缩,每一列选择更优的数据压缩算法,大大提高了数据的压缩比重由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于cache也有恒大的发挥空间采
2021-08-01 23:35:33
410
1
原创 SpringBoot 接口返回json数据，日期时间戳修改指定格式，指定时区GMT+8
在实体类上添加@JsonFormat(locale = “zh”, timezone = “GMT+8”, pattern = “yyyy-MM-dd HH:mm:ss”)
2021-07-26 16:40:14
1212
原创 Caused by: org.springframework.beans.factory.NoSuchBeanDefinitionException解决
Caused by: org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type ‘com.zyd.mapper.xxMapper’ available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {@org.springframework.beans.
2021-07-26 14:12:23
15837
转载 Spring Security
文章目录框架介绍认证与授权实现思路框架介绍Spring 是一个非常流行和成功的 Java 应用开发框架。Spring Security 基于 Spring 框架，提供了一套 Web 应用安全性的完整解决方案。一般来说，Web 应用的安全性包括用户认证（Authentication）和用户授权（Authorization）两个部分。（1）用户认证指的是：验证某个用户是否为系统中的合法主体，也就是说用户能否访问该系统。用户认证一般要求用户提供用户名和密码。系统通过校验用户名和密码来完成认证过程。（2）用
2021-07-22 23:00:43
156
原创 用户权限设计逻辑
文章目录对于表的映射关系中,先理清表与表之间的关系用户,角色,权限之间的关系,一个用户有多个角色,一个角色有多个用户,角色对应多个权限,一个权限对应多个用户acl_userCREATE TABLE `acl_user` ( `id` char(19) NOT NULL COMMENT '会员id', `username` varchar(20) NOT NULL DEFAULT '' COMMENT '微信openid', `password` varchar(32) NOT NULL
2021-07-22 16:17:44
366
原创 前端(二十二):vue-element-admin以及 vue-admin-template
文章目录vue-element-adminvue-admin-templatevue-element-admin该开源项目定位于后台集成方案, vue-element-admin当做工具箱,然后通过vue-admin-template来进行组配下载项目git clone https://github.com/PanJiaChen/vue-element-admin.gitnpm installnpm run devvue-admin-template轻量化模板git clone http
2021-07-06 09:28:37
1017
原创 前端(二十一):webpack
文章目录简介安装JS打包css文件打包简介Webpack 是一个前端资源加载/打包工具。它将根据模块的依赖关系进行静态分析，然后将这些模块按照指定的规则生成对应的静态资源。Webpack 可以将多种静态资源 js、css、less 转换成一个静态文件，减少了页面的请求。安装全局安装npm install -g webpack webpack-cli安装后查看版本号webpack -vJS打包创建src文件夹下common.jsexports.info = function (s
2021-07-04 18:59:15
276
原创 前端(二十):Babel转码
文章目录简介安装Babel的使用简介Babel是一个广泛使用的转码器，可以将ES6代码转为ES5代码，从而在现有环境执行执行。安装Babel提供babel-cli工具，用于命令行转码npm install --global babel-cli查看是否安装成功babel --versionBabel的使用创建文件1.jslet input = [1, 2, 3]input = input.map((item) => item + 1)console.log(input)创
2021-07-02 15:47:16
280
前端(二十):npm管理
文章目录简介使用npm管理项目修改npm镜像npm install命令的使用其它命令简介NPM全称Node Package Manager，是Node.js包管理工具，是全球最大的模块生态系统，里面所有的模块都是开源免费的；也是Node.js的包管理工具，相当于前端的Maven 。使用npm管理项目1.创建文件夹并初始化,根据提示信息输入描述信息,最后生成 package.jsonnpm init 2.直接生成 package.jsonnpm init -y修改npm镜像NPM官方的管
2021-07-02 15:21:43
215
原创 数据库表的设计
. 库名与应用名称保持一致2. 表名,字段名必须使用小写字母或数字,且开头不能使用数字3. 表名不能使用复数4. 表命名规范,业务名称_表的作用5. 表必备三个字段,id,create_time,update_time,其中id为主键类型为 bigint unsigned、单表时自增、步长为 1,（如果使用分库分表集群部署，则id类型为verchar，非自增，业务中使用分布式id生成器）create_time,update_time 为datetime 类型，前者现在时表示主动创建，后者过去分词表
2021-07-01 10:15:33
5021
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人