- 博客(118)
- 收藏
- 关注
RSS订阅原创 客户端提交flink任务到集群失败Clock skew too great
前两天公司客户端云主机提交flink任务到集群失败Clock skew too great（Linux时差过大超过5min提交失败）
2022-08-21 16:00:31
223
原创 FutureTask+CompletableFuture使用简介
package com.star.multiThread;import java.util.concurrent.*;public class FutureTest { public static void main(String[] args) throws ExecutionException, InterruptedException { // testCompletableFuture1(); testCompletableFuture2();.
2022-03-18 15:13:39
234
原创 spark创建hive外部表失败
问题1：spark版本问题一般碰到结尾为V，很可能是版本问题<spark.version>2.4.0</spark.version>问题2：一直报库不存在org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'user_profile0224' not found;解决办法：a.检查hadooponwindows-master环境变量b.增加配置.se.
2021-12-06 00:32:24
2171
1
原创 hbase shell操作
1.scanscan命令可以按照rowkey的字典顺序来遍历指定的表的数据。scan ‘表名’：默认当前表的所有列族。scan ‘表名’,{COLUMNS=> [‘列族:列名’],…} ： 遍历表的指定列scan '表名', { STARTROW => '起始行键', ENDROW => '结束行键' }：指定rowkey范围。如果不指定，则会从表的开头一直显示到表的结尾。区间为左闭右开。scan '表名', { LIMIT => 行数量}： 指定返回的行的数量
2021-11-01 23:19:36
1704
原创 cdh6.3.2的hue操作hbase报错
错误1：hue集成hbase出现TSocket read 0 bytes参考1.hue集成hbase出现TSocket read 0 bytes_叛逆的鲁鲁修love CC的博客-CSDN博客参考2：CDH 6.3.1 hue 4.4 Api 错误：500 Server Error: Server Error for url: http://x.x.x.x:9090_BertramLAU的专栏-CSDN博客...
2021-11-01 22:44:10
111
原创 cdh6.3.2集成flink1.12.0(亲测有效)
CDH整合Flink（CDH6.3.2+Flink1.12.0）_mp9105的博客-CSDN博客报错1.队列问题Caused by: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1636773988083_0034 to YARN : Application application_1636773988083_0034 submitted by user flink to un
2021-11-01 00:08:01
2041
2
原创 flinkcdc基于mysql亲测验证有效
1.修改mysql配置文件window下的my.ini# 验证flink cdc 可以自定义，但必须唯一# 验证flink cdc 可以自定义，但必须唯一server-id = 1# 可以自定义，binlog文件的前缀名log_bin=mysql-bin#必须是row binlog_format=ROW# 必须是full # binlog_row_image = FULLbinlog-do-db=bigdataflink代码package co
2021-10-30 00:05:25
2463
原创 shell工具
1.cut切割cut.txt第二、三列cut -d " " -f 2,3 cut.txt选取系统PATH变量值，第2个“：”开始后的所有路径：[atguigu@hadoop102 datas]$ echo $PATH | cut -d: -f 2-/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin切割ifconfig 后打印的IP地址[atguigu@hadoop101 da
2021-10-21 00:27:33
137
原创 json对象转字符串key值首字母变小写问题
实体类package com.star.json;import com.alibaba.fastjson.annotation.JSONField;import lombok.AllArgsConstructor;import lombok.Data;/** * @author: liminghui * @date: 2021/10/6 19:46 * @version: 1.0 * @description: */@Data@AllArgsConstructorpubli
2021-10-06 20:24:29
949
原创 提交github代码报错443
今天提交github代码报错443,1.参考1忽然发现GitHub用不了了，原来git的账密验证已经弃用，改用 token 或 SSH 密钥忽然发现GitHub用不了了，原来git的账密验证已经弃用，改用 token 或 SSH 密钥_从零开始-CSDN博客2.git config --global --unset http.proxyIDEA提交失败，提示：OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github
2021-09-17 20:33:05
1132
原创 求B字符串可以由几次字符串A的子串组成
package com.star.exam;/** * @author: liminghui * @date: 2021/9/8 19:51 * @version: 1.0 * @description: */public class ExamTest1 { public static void main(String[] args) { /** * abc abcbc abc+bc=>2 * abcd abcdec =.
2021-09-08 22:22:38
101
原创 删除排序链表中的重复元素(去重和删除)java版本
给定一个排序链表，删除所有含有重复数字的节点，只保留原始链表中没有重复出现的数字。示例1:输入: 1->2->3->3->4->4->5输出: 1->2->5示例 2:输入: 1->1->1->2->3输出: 2->3代码package com.star.exam;public class Num83 { public static void main(String[] arg..
2021-09-08 20:26:56
470
原创 CDH集群hue继承hdfs遇到问题
您是 Hue 管理员，但不是 HDFS 超级用户解决方法:1.cdh 中给root 赋值 hdfs 超级用户权限#Linux下默认是没有supergroup组的#hadoop:x:994:hdfs,mapred,yarncat /etc/group #查看hdfs用户的组是hadoop#hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologincat /etc/passwd#所以，先在Linux添加s...
2021-08-18 15:34:43
1121
转载 MAPJOIN来解决实际的问题
参考1：https://blog.csdn.net/pursuitbeauty/article/details/46038941参考2：https://blog.csdn.net/liuj2511981/article/details/8616730
2021-08-02 17:02:19
210
原创 SQL面试之用户中两人一定认识的组合数
需求分析设表名：table0现有城市网吧访问数据，字段：网吧id，访客id（身份证号），上线时间，下线时间： 规则1、如果有两个用户在一家网吧的前后上下线时间在10分钟以内，则两人可能认识 规则2、如果这两个用户在三家以上网吧出现【规则1】的情况，则两人一定认识 需求：该城市上网用户中两人一定认识的组合数。数据准备注：以下使用oracle实现的DROP TABLE "STARPOWER"."TABLE0";CREATE TABLE "STARPOWER".
2021-07-29 11:20:18
232
原创 linux快捷键和常用命令总结
1.linux快捷键yy+p 复制一行dd 删除一行u 撤销2.对第三列排序去重原始数据[root@cdh03 ~]# cat myfile.txt 1,a,2002,b,1003,c,4004,d,200awk -F, '{print $3}' myfile.txt |sort -n| uniq > temp.txt3.对第三列求和awk -F, '{m+=$3} END{print m}' myfile.txt...
2021-07-29 00:02:01
103
转载 SQL求最高在线人数以及最高峰时间段
需求分析数据为主播ID,sdt表示开播时间，edt表示下播时间。求： （1）该平台某一天主播同时在线人数最高为多少？ （2）出现最高峰的时间段是哪个时间? 建表 注：我用的oracle实现的DROP TABLE "STARPOWER"."PLAY";CREATE TABLE "STARPOWER"."PLAY" ( "ID" VARCHAR2(100 BYTE), "SDT" DATE, "EDT" DATE)TABLESPA..
2021-07-28 16:12:02
2969
1
原创 线上CPU飙升100%问题排查
1.问题复现线上系统突然运行缓慢，CPU飙升，甚至到100%，以及Full GC次数过多，接着就是各种报警：例如接口超时报警等。此时急需快速线上排查问题。2.核心步骤1.执行“top”命令：查看所有进程占系统CPU的排序。极大可能排第一个的就是咱们的java进程（COMMAND列）。PID那一列就是进程号。2.执行“top -Hp 进程号”命令：查看java进程下的所有线程占CPU的情况。3.执行“printf "%x\n 10"命令 ：后续查看线程堆栈信息展示的都是十六进制，为了找到咱
2021-07-27 14:22:46
291
原创 Yarn的两种deploy-mode模式（client/cluster）
区别yarn 有两种模式，分别是 client 和 cluster，那么它们有什么区别呢？Driver的运行位置：client：Driver运行在Client端（即提交作业的机器）；cluster：Driver运行在ApplicationMaster中；客户端是否能退出client：因为client会和请求到的Container进行通信来完成作业的调制和执行，所以不能退出；cluster：clinet只要提交完作业后就可以关掉，因为作业已经在yarn运行了；ApplicationMas
2021-07-27 11:46:52
1238
原创 一个int类型的数字在不转型的前提下怎么放入List＜String＞?
结论：由此可见，通过翻译绕过编译期检查，理论上Object类型都能塞入list
2021-07-26 14:15:39
227
原创 实现用户唯一标识统一（redis hash和sparkGraghx图计算）
参考原文：https://blog.csdn.net/qq_36269641/article/details/1095770711. id标识实现简单方案：将这条数据中的uid/imei码/imsi码/mac/androidid/uuid这些标识字段优先级取一个标识，作为这条数据的用户唯一标识 可能存在问题：登录前和登录后取到的唯一码不一致现实的问题：在实际的业务中，用户可能使用各种各样的设备，有着各种各样的前端入口，甚至同一个用户拥有多个设备以及使用多种前端入口，就会出现...
2021-07-24 17:29:21
951
原创 前端环境搭建
1.node环境变量设置https://www.cnblogs.com/yangjiming/p/12039700.html2.在官网下载node.js太慢解决办法http://nodejs.cn/download/3.nodejs下载安装及配置环境https://blog.csdn.net/qq_43285335/article/details/906961264.VSCode搭建Vue项目https://www.cnblogs.com/zyskr/p/10609288.html5
2021-07-19 13:42:24
86
1
原创 mysql错误总结-ERROR 1067 (42000): Invalid default value for TIMESTAMP
参考https://blog.csdn.net/weixin_42733888/article/details/83870846方法三：在mysql的安装目录下，打开my.ini或my.cnf文件，新增# 解决建表的时候防止默认值不匹配如5.5版本sql_mode = ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUB
2021-07-07 17:23:12
500
原创 CDH6.3.2搭建遇到问题
1.Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10参考：https://blog.csdn.net/weixin_34221276/article/details/919073582.透明大页面三台节点都执行如下命令echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/...
2021-06-29 23:50:25
192
原创 spark的广播变量使用broadcast
使用广播, 大幅度减少 value 的复制def bc2(): Unit = { // 数据, 假装这个数据很大, 大概一百兆 val v = Map("Spark" -> "http://spark.apache.cn", "Scala" -> "http://www.scala-lang.org") val config = new SparkConf().setMaster("local[6]").setAppName("bc") val sc = ne
2021-06-22 15:39:56
257
原创 java根据照片原图解析经纬度位置信息
1.pom坐标<dependency> <groupId>com.drewnoakes</groupId> <artifactId>metadata-extractor</artifactId> <version>2.6.2</version> </dependency>2.测试代码package com.star.img;import com.
2021-06-02 08:27:03
1891
11
原创 windows环境下安装kafka
Kafka安装流程1.安装zookeeper下载地址：https://zookeeper.apache.org/releases.html下载后，解压放在目录D:\bigdata（本文所用的目录）下，关于zookeeper以及kafka的目录，路径中最好不要出现空格，比如D:\Program Files，尽量别用，运行脚本时会有问题。①进入zookeeper的相关设置所在的文件目录，例如：D:\bigdata\zookeeper-3.4.10\conf②将"zoo_sample.cfg"重命名为
2021-05-26 17:57:41
1145
原创 CDH5安装oozie报错（上载 Oozie 共享库 Command aborted because of exception: Command timed-out after 270 second）
CDH5安装oozie报错（上载 Oozie 共享库 Command aborted because of exception: Command timed-out after 270 second）解决方案在网上搜了下，大部分的解决方案都存在问题，其实看报错就是这个基础服务没装好而已。服务器上安装libxslt服务即可：yum install libxslt-devel -y参考https://www.pianshen.com/article/6822305731/...
2021-05-25 09:32:17
617
原创 VMware15安装centos7虚拟机教程
VMware15安装centos7虚拟机教程1.添加虚拟机2.设置安装位置和分区。（此处我试验的设置默认自动分区）centos7配置静态ipvi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=no
2021-05-19 15:20:05
402
原创 win/idea超实用快捷键
–windows快捷键win+r 运行命令框win+d 快捷回到桌面win+e 快捷打开根盘文件夹win+tab 切换上一个页面–idea快捷键alt+enter 智能提示，补全ctrl+alt+v 生成变量alt+鼠标左键选中 批量列编辑ctrl+alt+m 抽取方法ctrl+d 复制一行ctrl+g 定位到某一行alt+insert 生成tostring,get, set,构造方法等ctrl+alt+l 快速格式化ctrl+alt+o 优化导包ctrl+z 撤销c
2021-05-18 16:42:11
178
原创 CentOS7.0开启远程端口
参考博客https://blog.csdn.net/cong____cong/article/details/874697191.永久开通某个端口firewall-cmd --zone=public --add-port=9999/tcp --permanent2.查看防火墙端口状态firewall-cmd --zone=public --query-port=9999/tcp3.重启防火墙firewall-cmd --reload...
2021-05-08 15:22:29
380
原创 jar包后台启动命令
jar包后台启动命令不追加，错误和标准都输出到schedule.log nohup java -jar schedule-1.0.0-SNAPSHOT.jar >schedule.log 2>&1 &清空，不输出错误和标准nohup java -jar schedule-1.0.0-SNAPSHOT.jar >/dev/null 2>&1 &追加，错误和标准都输出到schedule.lognohup java -..
2021-05-07 22:21:55
303
原创 hadoop2.7.5安装hive2.1.1启动报错Caused by: java.sql.SQLException: Access denied for user ‘root‘@‘node03‘
1.报错截图和日志hadoop2.7.5安装hive2.1.1启动报错Caused by: java.sql.SQLException: Access denied for user ‘root’@‘node03’ (using password: YES) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:965)截图[root@node03 apache-hive-2.1.1-bin]# bin/hivewhich: n
2021-05-04 10:58:52
474
原创 centos6.9安装yum报错
yum install -y ntp加载插件：fastestmirror, security设置安装进程Loading mirror speeds from cached hostfileYumRepo Error: All mirror URLs are not using ftp, http[s] or file.Eg. Invalid release/repo/arch combination/removing mirrorlist with no valid mirrors: /var.
2021-05-01 14:57:45
1024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人