- 博客(126)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 clickhouse 行列转换
将数组的每个元素都拆分成多个行值：arrayJoin(splitByChar(':',cast( tmp as String)) as src)再将t 列切分成一个数组，通过 splitByChar(':',cast( tmp as String)) as src。先把多个列拼接成一列 t： concat('1','_', m1,':' '2','_','m2') as t。
2023-02-23 16:35:55
2080
原创 hadoop集群个别节点存储空间达到90%
所以需要小磁盘留有一定的空闲空间，查看hadoop资料，设置 dfs.datanode.du.reserved配置项可以使每个磁盘保留相应的磁盘空间，单位使用bytes，但是我设置之后起作用了，总体容量下降，依然往小盘上写数据，艹艹，我使用的hadoop版本是cloudera的cdh4.6。我们现在用的集群中，各个datanode使用空间差不多，但是由于有3台总的存储空间较小，导致使用量接近90%报警，网上查的方法都是说namenode写文件的时候。修改hdfs-site.xml:添加。
2022-11-07 10:28:34
1199
原创 springboot+mybatis-plus集成swagger开发
3. javaweb下载文件时中文名称乱码，在网上查了很多资料，对文件名称辽url编码处理，但是在swagger接口上下载文件后，文件名称还是编码后的乱码文件名，通过升级swagger版本由2升级为3后，问题解决。解决方案： swagger2 和springboot的版本是否不兼容，降低swagger的版本，修改yml配置；解决方法：检查application.yml配置文件中mybais-plus的配置是否正确。mybatis-plus 的配置要从spring中独立出来，否则会报错。
2022-11-01 13:53:29
194
原创 clickhouse 操作报错
SQL 错误 [62]: ClickHouse exception, code: 62, host: 172.22.243.102, port: 8123; Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 3499 (line 70, col 1): COMMENT '全景机柜信息中间表-包括特殊机房(香山同济)'. Expected one of: INTO OUTFILE, SETTINGS, FOR
2022-07-04 17:12:45
5930
2
原创 git 应用报错汇总
1.The following untracked working tree files would be overwritten by checkout在IDEA中进行分支切换时 或 执行git merge upstream/dev时，出现如此错误，导致无法正常切换：error: The following untracked working tree files would be overwritten by checkout通过错误提示可知，是由于一些untracked working tree f
2022-06-16 09:18:25
312
原创 flink 使用问题记录
1. 提交flink任务：Process finished with exit code 130org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e87852fa7a12e2276e2876c067a not found at org.apache.flink.runtime.rest.handler.job.AbstractExecutionGraphHandler.lambda$handleRequest$1(AbstractE
2022-02-23 17:32:53
2400
原创 maven项目解决依赖
1. 进入pom.xml文件，右击-》Diagrams->show Dependencies;2. 点击diagramElements, 输入有冲突的包名称，点击该包名，双击该包名；3.进入引用该包的项目的pom文件，然后找到依赖该包的项目，4.在原pom文件对应的依赖引用中，使用以下方法排除即可。<exclusions><exclusion> </exclusion> </exclusions> ...
2022-01-19 10:08:50
486
原创 邮政储蓄银行面试题
一面： 4，5个人看着简历来问：1. postgresql 原理了解吗？2.postgres 调优是怎么进行的？ 都调哪些参数3.java 技术栈都用哪些？4.springboot 和springcloud有什么区别？数据调优：是对软件配置调优还是对sql调优？sql调优的思路：pg的运行模式:数据库性能调优?springboot 和springcloud 的区别；hadoop hive 有没有搭建过；hadoop 的管理节点，数据节点；实际编写的...
2021-12-05 12:13:40
2875
原创 民生银行信用卡中心-大数据方向-笔试题
单选题请认真阅读每道题目，并按题目要求进行作答。1.大数据方向单选题一般5分得分5分以下关于Flume，说法错误的是( )A: Flume 以agent 为最小的独立运行单位，一个agent 就是一个JVM。单agent 由Source、Sink 和Channel 三大组件构成B: Flume 的数据流由事件（Event）贯穿始终，事件是Flume 的基本数据单位C: Flume 三种级别得可靠性保障，从强到弱依次为：end-to-end、- 4 -
2021-11-30 21:54:50
1310
原创 flink 初识问题总结
package com.test.flink;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.Keyed.
2021-08-07 17:35:17
284
转载 The Bean Validation API is on the classpath but no implementation could be found
springboot项目报错-The Bean Validation API is on the classpath but no implementation could be found目录文章目录***后记*** ：内容新建简单的cxf整合springboot项目，但是控制台报错”The Bean Validation API is on the classpath but no implementation could be found”，如图：但是我项目中就一个简单的Bean U
2021-03-04 22:54:53
5754
2
原创 java Calandar 夏时制 计算指定日期的前一天出错
1. 问题描述： 用java 自带的Calendar 类计算指定日期的前 n 天的日期；2.现象： 设置当前日期为19870912, n 为-1， 即计算19870912 下一天的日期，计算出来的结果如下，没有得到预期的19870913。default timeZone:Asia/ShanghaitestDate:19870912 nextDate:19870912调用的getDate() 计算逻辑： 将日期转换成毫秒，然后加上n天的毫秒数（n*24*3600*1000L），即为n天后..
2020-07-09 09:00:40
631
原创 springboot 项目启动报错
1.springboot Test 单元测试启动时 报错：at least on bean which qualified as autowired candition ；unsetisfied dependency exception ； com...dao.XX not defined.查了很多资料， 都说是springboot启动时没有扫描到该包，后来加上@MapperSca...
2020-03-23 17:33:08
395
原创 java的基本数据类型
package com.ce.test;class Test { static byte b; static short s; static int i; static long l; static float f; static double d; static char c; static bool...
2019-04-22 16:20:51
438
原创 linux脚本ssh远程启动大数据组件失败，本地启动成功
https://blog.csdn.net/linghuchong_huashan/article/details/77885841问题场景： hadoop集群部署在虚拟机上，每次开机都要重新启动集群，所以想写一个脚本来意见启动所有服务。但是，写成如下脚本，提示执行成功，但登录远程主机jps查看，本地能启动该进程，远程的主机并没有zookeeper进程。#!/bin/shecho "...
2018-12-06 11:21:52
899
转载 spark broadcoast 广播变量
https://blog.csdn.net/weixin_41804049/article/details/79903472个人理解： spark driver 会将普通变量发送到每个task中，如果该变量特别大，会导致内存溢出，所以，使用广播变量，driver将变量广播到每个executor中，每个task向executor去取需要的变量，即可避免内存溢出。（这个理解并不全面，广播变量 在多...
2018-11-26 17:05:25
372
转载 spark 连接kafka API 讲解
转自： http://blog.leanote.com/post/kobeliuziyang/Spark2.x%E8%BF%9E%E6%8E%A5Kafkaspark 连接kafka API 各参数详细讲解一 Spark连接Kafka的两种方式比较 二 0.8，0.10以及更高版本的Kafka 如果spark的批次时间batchTime超过了kafka的心跳时间（30s），需要...
2018-11-26 16:58:40
2369
原创 crontab 定时执行脚本出错，但手动执行脚本正常
原因： crontab 没有去读环境变量，需要再脚本中手动引入环境变量，可以用source 也可以用export 写死环境变量。案例： 用crontab定时执行一个脚本，这个脚本完成执行java程序的功能； 在用sh 手动执行脚本时能正常执行，但是用crontab定时器手动执行就没有输出。 1) 后来查看定时任务，没有将错误输出打印到日志中，需要加上 2>&1;...
2018-11-22 12:29:20
5019
1
原创 java编译时加入调试信息
https://blog.csdn.net/wubai250/article/details/8481357 java编译时加入调试信息。 javac -geclispe 通过设置
2018-11-17 16:51:57
991
转载 ProcessBuilder 和Process的 区别
在面试的时候被问到过 java在本地执行命令时是否遇到过问题？ 当时就想到了之前遇到的 执行长输出的命令会卡住的情况，用Runtime.exe() 执行命令，当命令的输出过长时，会导致程序卡住，当时查的网上资料解决了这个问题，开启了2个线程，分别打印标准输出和标准错误输出，这样就能避免卡住。面试官问我 Process 创建的是进程还是线程，我回答的是进程，因为在本地 ps 会看到一个执行的进程，但...
2018-11-17 16:44:04
4987
原创 多线程总结-java
Java 多线程学习Java-Interview/MD/collection/HashSet.md一、线程基础 1.线程概念、好处 概念：线程是操作系统调度的最小单元，也叫轻量级进程，在一个进程里可以创建多个线程，这些线程都拥有各自的计数器，堆栈和局部变量等属性，并且能够访问共享的内存变量。处理器在这些线程中高速切换，让使用者感觉线程在同时执行。（ 好处:(...
2018-08-20 18:36:14
208
转载 hiveserver2 是什么？
https://www.cnblogs.com/xiaozhang123/p/7310980.html 工作上一直负责hive的打包，总是有人问hiveserver2是做什么的？ 我的回答只是可以用JDBC连hive，可远程对hive进行操作。(⊙﹏⊙)b 这个回答连我自己都不信服。今天搜到了一篇博客，写的不错，mark之。（他是翻译的官网的文章https://cwiki.apache.or...
2018-06-01 10:18:13
11736
转载 java定时器总结
https://blog.csdn.net/etttttss/article/details/7461371 今天看到这篇文章，对定时器总结的很清楚，拿来看看 在现实生活中，会出现这样的例子，比如烧水，一般烧了20分钟后，水开了，会需要及时换水，再烧20分钟，水又开了，继续提醒，比如上班，每天早晨8点钟的闹钟会及时提醒, 那么在java程序中如何实现 这种 已经被设定了的定时的任务呢，在下面会依...
2018-05-15 16:11:15
365
原创 spark编译安装
spark 中文网站： https://blog.csdn.net/u012185296/article/details/76855770https://blog.csdn.net/yu0_zhang0/article/details/79250172方法一：mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2...
2018-05-03 10:12:50
279
转载 JVM微调
原文链接：http://www.jdon.com/idea/jvm2.html点击打开链接JVM微调 上页高吞吐量调整UseParallelGC 和UseParNewGC等高吞吐量配合参数：-XX:+UseAdaptiveSizePolicy-XX:MaxGCPauseMillis=… (i.e. 100)-XX:GCTimeRatio=… (i.e. 19)UseAdaptiveSizePoli...
2018-02-28 13:55:54
219
转载 JVM内存模型和性能优化
http://www.jdon.com/idea/jvm.html 淘到了好文章，一定要抽时间仔细看看JVM内存模型优点内置基于内存的并发模型： 多线程机制同步锁Synchronization大量线程安全型库包支持基于内存的并发机制，粒度灵活控制，灵活度高于数据库锁。多核并行计算模型基于线程的异步模型。JVM性能的人为问题关键原因是：没有正确处理好对象的生命周期。需要从需求中找出存在自...
2018-02-28 12:58:38
494
转载 centos 6.x 配置yum源（本地、网络）
转自 ： http://blog.csdn.net/allen_a/article/details/51198585一、本地yum源1、系统默认已经安装了可使用yum的软件包，所以可以直接配置：[root@localhost ~]# cd /etc/yum.repos.d/ yum源配置文件放置目录
2017-12-27 14:42:28
10444
原创 hive sql 总结
一、HQL：where 过滤筛选 (map 任务) select ,update ,delete ,insert into （在分组语句group by之前执行）select * from emp where sal >3000;limit 限制条件 （无mapreduce）select * from emp where sal > 3000 limit 10 distinct (
2017-11-10 10:48:19
377
原创 hive 使用方法--小工具（二）
1、小工具：desc student; 描述表desc extended student ; 查看表的集体详细信息（表的类型(内部表、外部表），表压缩否）desc format student ; 格式化输出表信息show functions ； 查看hive中的函数desc function upper; 描述函数desc function ex
2017-11-04 21:58:16
715
原创 hive 使用方法-建表及导入导出数据(一)
1. 学习资料hive 官网： 不区分版本，所有信息都在一个文件汇总，会标记适合哪些版本 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL)一、基本使用法法 1) Create/Drop/Alter/Use Databasecreate database if not exists test_db;
2017-11-04 21:45:47
1408
转载 程序员的思考
转载自：http://hp.dewen.org/?p=56http://blog.csdn.net/dc_726/article/details/7265927程序员的我们，是否想过今后的路该怎么走、如何发展、技术怎样提高?其实这也是我一直在思考的问题。下面就此问题，分享下我的看法。因为我阅历有限，有什么说的不对的，大家一起喷!一、程序员应该打好基础1.
2017-10-31 13:16:58
285
原创 HTTPFS 安装步骤及验证
昨天安装hdfs httpfs，遇到了几个问题，总是访问不成功，但在网上也查不到答案，今天总结一下：一、httpfs是什么？参考：http://debugo.com/hdfs-httpfs/官网：http://hadoop.apache.org/docs/r2.5.2/hadoop-hdfs-httpfs/ServerSetup.html1、httpfs是通过http协议来访问hdfs，自带to
2017-10-27 18:16:59
5592
3
转载 linux grep 匹配查找
转自：http://151wqooo.blog.51cto.com/2610898/1162118如果你想在当前目录下 查找"hello,world!"字符串,可以这样: grep -rn "hello,world!" * * : 表示当前目录所有文件，也可以是某个文件名-r 是递归查找-n 是显示行号-R 查找所有文件包含子目录
2017-10-27 16:00:55
1527
转载 hadoop ha 高可用实现原理
转自：http://www.aboutyun.com/thread-22935-1-1.html问题导读：1、Hadoop1.x和Hadoop2.x架构有哪些区别？2、什么是QJM？3、如何理解QJM框架？4、如何理解主备切换机制？导语最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲
2017-10-18 10:52:28
5353
转载 一名3年工作经验的程序员面感悟及职业理解
转发：http://www.aboutyun.com/forum.php?mod=viewthread&tid=22776问题导读：1. 程序员可以分为哪几个阶段呢？2. 如何理解项目经验？3. Java 程序员一般需要掌握哪些技能？4. 如何看待 HR 面试？5. 如何看待面试心态？6. 如何看待 Java 的难易程度？前言因为和同事有约定再加
2017-10-13 10:03:25
15551
4
mac eclipse 安装 hadoop-eclipse 插件
2017-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人