- 博客(475)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 解决IDEA创建Maven工程没有src目录还很慢的问题
现象描述：使用IDEA新建maven项目，结果没有src目录，还非常慢。原因：IDEA根据maven archetype的本质，去执行mvn archetype:generate命令，该命令执行时，需要指定一个archetype-catalog.xml文件。该命令的参数-DarchetypeCatalog，可选值为：remote，internal ，local等，用来指定archetype...
2020-01-02 22:01:23
1090
原创 flink单机部署后，taskslot一直是0
如图，flink安装好后，Task Slots一直是0.修改过很多地方的设置，如jobmanager.memory.process.size: 5gb。最后修改这个地方：最配置文件最后添加一行，重启服务即可。
2022-09-29 15:40:04
2301
2
原创 su: 警告：无法切换到目录/home/oracle: 权限不够-bash: /home/oracle/.bash_profile: 权限不够
给755权限：chmod 755 /home/oracle，再切换到oracle用户，即可成功！在使用linux服务器时，通过root用户切换到oracle时报错。查看目录权限： ls -ld /home/oracle。查看oracle用户情况：id oracle。
2022-09-06 14:17:21
3887
原创 oracle数据同步报错请确认数据库名是否正确
确认下VALUE字段的名字，根据自己的需要进行修改。报错信息：连接数据库失败，请确认数据库名是否正确。我这边使用爱数工具进行oracle数据同步。原因：数据库名未修改，仔细排查一下。改完重新连接，即可成功。
2022-08-25 10:18:51
567
原创 FineBI开启关闭缓存方式
模式二选择固定时间点进行缓存，如表达式设置为0408,9,14**?表示8点40分，9点40分，14点40分，分别进行缓存一次。按照下面1~4步骤即可开启关闭缓存，刷新数据。（注意这是全部刷新，如果数据没有变化，需要单个页面先进行清除缓存操作！模式一选择固定时间段缓存，如每隔720分钟即12小时缓存一次，简单重复执行设置为720；图二中即为缓存进一步设置方式两种模式选择。...
2022-08-01 13:51:44
1018
原创 IO Undefined Error
dbeaver连接oracle报错：IO Undefined Error如下图： 解决：1.找到dbeaver所在目录，修改dbeaver.ini文件，最后添加一句： 2.以管理员身份运行dbeaver软件，打开即可正常连接，问题解决。
2022-06-29 11:19:55
879
原创 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
匿名用户user=anonymous执行SQL语句时，报错！ 再执行SQL语句，就可以了。如果还不行，基本就是权限的问题了。像这样：那我们只能使用hdfs用户操作了。
2022-06-21 14:14:38
4725
2
原创 Hive同步数据到Oracle报错：java.sql.SQLException: ORA-12592: TNS:bad packet
hive同步数据到Oracle时，报错： java.io.IOException: java.sql.SQLException: ORA-12592: TNS:bad packet
2022-06-14 14:06:10
699
原创 CDH安装时报错：/opt/cloudera/parcels/.flood/.../CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel does not exist
原因：磁盘空间不足。解决：优先查看节点的磁盘空间，根目录大小不要小于30G. 根目录空间扩容到30G 以上，（每台都要）。
2022-05-25 22:00:00
913
2
原创 Flink练习第四天：数据下沉Sink练习
SinkToFileTestSinkToKakfaTestSinkToRedisTestSinkToEsTestSinkToMysqlTest———————————————————————————————————————————SinkToFileTestpackage com.atguigu.chapter05;import org.apache.flink.api.common.serialization.SimpleStringEncoder;import
2022-05-04 17:50:05
1347
原创 Flink练习第三天：转换算子练习--map、flatmap、filter、reduce、simpleagg
目录mapflatmapfilterreducesimpleaggmapmappackage com.atguigu.chapter05;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.d
2022-05-04 17:46:40
1021
原创 Flink练习第二天：数据源获取方式（2）
自定义生成数据实现测试类，并行度不可修改+可修改方式。测试类package com.atguigu.chapter05;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.streaming.api.functi
2022-05-02 22:16:12
897
原创 Flink练习第二天：数据源获取方式（1）
数据源类型：1.从文件中读取数据2.从集合中读取数据3.从已有定义对象获取数据4.从socket获取数据5.从kafka获取数据代码如下：package com.atguigu.chapter05;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;
2022-05-02 22:13:21
772
转载 linux系统离线安装nc服务
参考地址：https://blog.csdn.net/weixin_36360511/article/details/116873077
2022-05-01 19:19:03
2446
1
原创 Flink练习第一天：wordcount、批处理、流处理
新建工程，引入pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.a
2022-05-01 18:02:23
1895
转载 kafka数据丢失问题排查与解决
Kafka数据丢失汇总在大数据的领域中，数据显得尤其的重要。在每一个组件、每一个步骤中，我们都要对数据进行妥善的处理、保护，才能得到更有说服力、有意义的数据。所以数据丢失，就成为了一件非常严重的事情；所以在我们的生产环境中，防止数据丢失就显得尤其重要。第1章Kafka作为我们消息队列的中间件，基于订阅和发布的消息队列；解除生产者（消息源）和消费者（数据接收处）的耦合关系，消除某时段数据传输速度高峰值，启动一个缓冲的作用。Kafka以时间复杂度O(1)的方式提供消息持久化能力，即使应对T.
2022-04-28 14:24:36
7311
原创 Flink报错：exceeded checkpoint tolerable failure threshould
问题如图：原因：资源太小checkpoint时间太小数据库连接未关闭，资源未释放。解决：重新部署运行，正常！
2022-03-14 16:43:36
3743
原创 kerberos认证遇到的大坑
问题描述：cdh的从节点连接hive（node02节点）和hdfs 都正常，ETL服务器连接hive（node02节点）和hdfs 报错：GSS initited faild备注：CDH集群和ETL服务器是在不同网段。原因：kdc原生支持tcp和udp协议，客户端访问kdc服务时，默认先使用udp协议发起请求，如果数据包过大或者请求失败，再换用tcp协议请求。解决：认证失败，禁用掉udp，直接使用tcp协议即可。修改/etc/krb5.conf文件，添加一..
2022-03-10 15:50:16
2737
原创 Debezium同步mysql数据
1.1 简介为实现数据同步功能，进行debezium组件验证，编写此说明。1.2 目标读者使用数据同步组件相关人员，技术选型人员。3.1 组件版本（版本可换，保证kafka、mysql能用即可）Kafka：2.2.1+cdh6.3.2Zookeeper:3.4.5+cdh6.3.2MySql(MariaDB版本)Debezium：1.5.03.2 组件使用MySQL安装在10.22.82.123节点，需开启binlog。登录命令：mysql -uroot...
2022-03-08 16:01:08
3431
原创 mysql插入汉字字段报错ERROR 1366 (HY000): Incorrect string value: ‘\xE6\x9D\x8E\xE5\x9B\x9B‘ for column ‘name
问题描述：mysql中插入汉字时，报错：insert into t_students values (102,'李四',27,'2022-03-04 10:33:48','2022-03-04 10:33:59');ERROR 1366 (HY000): Incorrect string value: '\xE6\x9D\x8E\xE5\x9B\x9B' for column 'name' at row 1解决：修改表和字段的编码卫utf8alter database grzq_te.
2022-03-04 11:13:08
936
原创 mysql的binlog是什么，有哪些分类？
什么是binlog MySQL的二进制日志可以说MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗。二进制有两个最重要的使用场景:其一：MySQL Replication在Master端开启binlog，Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 其二：自然就是数据恢复了，通过...
2022-02-21 13:48:41
423
原创 spark提交任务后，报错：Exception in thread “main“ java.lang.SecurityException: Invalid signature file digest
报错如图：原因：jar 包里有一些类冲突，生成了一些 SF、RSA 文件解决：要使用 zip 命令来删除zip -d xxx.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'
2022-02-09 11:33:34
1010
原创 idea properties配置文件中文乱码问题解决
解决：ctrl + alt + s 打开File Encodings，在4的地方修改为GBK保存。再查看properties，发现已正常显示中文。
2022-01-13 17:23:10
793
原创 Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory‘ in
少包~flink-connector-jdbc_2.11-1.12.4.jarJDBC的包，放到/opt/cloudera/parcels/FLINK/lib/flink/lib下面，集群的各个节点都放。
2022-01-12 15:53:05
1419
原创 classnotfoundexception org.apache.kafka.common.serialization.ByteArrayDeserializer
少包~kafka-clients-2.2.1.jar放到flink的lib下面，集群都要放。
2022-01-12 14:28:37
1694
原创 java.lang.RuntimeException: Unable to run quorum server zk启动错误
解决：查看zookeeper的配置文件zoo.cfgvi /opt/cloudera/parcels/CDH/lib/zookeeper/conf/zoo.cfgdataDir=/var/lib/zookeepercd /var/lib/zookeeper/version-2rm -rf *重启集群即可。
2022-01-11 14:04:33
1130
原创 scalac: Token not found:
IDEA 执行 scala 程序时，报 scalac: Token not found错误解决：Settings -> Plugins把 Scala 插件停用或者卸载，重启 IDEA，再启用 或者安装Scala 插件，重启 IDEA
2022-01-11 13:06:36
5501
原创 grep 精准匹配
grep 精准匹配用法，多用于脚本处理时，避免匹配多个文件或者字符。示例如下1.txt内容：a,aa,aaa,abccat filename | grep aa结果：aa,aaacat filename | grep -w aa结果：aa
2022-01-11 10:40:03
10334
转载 大数据-数据仓库：快照表、拉链表，全量表，增量表
转载自(15条消息) 大数据-数据仓库：快照表、拉链表，全量表，增量表_u013250861的博客-CSDN博客https://blog.csdn.net/u013250861/article/details/113732856
2022-01-07 11:53:37
406
转载 数据仓库之拉链表（一） 概念理解
转载自数据仓库数据模型之：极限存储–历史拉链表 – lxw的大数据田地 (lxw1234.com)http://lxw1234.com/archives/2015/04/20.htm数据仓库之拉链表（一） 概念理解_吃提子要吐皮的博客-CSDN博客_拉链表概念拉链表是针对数据仓库设计中表存储数据的方式而定义的，就是记录历史数据的每个状态，记录一个事物从开始，一直到当前状态的所有变化的信息；拉链表通常是对账户信息的历史变动进行处理保留的结果转载地址：http://lxw1234.com/archi..
2022-01-07 11:43:07
213
原创 hive表中数据为NULL
如图，hive中数据显示为NULL，解析错误。原因：分隔符不对解决:sqoop抽数脚本里的分隔符用的是\01， 导数据到hdfs上是这种SOH的，对应到hive中是\001sqoop抽数脚本：hdfs上：hive上的表这样的对应关系就可以正常解析了。附录：ASCII码表对照关系...
2021-12-29 16:37:47
2309
原创 yum命令被锁 Existing lock /var/run/yum.pid
执行yum命令时，被锁 Existing lock /var/run/yum.pid: another copy is running as...解决：删除pid即可执行：rm -f /var/run/yum.pid
2021-12-28 11:03:02
655
转载 linux系统环境变量及用户环境变量的配置区别和配置说明
https://blog.csdn.net/qq_26929957/article/details/79151834总结 ：如果既配置了系统环境变量，又配置了用户环境变量，最终会以用户环境变量的配置为准。
2021-12-24 13:15:08
360
转载 clickhouse数据处理方式之--增删改
ClickHouse 数据表的增删改 - 古明地盆 - 博客园 (cnblogs.com)https://www.cnblogs.com/traditional/p/15218693.html
2021-12-16 17:10:13
336
原创 no appropriate protocol mysql......问题解决
原因：jdk1.8导致SSL调用权限有问题。解决:修改jdk的参数，删除三个参数：
2021-12-15 19:05:10
2982
原创 sqoop could not load db driver class:oracle.jdbc.OracleDriver_
报错如图，在使用sqoop从oracle导数到hive，加载不到驱动。原因：缺少包解决：在安装sqoopserver的节点上放oracle的驱动包，/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar并且修改权限为777...
2021-12-09 13:53:39
2290
原创 记一次Flink修改源码操作的大坑
背景：为了适配flinkSQL连接clickhouse，修改flink-connector-jdbc_2.11-1.12.4.jar添加clickhouse的信息。因为有依赖关系，修改源码时报错，就把flink-table-common-1.12.4.jar放到jdk的\jdk\jre\lib\ext下面。（此处埋下隐患：忘了这回事了，坑了一天！！）改完源码，打包，替换到项目里，运行，报错：各种找不到类。网上尝试的所有方法都试过了，还是不行。替换为原来的包，运行还是报错。最后把程
2021-11-10 16:40:54
2411
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人