- 博客(258)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 有没有上帝？
上帝庆祝新年，放了个烟花，上帝一年，人类万亿年。然后每个星球都像烟花的一丝火星，星系星球就是里面的灰尘。有的已经熄灭（行星），有的还亮着光（恒星），行星灭了就灭了，恒星以后也会熄灭。挨着恒星近的，周围小行星被吸引，不管是恒星还是行星，都避免不了动能消失落地的结局。某个恒星运行的过程中，处于上帝那个世界温度，高度，再加上所围绕的恒星的温度正好适宜，于是就产生了生命。地球从最初的烟...
2020-04-29 16:48:25
161
原创 主动元数据和被动元数据
主动元数据还在技术概念炒作的早期阶段，对此的定义大家也有不同”程度“的理解：有人认为主动就是相对于”被动“搜集的主动探查，有人认为主动的含义是”被使用状态的“元数据，更有人认为是对传统元数据进行二次分析的才是主动元数据。元数据管理则是对元数据的创建、存储、整合、控制的一整套流程，是数据治理过程的一部分，能够支持基于元数据的相关需求和应用，让业务和和业务人员快速了解数据上下游关系及本身含义，精准定位需要查找的数据，减少数据研究的时间成本，提高效率。针对传统元数据管理的痛点问题，主动元数据管理方法营运而生。
2024-03-22 10:15:45
886
原创 keycloak部署
下载mysql的JDBC驱动（mysql-connector-java-8.0.21.jar）。默认配置只能使用localhost和127.0.0.1访问应用，也就是只能本机访问。网络访问需要修改配置文件。1.上传zip 并解压 uzip keycloak-11.0.2.zip。进入${KEYCLOAK_HOME}/bin目录， 后台启动。3.安装mysql的jdbc驱动。4.修改keycloak配置文件。2.创建mysql数据库。7.启动keycloak。
2024-01-15 15:01:49
457
原创 影响一个CPU程序的性能瓶颈主要有4大点
如果CPU的数据缓存（Data Cache）无法及时提供指令执行需要的数据，或者执行单元的容量不足，将导致Backend Bound瓶颈。如果预测正确，CPU会继续执行预测的指令，否则将取消之前已执行的指令，并重新开始执行预测错误的指令。Retiring、Bad Speculation、Frontend Bound 和 Backend Bound，4个瓶颈点导致的主要原因依次是：缺乏 SIMD 指令优化，分支预测错误，指令 Cache Miss， 数据 Cache Miss。
2024-01-10 09:16:11
403
原创 RESTFul api相应状态码
GET操作200：OK——成功 202：ACCEPTED——请求已被接受并进入队列 204：NO CONTENT——成功，但没有返回数据（查询结果为空，body为空） 400：INVALID REQUEST——请求有错误 401：UNAUTHORIZED——授权错误 403：FORBIDDEN——授权正确，但是请求被禁止 404：NOT FOUND——请求针对的是不存在的资源 406：NOT ACCEPTABLE——请求的格式不可得到 409：CONFILCT——资源冲突，或资源已被锁定
2024-01-08 11:33:54
419
原创 做了个美梦
昨晚做了一个非常美的梦，开车在半山腰，阳光不是很亮，很温和，但是照在万物上，色彩特别艳丽，云彩都是彩色的，半山腰的树也美的层次分明，山很高，也是多种艳丽色彩，开车在路上分不清天地，更分不清路，只顾着美不胜收，不断的拍照。用一种感觉形容就是钻进了万花筒，美的让人眩晕。
2023-11-25 11:16:18
416
原创 flink报找不到类java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream
问题：
2023-11-25 11:10:31
527
原创 SingleOutputStreamOperator转table
需要将DataStream或者SingleOutputStreamOperator转为table，发布为createTemporaryView，但是字段有上千个，通过$字段属性的方式，实在不好处理。function算子里面范围Row类型，根据字段长度设置创建row大小。这样就解决了几千个字段发布为table的问题。把字段创建一个rowTypeInfo。
2023-11-23 14:24:12
120
原创 rancher或者其他容器平台使用非root用户启动jar
java程序打成镜像，在rancher上运行，默认是root账户，发现hdfs或者hive不允许root账户操作；所以打算用费root账户启动jar，使其具有hive和hdfs的操作权限。思路就是上面这样的，增加了非root账户，其中还涉及到hosts配置文件的修改，hosts只能由root用户修改。上面方式解决了问题，如有不理解的地方，请留言讨论。
2023-11-07 11:24:44
304
原创 kafka增加磁盘或者分区，topic重分区
场景：kafka配置文件log.dirs增加了几个目录，但是新目录没有分区数据写入，所以打算进行重分区一下。Proposed partition reassignment configuration：建议分区策略。Current partition replica assignment：当前分区策略，新建 topic-reassign.json,把要重分区的topic按下面格式写。分区多，数据量大的话，用时多一些，半个小时一个小时也是可能的。throttle带宽，单位是B，上面表示100M/s带宽。
2023-09-12 11:19:03
560
原创 部署zookeeper集群
链接：https://pan.baidu.com/s/13GpNaAiHM5HSDJ66ebBtEg。链接：https://pan.baidu.com/s/1nSFKEhSGNiwgSPZWdb7hkw。4.配置zookeeper, /conf/zoo.cfg2,红色部分是需要修改的内容。综上，整体配置已经完成，直接到 bin/zkServer.sh start 就行了。1.上传zookeeper和jdk, /opt/soft/java -version看能否打印正确信息。
2023-09-08 16:45:38
368
原创 systemctl管理kafka和zookeeper
Unit][Service]User=tmnGroup=tmn[Install][Unit][Service]User=tmnGroup=tmn[Install]EOF。
2023-09-08 15:54:11
554
原创 hadoop3.3.4集群安装部署
链接：https://pan.baidu.com/s/11vwGlR3I3lQuzVRqfuUFfg。启动的时候namenode没启动成功，原因是需要格式化。--来自百度网盘超级会员V4的分享。
2023-07-04 16:47:34
228
原创 windows管理员权限修改hosts
1.win+R 输入 cmd，ctrl+shift+enter。进入管理员权限的cmd。进入host目录，输入notepad hosts。
2023-06-14 10:21:21
860
1
原创 工作遇到的问题，不断更新
1）kafka-client版本，从0.9更新到0.10 就可以了。1.kafka kerberos认证失败。2）kafka的topic不对。
2023-06-08 17:16:14
56
原创 yum doesn‘t have enough cached data to continue.
1.备份原有yum源：mv /etc/yum.repos.d /etc/yum.repos.d.bak2.创建yum源目录mkdir /etc/yum.repos.d3.下载阿里云yum源配置wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo4.重建yum缓存yum clean allyum makecache
2023-05-22 09:50:52
71
原创 做个有计划的人吧
现在的我，会想起几年前做过的事情，没有计划，没有坚持，到头来万事皆空，一事无成。如果你还是没有计划的工作，你将会在以后后悔万分，空悲切白了少年头。多年后，回忆起年轻的时候，那些悔恨，遗憾，都将会是你一辈子的痛苦。如果你过多的消费身体，消耗健康，过负荷的工作娱乐，你就无法平衡。如果你随心所欲不能按照自然规则运行，你就无法享受自由的人生。做个有计划有原则的人吧，为了未来。每次想起来都会后悔，难受。
2023-05-15 11:36:31
57
原创 java实现mysql两个数据库对比表结构是否一致
本地开发完后，增加或者删除了字段，或者修改了字段属性。如何判定现场环境和本地环境的数据表结构一致性？肉眼看的话，实在是一个大的工作量，所以开发了此工具。2.c_dict_region county_name字段属性不一致。4.ue_task_publish少了group_names字段。3. collect_task多了group_names字段。1. ++表示A比B多，--表示A比B少，**表示有变化。CompareDbMain是主函数。1.多了kafka表。
2023-05-08 17:20:47
2539
原创 超大excel文件读，避免内存溢出
excel40M+，但是用传统的读取excel方法，会报内存溢出的错误。-- 读取大量excel数据时使用 -->
2023-05-06 14:29:52
1277
原创 docker部署flink
2.编写docker-compose.yml文件，如果docker-compose命令不存在，yum install 一下就可以。1.选择和java项目一样版本的flink，最新的是1.16.1.但是我项目用的是1.13.1,所以执行下面操作。
2023-03-23 09:05:12
310
原创 linux部署kafka
kafka部署需要jdk、zookeeper、 kafkakafka和zookeeper资源自取：链接：https://pan.baidu.com/s/1410lRItcS4yG5DYmAyYOLg提取码：rt01。
2023-03-02 15:17:12
334
原创 flink入门例子
1.linux开启socket服务，端口为9999；如果没有nc服务 yum install nc。功能实现socket数据源读取数据，统计词频。3.启动Main函数，设置socket参数。2.启动redis，设置密码123456。如果连接不上可能是端口未开放。
2023-02-27 09:53:42
137
原创 maven不下载，java代码编译不过
想起来setting.xml是我发给他的，里面配置的仓库是我电脑的绝对路径，所以修改了下setting.xml里面的仓库地址，然后再执行就可以了。(请使用 -source 7 或更高版本以启用 diamond 运算符)java: -source 1.5 中不支持 diamond 运算符。2.java执行main方法，编译报错误。1.点击maven下载jar，不执行。
2023-02-16 17:29:17
125
原创 ftp下载文件一直崩
调用这个接口后，一定要手动close掉返回的InputStream，然后再调用completePendingCommand方法，若不是按照这个顺序，则会导致后面对FTPClient的操作都失败。问题描述：我端写了个rest接口，对方发送文件地址到该端口，然后我端去下载文件，ftp协议。但是一段时间后，大概几个小时，对方服务器就会宕机。解决思路：一直怀疑是ftp连接未关闭、或者文件流未关闭导致的。io流都关闭了，ftp也登出断开连接了，但是。然后我在文件流关闭后，执行这个方法，但是。
2023-02-02 17:13:51
721
原创 java assert默认不打印
4. VM arguments文本框中加上断言开启的标志:-enableassertions 或者-ea 就可以了。1.首先在菜单栏点击run,然后点击Run Configurations。运行你的断言代码就可以看到效果了 ...2.进入后看到操作页面如下。3.点击Arguments页签。
2022-12-22 11:05:51
150
构建webssh的Dockerfile
2019-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人