- 博客(11)
- 收藏
- 关注
RSS订阅原创 阿里云部署k8s集群
阿里云部署k8s集群前言1、k8集群架构Kubernetes Cluster = N Master Node + N Worker Node：N主节点+N工作节点； N>=12、机器准备：阿里云 4c8g * 3, CentOs8.4一、初始化机器1、安装yumyum install -y yum-utils##配置yum 源sudo yum-config-manager \--add-repo \http://mirrors.aliyun.com/docker-ce/l
2022-02-10 23:57:20
4775
原创 MacOS M1编译Flink 源码问题汇总
macos M1编译Flink 源码问题一、flink编译flink-runtime-web出现Failed to execute goal com.github.eirslett:frontend-maven-pluginFailed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install node and npm) on project tdpco-web-app-ui:
2021-09-22 23:03:02
1513
2
原创 SparkStreaming将kafka的offset维护在redis中
1、`pubc class JStreamingRecommender {private static RedisUtils redisUtils = RedisUtils.getInstance();public void createKafkaStream() {}public static void main(String[] args) { String brokerList = "192.168.31.100:9092"; String group = "bhy"
2020-10-10 10:28:42
272
原创 hdfs小文件合并方法(hive/spark/历史文件)
hive新增数据合并方法1、入数据之前设置session级别的参数set mapred.reduce.tasks=10根据表的大小估算出参数，保证满足以下公式128M* mapred.reduce.tasks=表的大小（M）2、在sql语句中增加均衡分布insert overwrite table bhy.cp_test partition(date_no=‘20170503’,hour_no=‘03’) select t.source_type,t.starttime,t.endtime,t.acc_
2020-09-14 15:20:02
777
原创 mapreduce优化总结
mapreduce优化总结mr的执行过程1、客户端会根据待处理数据的信息，形成任务分配规则：block块 1-128 决定map数量split切片 1-128 决定maptask数量2、首先客户端submit一个mr任务给yarn(job.xml、jar包、切片信息)，yarn的resourceManager会指定一个nodemanager分配一个容器来启动applicationMaster（每一个job都会有一个applicationmaster）。applicationmr会计算出map数量
2020-09-11 13:00:40
259
原创 kafka如何保证不丢失数据呢
kafka如何保证不丢失数据呢kafka主要数据传输点主要有三个1、保证producer写入过程中不丢数据2、保证broker中不丢数据3、保证消费者消费时不丢数据场景一 producer写入过程中丢失数据：–首先得了解kafka的写入流程才能找寻到producer丢数据的场景1、producer首先从zk的"…/state"节点中get到本分区中leader的信息2、producer将信息推送给leader3、leader顺序写入本地log4、followers从leader pull
2020-09-09 15:24:55
611
1
原创 hdfs的常用命令
–查看文件大小hdfs dfs -du -s -h /hbase/data/clzx_opr/RM_MKTGROUPINTEREST_INFO–查看最后5行hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extract_sn/000012_0 | tail -5–more方式查看文件hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extra
2020-08-29 20:20:59
187
原创 新手安装redis过程
安装redis过程先用root账户登录centos7运行 yum install gcc 命令 安装redis所需要的jar包以及依赖下载redis安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz解压安装包tar -zxvf redis-4.0.6.tar.gz因为实在~目录下下载r...
2019-09-30 17:43:51
128
原创 SpringCloud学习笔记01
SpringCloud简介微服务的实现方式之一， Spring最擅长的就是集成，把世界上最好的框架拿过来，集成到自己的项目中它将当前流行的技术整合到一起，实现了诸如：配置管理，服务发现，智能路由，负载均衡，熔断器，控制总线，集群状态等，其主要涉及的主线有netfilx:eureka 注册中心zuul 服务网关ribbon 负载均衡feign 服务调用Hystix ...
2019-04-12 11:18:51
139
原创 laydate模块出现laydate is undefine以及动态设置最大值最小值
laydate模块 出现laydate is undefind<script src="layDate-v5.0.9/laydate/laydate.js"></script>laydate.render({ elem: 'input[name=start]' }); laydate.render({ elem:...
2019-04-11 09:42:07
1721
原创 layUi学习笔记
layui是前端框架 与组件的关系layer是弹出层效果组件layDate日期选择器组件layIM 即时通信组件layui下载地址 （http://www.layui.com）layer的使用方法lay是web弹层组件，下载地址http://layer.layui.com/在页面中引入jquery框架（1.8以上）将下载包中的layer文件夹完整复制到项目中引入layer目...
2019-04-10 17:42:00
1125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人