- 博客(353)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 解读分布式系统里，数据一致性的三种典型架构及其应用
对于单体系统来言写结点和读节点都在同一个节点上，所以不存在数据一致性的总是，为了解决单体结构不能横向扩展的问题，引入了分布式的架构，分布式架构突破了单体架构在内存，CPU,硬盘方面的限制，但是也引入了新的数据一致性的问题。
2024-04-01 21:34:10
529
原创 Flink 面试题总结及答案
即使状态数据存储在 RocksDB 中，检查点的元数据和可能的状态快照（如增量快照）仍然需要被保存到文件系统中。这样，无论作业的状态数据存储在哪里，检查点数据都可以从这个目录中恢复。：配置检查点目录为 Flink 提供了一个统一的配置点，无论使用哪种状态后端，都可以在同一个配置文件中指定检查点的存储位置。：使用 RocksDB 作为状态后端可以有效地管理状态数据的内存，避免了因为状态数据过大导致内存不足的问题。对于处理大量数据和需要快速访问状态的应用场景，RocksDB 提供了比内存状态后端更好的性能。
2024-03-04 22:26:50
468
原创 Hive 最全面试题及答案(基础篇)
hive元数据存储hive 内部表和外部表的区别hive常用的几种ORDER BY，SORT BY，DISTRIBUTE BY，CLUSTER BY排序文件格式分区和分桶 hive UNION和UNION ALL的区别hive 区别UDF、UDAF、UDTF的区别hive 常用的几种join
2024-02-21 22:51:53
422
原创 flink k8s HA 报ClusterRetrieveException: Could not get the rest endpoint
从源码中可以看到实现上的jobmanager 这个svc要以flink-cluster-rest 来命名才能解析到jobmanager地址。我是在用flink sql-client 提交任务发现的这个问题。
2023-04-25 19:12:29
392
1
原创 一文读懂clickhouse 的normal join和global join区别
一文看懂clickhouse join和global join 区别，和join 隐藏的陷阱
2023-04-08 21:42:45
1624
5
原创 calcite 启发式优化器(HepPlanner)原理与自定义优化规则实现
calcite 启发式优化器(HepPlanner)原理与自定义优化规则实现
2022-09-25 17:07:12
1215
原创 calcite 初试-使用sql读取csv文件
本文争取利用最少的代码来实现此功能，理解calcite是如何工作的。通过calcite,使用sql来读取csv数据。
2022-09-13 23:07:54
1117
原创 理解磁盘在kafka和Mysql的应用
各种存储中间件，或者 数据库都负责要对数据进行读写，数据保存在磁盘，所以了解磁盘的一些原理，有助于加深对软件的认识。
2022-08-27 21:35:18
525
原创 k8s ingress 安装,503,404,解决
下载deploy.yaml下载image执行查看服务创建具体的ingress问题总结ingress address为空访问报503访问报404
2022-06-20 00:59:51
1486
原创 linux 安装k8s
版本信息1.配置yum 源2.禁用部分配置3.安装kubelet4.使用docker 作容器5.kubeadm init6.安装flannel插件7.去掉master 节点不能运行pod限制8.安装dashboard9.最后测试应用注意事项
2022-06-18 23:32:58
327
原创 k8s java Dockerfile,pod,service配置文件示例
dockerpod yamlcluster yamlnode yaml测试查看信息测试访问地址
2022-06-18 22:43:56
326
原创 flink taskmanager metaspace OOM
文章目录现象背景知识MetaSpace分析微服务计算场景代码分析步骤1步骤2步骤3步骤4步骤5总结其它现象flink 程序打成jar多次提交后，有taskmanager 节点挂掉，这个现象而且经过多次试验后发现是必现，日志如下The metaspace out-of-memory error has occurred. This can mean two things: either Flink Master requires jobmanager.memory.jvm-metaspace.size
2022-04-05 19:38:53
3174
1
原创 nginx + spring gateway+spring 服务
文章目录背景架构配置nginxgateway配置gateway pom.xml服务配置服务注册到Nacos服务请求总结背景实践配置一套nginx +gateway+微服务的架构架构配置nginx#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs
2022-03-20 19:11:38
4869
原创 antlr4小试牛刀-sql转换成es dsl
文章目录背景antlr4定义语法文件查看生成的语法树生成代码测试结果背景开发es查询程序，每次都要进行编码，大部分代码都是重复代码，实际上最后生成的就是json，简单🤔下，有没有开发人员都会的一种表达语言，将表达语言转换成json,很明显sql可以，开发人员都会，然后生成项目时，只需用sql来描述，你想要的查询，然后把日期等参数在json中完成替换即可，即可生成查询结果。es json 如下{ "query":{ "term":{ "city":{
2022-03-09 22:18:51
3908
原创 docker 安装es
文章目录下载启动es调整配置设置password安装head插件下载启动esdocker pull elasticsearch:8.0.0docker network create somenetworkdocker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” elasticsearch:8.0.0调整配置ssl设置为falsexp
2022-02-19 23:18:56
1083
原创 docker 常见问题列表
文章目录问题列表问题列表配置位置执行 docker 命令,Location of client config files 这里会有显示docker 修改数据源docker 启动k8s
2022-01-23 22:06:40
340
原创 k8s service nodeport
文章目录创建 deployment创建 service访问port / targetPort /nodePort 区别创建 deploymentapiVersion: apps/v1kind: Deploymentmetadata: name: nginx-deploymentspec: selector: matchLabels: app: nginx replicas: 2 # tells deployment to run 2 pods matching th
2022-01-23 20:51:30
2025
原创 详解 ThreadLocal
文章目录定义场景示例代码上下文定义从名字上来看，ThreadLocal其实就是给每个线程保存变量用的，每个线程这个变量只有一份。场景线程间的数据隔离变量不是线程安全的，又不想使用加锁的方式来 降低效率，比如SimpleDateFormat数据在不同的层级之间透传，比如从controller，传到service,传到dao层管理连接资源，比如在spring中，事务的实现，一个事务中用的connection都是同一个示例代码上下文public class ContextInfo {
2022-01-09 20:56:52
217
原创 mysql 表锁/行锁/意向锁
文章目录锁的分类表锁行锁实现方式for updatefor share锁的分类表锁行锁根据锁定的范围大小来分表锁 lock tables 表名 READ/WRITE行锁 select * from 表名 where id=1 for update/share实现方式悲观锁for update意图独占锁A事务可以更新id=5这行数据B事务更新id=5这行阻塞for share...
2022-01-09 11:15:03
822
原创 2021-10-28 使用Enum重构switch
文章目录SWITCHENUM测试代码SWITCHswitch语句就是根据匹配的值，执行不同的操作ENUM使用enum绑定值与操作的关系public enum ComputeEnum { PLUS("+") { @Override public int apply(int x, int y) { return x + y; } }, MINUS("-") { @Override
2021-11-18 23:41:28
168
原创 Git reverts&drop commit
文章目录reverts提交一个te4文件操作结果dropreverts撤销此次提交提交一个te4文件操作选择commit,执行revert操作结果上次提交的te4.py文件，撤销后这个文件也没了dropdrop commit就是直接把这个文件的提交记录删除，文件操作也全部复原...
2021-10-23 22:44:42
2963
原创 Git 使用 rebase
文章目录作用动作1执行rebase结果作用rebase 多个提交合并为一个commit动作1提交te1提交te2提交te3执行rebase选择要合并的commmit ，右键选择squash commits结果多个提交合并为一个了
2021-10-23 22:21:22
93
javax.mail.jar
2016-06-25
commons-email-1.3.jar_mail.jar_activation.jar
2016-06-22
hadoop中找不到jobtracker的源码
2017-06-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人