- 博客(29)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 kafka消费者api和分区分配和offset消费
消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力拉取数据的问题在于，消费者可能会获得空数据。
2023-07-22 15:21:21
28088
1
原创 极简JVM结构图示
为了进行类的隔离应用A中有个com.example.Hello.class，应用B中也有个com.example.Hello.class，虽然都叫做Hello，但是具体的方法、属性可能不一样如果AppClassLoader先加载了应用A中的Hello.class，那么应用B中的Hello.class就不可能再被加载了，因为名字是一样就需要针对应用A和应用B设置各自单独的类加载器，也就是WebappClassLoader这样两个应用中的Helo.class都能被各自的类加载器所加载，不会冲突。
2023-05-30 12:56:11
33298
原创 计算机底层的密码读书笔记
用户态使用malloc申请内存（虚拟内存），找不到空闲块则通过brk/mmap（内核态）扩大堆内存，返回后申请到内存并读写（用户态），触发缺页中断，虚拟内存和物理内存建立映射关系。理论上内存足够，可以启动无数协程，协程的切换，调度发生在用户态，不需要os介入，上下文环境的保存和回复更加轻量，因此效率较高。线程池中线程数量的计算取决于程序的类型（cpu密集/io密集），按照以下公式计算，WT为io等待时间，CT为cpu计算时间。空闲内存块的管理，使用链表（每个节点包括块大小，是否空间，实际的内存空间）
2023-05-30 11:35:06
33283
1
原创 eks使用 external-snapshotter 控制器为ebs卷创建快照和从快照恢复卷
aws eks 使用 external-snapshotter 控制器为ebs卷创建快照和从快照恢复卷
2023-04-03 16:16:13
17090
原创 使用docker 和 kubnernetes 部署单节点/多节点 kafka 环境
使用docker 和 kubnernetes 部署单节点/多节点 kafka 环境
2023-03-30 11:10:52
25744
原创 使用dynamodb local在本地运行nosql测试环境
aws dynamodb 使用dynamodb local在本地运行nosql测试环境
2023-03-11 22:32:00
24873
原创 aws appconfig 理解和使用appconfig对应用程序进行动态配置
aws appconfig 理解和使用appconfig对应用程序进行动态配置
2023-03-07 09:30:00
30759
原创 aws eks 理解和使用terrafrom创建eks集群（离线安装provider和module）
理解和使用terrafrom创建eks集群，掌握terrafrom的基本用法，离线在本地加载下官资源
2023-01-02 14:30:10
33027
原创 aws elasticcache for redis 基本概念和访问控制
aws elasticcache for redis 基本概念和访问控制
2022-12-27 18:48:57
27960
原创 aws eks 使用packer构建自定义ami
使用aws eks需要依赖与aws的其他服务对基础设施进行配置和维护，例如节点组需要创建autoscaling group对节点的生命周期进行管理。我们能够通过以下方式对节点进行一定的配置- 启动启动模板支持- 通过bootstrap启动脚本指定kubelet参数以上方式虽然能够提供一定的灵活性，但是对于需要在节点预装程序以及预加载image等需求，就需要通过在启动模板中指定自定义ami来实现。本文参考官方blog使用packer进行eks的自定义ami的构建
2022-12-06 00:59:53
17395
原创 HDFS高可用
其他资料：hadoop中的JournalNode的作用 https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html基于ZooKeeper搭建Hadoop高可用集群注意要点：注意备份之前的hadoop配置文件，方便回溯部署 Zookeeper，可参考《zookeeper内部原理和API操作》尚硅谷的视频hadoop版本是2.7.4，之前部署的版本
2022-04-23 17:11:25
8319
原创 HDFS的Namenode和Datanode
NN 和 2NN 工作机制（重点）首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。 因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。 因此，引入 Edits
2022-04-19 16:38:52
1236
原创 HDFS读写流程
写数据流程流程：客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件， NameNode 检查目标文件是否已存在，父目录是否存在。NameNode 返回是否可以上传。客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。NameNode 返回 3 个 DataNode 节点， 分别为 dn1、 dn2、 dn3。客户端通过 FSDataOutputStream 模块请求 dn1 上传数据， dn1收到请求会继续调用dn2，然后 d
2022-04-19 16:29:30
336
原创 HDFS的shell和api操作
HDFS概述HDFS 是分布式文件管理系统中的一种适合一次写入，多次读出的场景优点：高容错性 ；适合处理大量数据；可构建在廉价机器上缺点：不适合低延时数据访问 ；无法高效的对大量小文件进行存储 ；不支持并发写入，仅支持数据append（追加），不支持文件的随机修改HDFS 组成架构NameNode（NN）：Master管理HDFS的名称空间配置副本策略管理数据块（Block）映射信息处理客户端读写请求。DataNode：Slave，NameNode下达命令，DataNode执行实
2022-04-17 17:15:41
599
原创 hadoop集群环境搭建
hadoop运行模式有三种，本地模式、 伪分布式模式以及完全分布式模式搭建本地运行模式测试实验所用环境为云虚拟机4g内存，40g存储创建虚拟机，配置子网和网关，确保虚拟机联网卸载本地jdk并上传压缩包到/home/xxxx/software，安装jdk1.8和hadoop3.1.3tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 通过/etc/p
2022-04-16 16:51:34
845
1
原创 hadoop大数据生态概述
HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构Hadoop通常是指一个更广泛的概念——Hadoop生态圈Hadoop 三大发行版本： Apache、 Cloudera、 Hortonworks （被收购）注意：Hadoop1.x、 2.x、 3.x的区别（计算和资源调度）HDFS架构NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、 副本数、文件权限），以及每个文件的块列表和块所在的DataNode等DataNode(dn
2022-04-16 16:50:44
3149
原创 go web编程入门教程
想了解下区块链相关的东西，从头开始学习go 语法实在是耐不下心，稍微看了下还是直接做web来学吧，主要材料如下尚硅谷GoWeb教程go语言标准库
2022-01-31 12:20:38
8971
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人