- 博客(388)
- 资源 (66)
- 收藏
- 关注
原创 K8S常用命令
Pod查看Pod:kubectl get pod -o wide查看日志:kubectl logs -f pod/对用NAME删除:kubectl delete pod强制删除:kubectl delete pod 对应的NAME --force --grace-period=0 (一般node挂掉,才需要此命令)查看详情:kubectl describe pod 对应的NAME查看环境变量:kubectl exec Pod名称 – env进入Pod内部:kubectl exec -it
2021-11-16 15:22:07 1626
原创 K8S核心原理剖析
K8S核心架构原理我们已经知道了 K8S 的核心功能:自动化运维管理多个容器化程序。那么 K8S 怎么做到的 呢?这里,我们从宏观架构上来学习 K8S 的设计思想。首先看下图:K8S是属于主从设备模型(Master-Slave架构),即有Master节点负责核心的调度、管理和运维,Slave节点则执行用户的程序。但是在K8S中,主节点一般被称为Master Node 或者 Head Node,而从节点则被称为Worker Node 或者 Node。注意:Master Node 和Worker Nod
2021-11-01 16:21:29 2011
原创 kafka设计原理详解
Kafka设计原理详解Kafka核心总控制器Controller在Kafka集群中会有一个或多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。当检测到某个分区ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用kafka-topic.sh脚本为某个topic增加分区数量时,同样还是由控制器负责让新分区被
2021-10-18 16:37:32 103
原创 基于docker安装HDFS
由于 Hadoop 的 master 节点需要与 slave 节点通信,需要在各个主机节点配置节点 IP,为了不用每次启动都因为 IP 改变了而重新配置,在此配置一个 Hadoop 专用的网桥,配置之后各个容器的 IP 地址就能固定下来。为了方便后续通过 Java API 访问 HDFS,需要修改脚本,添加一个端口映射,将容器的 9000 端口映射到本地的 9000 端口,我们需要在-p 8088:8088 \下添加一行,如下图所示。HDFS访问地址为:IP:9000。
2024-02-19 16:59:15 699 2
原创 CentOS7.6安装RocksDB
RocksDB是使用C++编写的嵌入式kv存储引擎,其键值均允许使用二进制流。由Facebook基于levelDB开发, 提供向后兼容的levelDB API。RocksDB针对Flash存储进行优化,延迟极小。RocksDB使用LSM存储引擎,纯C++编写。Java版本RocksJava正在开发中。参见RocksJavaBasic。RocksDB依靠大量灵活的配置,使之能针对不同的生产环境进行调优,包括直接使用内存,使用Flash,使用硬盘或者HDFS。
2024-02-19 14:45:18 157
原创 Flink实战六_直播礼物统计
接上文:Flink实战四_TableAPI&SQL1、需求背景现在网络直播平台非常火爆,在斗鱼这样的网络直播间,经常可以看到这样的总榜排名,体现了主播的人气值。人气值计算规则:用户发送1条弹幕互动,赠送1个荧光棒免费道具、100个免费鱼丸、亲密度礼物等行为,均可为主播贡献1点及以上人气值。我们就以这个人气值日榜为例,来设计一个Flink的计算程序。对于人气值日榜这样的功能,可以理解为是一个典型的流式计算的场景,强调的是数据的实时处理。因为在这个场景下,必须要及时的累计用户的送礼物数据
2024-02-04 15:59:27 975
原创 Flink实战五_状态机制
这是因为Flink的计算任务都是并行执行的,那么在计算过程中,每一个并行的实例都会有一个自己的状态,所以在snapshotState保存状态时,是将每个并行实例内的状态进行保存,那整个任务整体就会保存成一个集合。所以,示例中保存的其实是每个子任务内计算到的sum和。当任务重新启动时,Flink可能还需要对子任务的状态进行重新分配,因为任务的并行度有可能进行了调整。所以示例中initializeState方法加载状态时,也是将各个子状态的sum加到一起,才是一个完整的求和计算。
2024-01-31 10:10:35 1081
原创 Java实现对系统CPU、内存占用率的控制
背景:由于使用的业主的云资源,由于使用率低,会不持续的缩减服务器配置。为了避免后续由于新业务上线,需要更多资源的时候,无法再次获得资源(回收容易,申请难)。问题:怎样通过Java程序实现CPU、内存占用超过50%?
2024-01-24 17:33:48 440
原创 linux杀毒软件clamav安装使用
clamav-1.2.1.linux.x86_64.rpm放在/home路径。下载好后,放置在:/usr/local/share/clamav。
2024-01-22 14:04:28 530
原创 Flink会话集群docker-compose一键安装
参考,本人这篇博客:https://blog.csdn.net/taotao_guiwang/article/details/135508643?
2024-01-12 16:08:38 510
原创 docker一键安装
下载地址(本人上传,免积分下载):https://download.csdn.net/download/taotao_guiwang/88726298。1.把docker_compose_install文件夹放在任意路径;兼容:CentOS7.6、麒麟V10服务器版、统信UOS等操作系统。3.执行./install.sh。
2024-01-10 17:17:02 664
原创 【漏洞修复】页面包含错误信息,其中可能包含敏感信息,这些信息可以帮助攻击者对站点进一步的攻击
修改tomcat conf下的server.xml。
2023-12-29 11:04:47 342
原创 多层负载均衡实现
1)站点层与浏览器层之间加入了一个反向代理层,利用高性能的nginx来做反向代理2)nginx将http请求分发给后端多个web-server优点:1)DNS-server不需要动2)负载均衡:通过nginx来保证3)只暴露一个外网ip,nginx->tomcat之间使用内网访问4)扩容实时:nginx内部可控,随时增加web-server随时实时扩容5)能够保证站点层的可用性:任何一台tomcat挂了,nginx可以将流量迁移到其他tomcat缺点:1)延时增加+架构更复杂了:中间多加了一个
2023-12-20 15:03:58 1018
原创 什么是高并发?
高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指通过设计保证系统能够同时并行处理很多请求。在互联网时代,通常是指并发访问,也就是在某个时间点,有多少个访问同时到来。通常一个系统的日PV在千万以上,有可能是一个高并发的系统。有的公司完全不走技术路线,全靠机器堆,这不在讨论范围内。常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。80%)/(6小时秒数。
2023-12-20 14:55:16 363
原创 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x98 in position 1158: illegal multibyte sequence
UnicodeDecodeError: 'gbk' codec can't decode byte 0x98 in position 1158: illegal multibyte sequence
2023-12-12 15:30:32 551
原创 Win10远程桌面提示你的凭据不工作的处理方法
同时需要确保在组策略编辑器(Win+R 输入 gpedit.msc )中计算机配置->Windows设置->安全设置->本地策略->安全选项->右侧的网络访问:本地帐户的共享和安全模型。修改为使用经典模式即可!1、按下win+R 组合键打开运行,输入:mstsc 点击确定打开远程桌面连接;4、然后讲 本地设备和资源 下面的【打印机】和【剪贴板】的勾去掉即可!2、在远程桌面连接左下角点击【显示选项】;3、切换到【本地资源】;
2023-12-12 14:06:43 425
原创 如何计算mAP
什么是mAP?综合衡量检测效果。主要取决于精度(precision)和召回率(recall)。什么是精度?找到的是不是准确的什么是召回率?是不是都找到了。
2023-12-11 10:59:59 344
原创 Kafka生产问题总结及性能优化实践
(1)acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据统计报表场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。(2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可以继续发送下一条消息。这种情况下,如果follower没有成功备份数据,而此时leader又挂掉,则消息会丢失。
2023-12-11 10:54:04 1665
Java实现对系统CPU、内存占用率的控制
2024-01-25
docker、docker-compose一键安装,适配CentOS、银河麒麟、统信UOS等
2024-01-10
sigar-amd64-winnt.dllt实现windows操作系统CPU、内存等系统资源监控
2023-11-10
Redis离线安装资源汇总,autoconf、gcc、jemalloc、m4、redis
2022-10-24
TrueLicense实现系统证书授权
2022-10-11
rtsp-server-vue引用示例
2022-10-10
rtsp-server实现摄像头实时播放(兼容各厂家摄像头&主流浏览器)
2022-10-10
从0到1使用ES实现昼伏夜出算法完整项目
2022-10-10
policycoreutils-python-2.5-29.el17.x86 audit-libs-2.8.4-4.el7.x8
2022-06-22
arthas-packaging-3.5.4-bin.zip
2021-09-14
OBS.rar开源录屏软件
2021-08-23
table-walkthrough.rar
2021-02-24
Flink官网实例:基于DataStream API 实现欺诈检测,完整实现
2021-02-07
leaflet_all_maps.rar
2020-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人