- 博客(595)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Amazon云计算AWS之[2]弹性计算云EC2
弹性负载平衡功能可以识别出应用实例的状态，当一个应用运行不佳时，它会自动将流量路由到状态较好的实例资源上，直到前者恢复正常才会重新分配流量到其实例上。EC2系统中包含多个地理区域，而每个地理区域中又包含多个可用区域。为了确保系统的稳定性，用户最好将自己的多个实例分布在不同的可用区域和地理区域中。弹性负载平衡功能允许EC2实例自动分发应用流量，从而保证工作负载不会超过现有能力，并且在一定程度上支持容错。，这样某个可用区域的供电或冷却系统错误就不会影响到其他可用区域，其中，地理区域是按照实际的地理位置划分的。
2024-04-23 23:59:36
394
原创 Amazon云计算AWS之[3]简单存储对象S3
每个桶都有一个独一无二的名字，全球范围内都不能重复，这就像是你给你的桶贴上了一个全世界唯一的标签，确保你发给朋友的地址只指向你的桶，而不是别人的。每个水桶可以用来装水，你可以有很多水桶，每个水桶可以放在不同的地方，可以贴上不同的标签（例如“花园用水”、“厨房用水”等），并且每个水桶都有自己的容量限制。，则无法读取ACL。在最终一致性模型下，如果没有新的更新操作，那么经过一段时间，所有的数据副本最终将会是一致的。：S3确保在网络分区或其他故障时，用户的请求仍然可以被响应，尽管响应中的数据可能不是最新的。
2024-04-23 23:41:20
1066
原创 Amazon云计算AWS之[1]基础存储架构Dynamo
的节点，根据向量时钟发现它们之间是并行关系，则保留二者，并在客户端get时将二者都提交给客户端由其来协调并合并版本。Dynamo中使用改进后的一致性哈希算法，并在此基础上进行数据备份，以提高系统的可用性。现在有4个版本的数据存在并在各个节点之间传递了，当节点收到。所以，如何在各个节点上数据的均衡性是影响Dynamo性能的关键问题。处理了这个请求，则更新该对象后在该节点上生成对象。处理这个请求，则更新该对象后在该节点上生成对象。，在该节点上生成对象D1和向量时钟。，则更新该对象后在该节点上生成对象。
2024-04-19 23:54:26
688
原创 海量数据交互式分析工具Dremel
Dremel 是 Google 内部开发的一个强大的交互式数据查询系统，它允许对海量数据（存储在其分布式存储系统中）进行快速而高效的分析。Dremel 能支持对 petabytes 级别的数据进行秒级响应的查询，这对于需要快速深入分析和生成报告的数据分析师和工程师来说是一个非常有用的工具。列式存储：Dremel 使用列式存储格式（如其开源等价物 Parquet 和 ORC），这允许它在磁盘读取方面非常高效，因为只需要读取用于查询的列而不是整行数据。分布式架构。
2024-04-19 11:10:01
581
原创 分布式系统的监控基础架构Dapper
Dapper 是 Google 公司内部的一个大规模分布式系统跟踪基础设施，设计目的是了解系统行为和性能。尽管 Dapper 的具体实现细节并未公开。但在论文中，Dapper 的目标是提供低开销、应用级的透明和延展性，以便于在大规模分布式系统中跟踪请求流。全面性：Dapper 设计用于收集分布式系统中所有组件的性能数据，从而为系统提供全面的视图。低开销：尽管 Dapper 收集大量数据，但它的设计确保对系统性能的影响最小。这通过各种策略实现，包括采样和异步日志记录。应用级透明性。
2024-04-19 00:01:52
765
原创 MinIO + Prometheus + Grafana docker部署
MinIO是一个高性能的分布式对象存储服务，它使用标准的服务器硬件进行搭建。它兼容Amazon S3云存储服务的API，是一个开源项目，可以用于构建私有云存储系统。因为其设计简单、易于部署且高度可扩展，MinIO在私有云和混合云环境中非常受欢迎。MinIO中文指导文档地址MinIO原官网指导文档高性能- MinIO支持高速读写操作，适用于大规模数据处理。可扩展性- 可以水平扩展到数百个服务器，管理数百PB级别的数据。简单性- MinIO的部署和管理非常简单，可以在各种环境中轻松搭建对象存储。
2024-04-16 14:30:59
953
原创 分布式结构化数据表Bigtable
当新的子表产生，例如通过创建新表、表合并或子表分裂，主服务器会将它们分配给有足够空间的子表服务器。这个元数据表由多个元数据子表组成，其中有一个特殊的子表称为根子表，它是元数据表的首条记录，包含了其他所有元数据子表的地址。当需要查询特定子表的位置时，系统首先从Chubby获取根子表的地址，通过这个地址读取到所需元数据子表的位置，最后从元数据子表中找到目标子表的具体地址。如果是后者，主服务器将停用该子表服务器，并把其上的子表转移给其他服务器。Bigtable系统的内部采用的是一种类似B+树的三层查询体系。
2024-04-14 16:13:13
1007
原创 分布式锁服务Chubby初步探究[2]
Chubby系统设计Chubby的基本架构Chubby中的PaxosChubby文件系统通信过程客户端租约过期主服务器出错正确性与性能Chubby 的 ACL 机制
2024-04-14 14:50:27
1282
原创 深度学习基础之二：深度学习经典模型
Seq2Seq，全称为Sequence-to-Sequence模型，通常用于处理序列数据，如文本或时间序列。编码器（Encoder）和解码器（Decoder）。编码器：通常是一个循环神经网络(RNN)或其变体如长短时记忆网络(LSTM)或门控递归单元(GRU)。编码器的目的是将输入序列（如文本句子中的单词序列）转换成一个固定大小的上下文向量（context vector），该向量是输入序列的一个内部表示，捕捉其含义的核心要素。解码器：解码器也是一个RNN，它的职责是将编码器生成的上下文向量转换成输出序列。
2024-04-13 11:13:43
387
原创 深度学习基础之一：机器学习
*当真实值为10，预测值为5时，误差为5，预测值为8时，误差为2。深度学习：深度学习的概念源于人工神经网络的研究，是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。，根据每个样本的值/特征预测该样本的具体数值，例如房价预测，股票预测等，相当于学习这组数据背后的分布，能够根据数据的输入预测该数据的取值。不论是机器学习还是深度学习，都是通过对大量数据的学习，掌握数据背后的分布规律，进而对符合该分布的其他数据进行准确预测。
2024-04-08 22:48:16
994
原创 win11 安全中心打开黑屏\白屏\打不开有效解决
在uupdump的详情页，使用浏览器搜索功能——按Ctrl+F，然后输入复制的操作系统版本，如下图。选择本机器版本的系统进入如下页面，进入浏览所有文件，使用搜索（Ctrl+F）输入。选择本机器对应的架构版本：查看本机架构信息如下图，在系统信息的设备规格即可查看。双击运行修改后文件，选择重新安装，等待安装完成后，即可打开安全中新。，选择系统版本号（和自己的系统一致），点击进入详情页面。复制系统信息的操作系统版本信息（即下图中的5相关内容），找到具体的文件，如下图，点击进入详情页面。下载安全中心UI组件。
2024-04-06 08:31:05
874
1
原创 JVM高级篇之GC
ZGC 是一种可扩展的低延迟垃圾回收器。ZGC 在垃圾回收过程中，STW的时间不会超过一毫秒，适合需要低延迟的应用。支持几百兆到16TB 的堆大小，堆大小对STW的时间基本没有影响。ZGC降低了停顿时间，能降低接口的最大耗时，提升用户体验。但吞吐量不佳，所以如果服务关注QPS（每秒的查询次数）G1是比较不错的选择。
2024-04-04 08:39:35
1067
原创 GraalVM运行模式和企业级应用
GraalVM的JIT编译器在编译过程中使用了即时优化技术，包括方法内联、循环优化、逃逸分析等。这些优化技术可以提高代码的执行效率，并且针对不同的应用场景进行了优化，例如对于大型企业应用、嵌入式系统或数据密集型应用等。✓ 预热之后，通过内置的Graal即时编译器优化热点代码，生成比Hotspot JIT更高性能的机器码。JIT（ Just-In-Time ）模式 ，即时编译模式。-> 一次编写，到处运行。
2024-04-03 23:33:34
881
原创 WSL Ubuntu20 使用1panelSSH连接失败（SSH服务初始化配置）
【代码】WSL Ubuntu20 使用1panelSSH连接失败（SSH服务初始化配置）
2024-04-02 00:26:19
449
原创 win11安装WSL UbuntuTLS
Windows Subsystem for Linux（WSL） 适用于 Linux 的 Windows 子系统 是 Windows 的一项功能，可用于在 Windows 计算机上运行 Linux 环境，而无需单独的虚拟机或双引导。WSL 旨在为希望同时使用 Windows 和 Linux 的开发人员提供无缝高效的体验。使用 WSL 安装和运行各种 Linux 发行版，例如 Ubuntu、Debian、Kali 等。
2024-04-01 16:25:48
1276
原创 ollama本地部署大模型（纯CPU推理）实践
一个开源的大型语言模型服务提供类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。针对 LLM 用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama、OpenAI 兼容的 API。
2024-03-31 12:13:20
4702
原创 JVM实战之性能调优[2]（线程转储案例认识和分析）
参数可以输出JDK核心包中的方法及耗时。参数，只会显示耗时超过该毫秒值的调用。结束监控，重置arthas增强的对象。参数，最多显示该数值条数的数据。⚫ 所有监控都结束之后，输入。
2024-03-28 23:52:02
964
原创 JVM实战之性能调优[1]（概述和方法）
JVM（Java虚拟机）性能调优是一个复杂但重要的过程，目的是提高Java应用程序的性能和效率。JVM性能调优通常包括监控Java虚拟机的运行情况、识别性能瓶颈、调整JVM设置以及优化Java代码。JVM性能调优是一个持续的过程，需要根据应用的实际运行情况和性能目标进行。不同的应用和工作负载可能需要不同的调优策略。最好是以实际的性能监控数据为基础，逐步迭代优化。
2024-03-28 12:12:02
998
原创 云数据库认识
云数据库厂商主要分为三类。① 传统的数据库厂商，如 Oracle、IBM DB2 和 Microsoft SQL Server② 涉足数据库市场的云数据库厂商，如 Amazon、Google、阿里、百度、腾讯③ 新兴厂商，如 Vertica、LongJump 和 EnterpriseDBUMP 系统是低成本和高性能的 MySQL 云数据库方案。开发者通过网络从平台上申请 MySQL 实例资源，利用平台提供的单一入口来访问数据。
2024-03-25 23:57:09
642
原创 Prometheus函数的了解和分析
函数名称描述rate()计算在给定时间范围内指标的平均增长率，适用于平滑过长时间范围的变化。increase()计算在给定时间范围内指标的总增量。avg()对一组指标计算平均值。sum()对一组指标求和。irate()计算最近两个数据点的增长率，适用于监视短期内的突然变化。
2024-03-24 21:01:34
844
原创 Prometheus监控数据格式的学习
Prometheus 指标（metrics）的数据形式是一种简单的文本格式（容易通过 HTTP 协议被 Prometheus 服务器拉取）。每一行包含了一个指标的数据，通常包括指标名称、可选的一组标签以及指标的值。Prometheus 的指标数据可以有不同类型，如 Counter、Gauge、Histogram 和 Summary，它们的表示形式会有所不同。
2024-03-24 19:25:41
1135
原创 ReNamer Pro+Alist+RaiDrive妙用：实现批量修改网盘文件名称
点击运行exe文件，然后打开注册信息，按照注册方法：依次点击主窗口菜单“帮助 - 注册”在打开的注册窗口中复制粘贴下面任意一组注册码后点击“注册”按钮即可。然后将文件或者文件夹拖入下方的窗口中，同时选中规则，默认软件实时显示预览内容，如果没有可以手动点击预览，最后点击重命名即可修改批量文件名称，然后静心等待。编辑重命名规则，然后添加规则即可，如图示例。下载解压文件后，内容如下。
2024-03-24 00:22:23
593
原创 prometheus框架结构浅谈
通过使用特定的exporters，Prometheus可以监控那些原生不支持Prometheus指标格式的系统和服务，如数据库（MySQL、PostgreSQL等）、硬件（如SNMP设备）、第三方APIs以及其他监控系统（如Nagios）。：Exporters作为数据适配器，将不兼容的监控和指标数据格式转换为Prometheus的数据模型，即时间序列数据，这些数据以键值对的形式标识，每个时间序列都有唯一的标签集来区分。例如，对于短暂的作业或无法直接抓取的服务，Prometheus提供。
2024-03-20 14:37:23
980
原创 prometheus初识
简介内容来自于官网Prometheus是一个开源的系统监控和告警工具包，最初由SoundCloud开发。自2012年创立以来，许多公司和组织已经采用了Prometheus，并且该项目拥有非常活跃的开发者和用户社区。它现在是一个独立的开源项目，并独立于任何公司进行维护。为了强调这一点，并澄清项目的治理结构，Prometheus于2016年加入了云原生计算基金会，成为继Kubernetes之后的第二个托管项目。Prometheus。
2024-03-18 13:58:33
1045
原创 基础监控理论
搭建流程可分为：单点服务端的搭建、单点客户端的部署、单点客户端服务器测试、采集程序单点部署、采集程序批量部署、监控服务端HA/cloud、监控数据图形化搭建、报警系统测试、报警规则测试、监控+报警联合测试、正式上线监控。监控系统设计：监控系统设计是整个监控流程的基础，需要考虑系统架构、业务流程、业务种类、监控目标、监控指标、警报阈值、数据存储与分析需求等因素。监控数据分析/算法：监控数据分析是将收集到的数据转化为有用信息的过程，涉及到数据清洗、聚合、分析等步骤。
2024-03-18 13:56:16
1014
原创 分布式锁服务Chubby初步探究[1]
通过这两个阶段，Paxos算法确保了即使在存在消息丢失、延迟、重复以及节点故障等问题的分布式系统中，也能够达成一致。第一阶段通过选出一个提议者并让决策者承诺只接受编号更大的提案来准备共识环境；第二阶段则是通过这个提议者提出的提案来实际达成共识。这个过程可能需要多轮迭代，特别是在多个提议者同时尝试提出提案时。
2024-03-16 21:05:27
923
原创 Prometheus 轻量化部署和使用
Prometheus：一款开源的监控和警报工具，用于记录实时的指标数据并提供灵活的查询语言和仪表盘。最初由SoundCloud开发并于2012年发布。设计目标：实现高度可靠性、可扩展性和简单性，应对大规模的分布式系统的监控需求。Prometheus采用拉取模型的方法，通过定期从目标服务中获取指标数据。支持服务发现，可以自动发现新的目标并开始监控。Prometheus提供了一个灵活的查询语言PromQL，可以对指标数据进行多维度的查询和聚合。Prometheus还提供了警报机制。
2024-03-16 00:49:18
1261
原创 分布式数据处理MapReduce简单了解
由Google开发，旨在简化大规模数据集的处理。键是文件名，值是文件的内容。MapReduce是一种。
2024-03-14 22:24:53
1244
原创 探索谷歌的秘密花园：Google文件系统GFS之旅(Google File System)
Chunk Server上数据以文件形式存储，本地的文件系统自然会进行缓存。客户端的文件操作大多是流式读写，使用Cache对性能提高不大。获取Chunk Server信息。Chunk与文件名映射表。Master远程实时备份。Chunk副本位置信息。
2024-03-14 13:23:57
869
原创 云端巨擘：大数据与云计算的时代航向
云计算长定义：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。
2024-03-14 12:38:49
993
原创 云起云落：揭秘云计算基础内功心法
VMware提供了强大的虚拟化功能，支持多种操作系统和硬件平台，并且具有丰富的管理和监控功能。云计算通过网络提供各种计算服务，包括存储、计算、数据库等，用户可以根据需要灵活选择和使用这些服务，而无需关心底层的硬件和软件。：易于使用，性能稳定，支持广泛的操作系统，提供丰富的管理工具和功能，适用于企业级和个人用户。：性能较高，集成在Linux内核中，免费开源，支持广泛的硬件平台，适用于服务器虚拟化。用户交互并不好，不方便使用。：强大的自动化管理功能，支持多种部署模式，可扩展性好，适用于大规模容器部署。
2024-03-12 21:16:45
1221
原创 JAVA虚拟机实战篇之GC调优[1](GC调优基知、方法、工具和常见GC模式)
【代码】JAVA虚拟机实战篇之GC调优[1](GC调优基知、方法、工具和常见GC模式)
2024-03-10 15:16:55
897
原创 JAVA虚拟机实战篇之内存调优[5](诊断和解决问题-两种方式&总结)
内存泄漏（memory leak）：在Java中如果不再使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。内存溢出指的是内存的使用量超过了Java虚拟机可以分配的上限，最终产生了内存溢出OutOfMemory的错误。
2024-03-08 23:29:48
914
原创 JAVA虚拟机实战篇之内存调优[4](内存溢出问题案例)
hutool提供的BigExcelWriter减少内存开销（推荐）使用阿里巴巴easy excel，对内存进行大量的优化（推荐）使用poi的SXSSFWorkbook(不推荐)
2024-03-08 23:02:55
1016
MG-SOFT MIB builder and compile
2023-12-06
NavicatPassword Decryp tools.zip
2023-09-10
Raft算法中文动画演示文件
2023-02-23
springboot-09-swagger.zip
2023-01-28
Spring Boot学习之Shiro源码
2023-01-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人