- 博客(897)
- 收藏
- 关注
RSS订阅
原创 Zookeeper之基于Observer部署架构
Observers：在不伤害写性能的情况下扩展Zookeeper尽管通过Client直接连接到Zookeeper集群的性能已经非常好了，但是这种架构如果要承受超大规模的Client，就必须增加Zookeeper集群的Server数量，随着Server的增加，Zookeeper集群的写性能必定下降，我们知道Zookeeper的Znode变更是要过半数投票通过，随着机器的增加，由于网络消耗等原因必...
2015-12-20 18:37:51
12070
10
原创 Zookeeper你应该了解基础知识
简介Apache ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，由Client和Server构成，Server提供了一致性复制和存储服务，Client包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。ZooKeeper的设计非常易于编程，ZooKeeper维护着一个hierarchal（层次）的名字空间，它采用树形的数据结构，类似于标准文件...
2015-11-26 15:36:44
5033
2
原创 Flume之ChannelSelector源码分析
Flume中channel选择器（selector.type配置）必须实现ChannelSelector接口，实现了该接口的类主要作用是告诉Source中接收到的Event应该发送到哪些Channel，在Flume中主要由两个实现方式：1，复用，实现类：MultiplexingChannelSelector2，复制，实现类：ReplicatingChannelSelector如下：...
2015-11-09 21:20:34
3941
原创 Flume几种监控方式
Flume主要由以下几种监控方式：JMX监控JMX高爆可以在flume-env.sh文件修改JAVA_OPTS环境变量，如下：export JAVA_OPTS=”-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authentic...
2015-11-04 17:57:13
9675
原创 Flume+Elasticsearch搭建实时日志分析系统
最近做一个检测全球网络状况的项目，主要用于检测全球各个国家，地区的机房网络状况，服务的性能，DNS解析等等...情况的数据，通过中央服务器添加任务，下发任务到部署在全球各个国家和地区的minipc，minipc将获取到的数据反馈到监控服务，然后进行数据整合和分析提供报表，供公司更有针对性的优化网站性能。之所以采用Flume + Elasticsearch，而没有采用ELK（elasticsea...
2015-10-30 15:06:27
8229
原创 Flume + Keepalived构建高可用分布式采集系统
上一篇《Flume之Failover和Load balancing原理及实例》的实例的架构如下：10.0.1.76作为Client，通过exec获取nginx的日志信息，然后将数据传到10.0.1.68（配置了Failover和Load balancing）的节点，最后10.0.1.68将数据发送的10.0.1.70，77，85，86，87节点，这些节点最终将数据写到本地硬盘。 那...
2015-10-23 14:56:03
5013
原创 Java类锁和对象锁
在并发环境下，采用锁的方式来解决对共享资源的互斥访问。在Java中，锁可以分类如下两类：对象锁 JAVA中任何一个非null对象都可以作为"锁"，每个同步锁会有一个计数器，JVM负责跟踪对象被加锁的次数，没有线程获取该对象的锁时，计数器的值为0，如果一个线程第一次对这个对象加锁，那么计数器的值就为1，之后相同的线程在获得该对象的锁时，计数都会递增的加1，如果相同的线程对此对象解锁，那...
2015-09-09 19:37:04
2771
原创 Memcached之缓存雪崩，缓存穿透，缓存预热，缓存算法(7)
缓存雪崩缓存雪崩可能是因为数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库CPU和内存负载过高，甚至宕机。解决思路：1，采用加锁计数，或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力，但是同时又降低了系统的吞吐量。2，分析用户行为，尽量让失效时间点均匀分布。避免缓存雪崩的出现。3，如果是因为某...
2015-08-27 20:37:08
8670
2
原创 Hadoop之命令集合（全）
Hadoop命令系列文章共5篇，链接地址如下： Hadoop之文件系统Shell Hadoop之命令指南 Hadoop之HDFS命令 Hadoop之MapReduce命令 Hadoop之YARN命令 希望对大家能有所帮助，不正确的地方希望留言讨论。...
2015-08-19 23:59:06
2842
原创 Hadoop之SequenceFile
Hadoop序列化文件SequenceFile可以用于解决大量小文件（所谓小文件：泛指小于black大小的文件）问题，SequenceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key,value>对序列化到文件中，一般对小文件可以使用这种文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。 hadoop A...
2015-08-14 19:50:48
8480
3
原创 Hadoop之推测执行
最近在测试环境跑任务，有一部分任务出现如下情况：推测执行(Speculative Execution)是指在集群环境下运行MapReduce，可能是程序Bug，负载不均或者其他的一些问题，导致在一个JOB下的多个TASK速度不一致，比如有的任务已经完成，但是有些任务可能只跑了10%，根据木桶原理，这些任务将成为整个JOB的短板，如果集群启动了推测执行，这时为了最大限度的提高短板，Hadoo...
2015-08-13 16:55:32
10838
1
原创 Hadoop之机架感知
在分布式集群下，由于机架的的槽位和交换机网口数量的限制，使得集群上的机器不得不跨越机架，通常一个大型的集群会跨越很多机架。一般情况机架内机器的通讯会快于跨机架机器之间的通讯，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 通过机架感知，可以带来性能和安全性的提升，例如：HDFS块为了故障容错，采用机架感知按到一定的策略将某些块放置在不同的机架上，这样就算一个机架瘫痪也不会影...
2015-08-05 17:19:06
5986
原创 Hadoop之YARN及运行流程
YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN通用资源管理框架组成部分：1，ResourceManager（RM）：由Scheduler（资源调度器）和ApplicationsManager（ASM：应用管理器）2个组件组成。RM和每个NodeManager (NM)构成一个资源估算框架，管...
2015-07-22 18:11:48
5458
2
转载 平安业研一体 BizDevOps——降本增效与业务价值最大化实践
本文来自于平安专家在大会上的分享，介绍了平安科技的业研一体的协作机制和业务场景，专家认为，业研一体的模式逻辑上是从业务到技术双方的端到端的方法体系，它很好的解决了企业数字化的需求，把业务和技术放在一起能够碰撞出很多火花，产生了很多智慧的数字化方案，而且效果很好。差不多一年多的时间，它已经在平安内部驱动 IT 精准化赋能整个业务，在团队实践过程中已经有了一些降本增效的体现。同时在整个集团里发布了业研...
2024-03-27 12:00:20
30
转载 OpenAI Sora 已开放对外申请！网友爆料：还有其它重磅产品发布？！
OpenAI Sora 开放对外申请。内测申请链接：https://openai.com/form/red-teaming-network虽然开放，但目前只有两种方式能用上官方版的 Sora：加入 Red Teaming 和著名艺术从业者。大家注意不要被骗。其中，OpenAI Red Teaming 是一个由值得信赖且经验丰富的专家组成的社区，主要为 OpenAI 提供风险评估。成员将根据其专业知...
2024-02-28 22:22:55
115
转载 经济下行，拆分还是整合：单体和微服务的技术抉择
持续之战：单体架构与微服务"从许多方面来看，微服务就是一种僵尸架构，另一种拒绝死去的知识传染病菌。这种病菌从 J2EE（远程服务器 Bean，有人记得吗？）的黑暗时代开始，经历了 WS-Deathstar 的胡闹，现在又以微服务和无服务器的形式存在。"—— David Heinemeier Hansson随着亚马逊云科技在他们的官博中宣称他们放弃了微服务并回归单体架构，单体架构与微服务之间的战争再...
2024-01-31 12:01:10
87
转载 老架构师总结的 12 个软件架构陷阱 ｜ 避坑指南
摘要随着业务的高速发展和实时计算的迭代，业务对实时计算的需求越来越多，对实时任务的稳定性要求也越来越高。对实时计算平台而言，底层调度系统及计算引擎的稳定性、高可用性就变的十分重要。本文主要围绕作业帮实时计算平台底层调度系统，从背景现状、目标与挑战、方案设计以及未来规划等几方面来展开。背景现状开始之前，先简单了解一下之前实时计算平台后台调度的架构，如图 1 所示：图 1实时调度系统采用的是分布式、去...
2024-01-12 12:00:39
94
转载 小红书可观测 Metrics 架构演进，如何实现数十倍性能提升？
目录1.背景 1.1 小红书 Metrics 发展情况 1.2 面临的问题2.演进历程 2.1 采集 2.2 高可用改造 2.3 查询优化 2.4 高基数治理 2.5 跨云多活3.总结与展望4.作者简介5.招聘JD在当前云原生时代，随着微服务架构的广泛应用，云原生可观测性概念被广泛讨论。可观测技术建设，将有助于跟踪、了解和诊断生产环境问题，辅助开发和运维人...
2024-01-09 12:00:52
77
转载 快手 Kwai Agents 系统、模型、数据全部开源
7B 的模型也能玩转 AI Agents 了？近期，快手开源了 Kwai Agents，亲测发现，问它周末滑雪问题，它不但能帮你找到场地，连当天的天气都帮你考虑周到了。大语言模型（LLM）通过对语言的建模而掌握了大量知识，并具备一定认知和推理能力。但由于无法跟世界保持实时的交互，在单独使用的情况下，常会出现一本正经地胡说八道的现象。而 AI Agents 就是解决这个问题的道路之一，它通过激发大模...
2024-01-05 12:00:12
101
转载 互联网大厂“组团”宕机，都怪降本增“笑”？
前不久，国际数据公司 IDC 发布了《中国公有云服务市场（2023 上半年）跟踪》报告。该报告显示，2023 年上半年中国公有云服务整体市场规模（IaaS/PaaS/SaaS）为 190.1 亿美元。其中，IaaS（基础设施即服务）市场规模为 112.9 亿美元，同比增速 13.2%；PaaS（平台即服务）市场规模为 32.9 亿美元，同比增速为 26.3%。伴随着 AIGC 技术的崛起，云计算市...
2023-12-12 12:02:37
181
转载 ClickHouse 彪悍发言：云数仓死贵死贵的，Snowflake 这种就不应该成为当前主流！
ClickHouse 最近发表了一篇精彩的文章，描述了 Snowflake 和 Redshift 等云数据仓库已经不能满足新的客户需求，并且指出许多企业已经发现他们的云数据仓库成本是不可持续的。“云数据仓库的成本呈指数级增长”，“我们感谢云数据仓库多年来的辛勤付出，但它们引领的霸权时代即将落幕”。在这篇文章中，他们还探讨了数据库技术的发展，认为成本将成为一个重大的痛点，从而促使企业重新评估其数据堆...
2023-11-29 12:01:02
326
转载 探索容灾架构演进之路 - 从单点到异地多活
1. 挑战与变革在公司发展初期，业务发展和用户增长是首要关注的焦点。然而，随着业务规模不断扩大，用户数量逐渐攀升，应用稳定性的重要性也变得愈发凸显。在这个演进过程中，传统架构下的应用部署模式开始显露出多方面的稳定性风险，其中最为显著的问题之一就是机房单点故障。当机房发生故障时，业务无法迅速恢复，这可能导致巨大的损失。以近两年实际案例为例，我们可以看到，无论是云上机房还是自建机房，都存在机房故障的潜...
2023-11-23 12:01:36
97
转载 全票通过！Seata 进入 Apache 孵化器
北京时间 2023 年 10 月 29 日，分布式事务开源项目 Seata 正式通过 Apache 基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目！根据 Apache 基金会邮件列表显示，在包含 13 个约束性投票(binding votes)和 6 个无约束性投票(non-binding votes)的投票全部持赞同意见，无弃权票和反对票，投票顺利通过。“Welcome...
2023-11-16 12:00:15
98
转载 从使用的角度看 ByConity 和 ClickHouse 的差异
自 ClickHouse Inc 宣布其重要新功能仅在 ClickHouse Cloud 上开放以来，一些关注 ByConity 开源的社区小伙伴也来询问 ByConity 后续开源规划。为回答社区疑问，我们将之前分享的关于 ByConity 与 ClickHouse 相关功能对比的 webinar 整理为文章，并更新 ByConity 0.2.0 所发布最新功能与 ClickHouse 对比内容...
2023-11-06 12:01:32
122
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
104
1
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
38
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
38
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
38
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
47
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
33
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
33
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
20
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
27
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
30
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
49
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
30
转载 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低 60%，部分功能代码精简 90%，30 天急速迁移服务器...
2022 年 10 月 27 日，经历了长达半年的拉锯战之后，马斯克终于将 Twitter（现已更名 X）收归囊中，这笔 440 亿美元的收购案也终于迎来了大结局。入主 Twitter 后，马斯克进行了大刀阔斧的改革，如今一年过去了，Twitter 发生了哪些变化？2023 年 10 月 27 日，X 工程技术发布帖子称，过去一年是 X（Twitter）平台全面推进工程技术探索的一年。除了大家在 ...
2023-10-31 12:00:46
15
转载 得物App全栈 DevOps 可观测平台落地实践
得物 App 是 2015 年上线的，初衷创建一个更加年轻、更加时尚、潮流的社区平台，其中创造性的引入了鉴别的方式解决在交易过程中遇到的问题，最近几年逐步从球鞋品类把他过渡到服装、箱包、化妆品等，到今天为止得物 App 它就不是一个简单的是球鞋交易平台，而是一个全品类综合性的电商平台。随着业务规模和复杂度的增加，监控的规模也随之扩大。监控系统发展史得物的技术栈主要是 Java 和 Go，在 202...
2023-10-17 12:02:37
919
转载 轻松搞定分布式 token 校验
前言今天就是简简单单的校验，去校验token，然后就好了，但是区别是啥呢，咱们这边有个大冤种就是这个 GateWay。此外这边的全部代码都是在WhiteHolev0.7里面的，可见的。由于这个玩意，咱们不好再像以前直接去在拦截器里面去搞事情。而且说实话，请求那么多，如果全部都在GateWay去做的话，我是真的懒得去写那些啥配置了，到时候放行哪些接口都会搞乱。所以问题背景就是在分布式微服务的场景下，...
2023-10-16 12:00:24
71
转载 高效做事的 15 点总结
01、优先要做的事只有几件每天三只青蛙为什么？如果你优先要做的事情很多，那就意味着你根本就没有优先要做的事。你在多个任务、多个项目之间切换，没有一个焦点。就像光一样，如果不能聚焦于一点，能量就无法累积。因此你的时间、你的精力被各项不同的任务分散、消解掉了。怎么做？做任何事，都遵循一项基本的原则：事不过三，甚至是事不过一。比如说你手头的目标、项目以及代办清单都应该遵循此原则。02、懂得什么时候说不学...
2023-10-09 12:00:48
48
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人