9 MayMatrix

尚未进行身份认证

J2EE .

等级
TA的排名 5k+

【ELK之logstash】 grok入门:自测实例+常用正则(grok-patterns)

一、背景研究了grok几天,虽然知识还是很浅薄,但还是在这里做个总结。场景在使用logstash进行日志收集工作的时候,filter是个很重要的插件,而其中的Grok能很好的解析日志。logstash教程:https://blog.csdn.net/qq_34646817/article/details/81232083grok教程:https://blog.csdn.net/q...

2020-03-13 18:44:23

分布式一致性算法(二)Raft算法

一、更加直观的Raft算法Raft 适用于一个管理日志一致性的协议,相比于 Paxos 协议 Raft 更易于理解和去实现它。为了提高理解性,Raft 将一致性算法分为了几个部分,包括领导选取(leader selection)、日志复制(log replication)、安全(safety),并且使用了更强的一致性来减少了必须需要考虑的状态。1.解决什么问题分布式存储系统通常通过维...

2020-03-05 11:49:19

分布式一致性算法(一)Paxos算法

从分布式一致性到共识机制(一)Paxos算法从分布式系统的CAP理论出发,关注分布式一致性,以及区块链的共识问题及解决。区块链首先是一个大规模分布式系统,共识问题本质就是分布式系统的一致性问题,但是又有很大的不同。工程开发中,认为系统中存在故障(fault),但不存在恶意(corrupt)节点,而区块链,特别是公开链是落地到物理世界中,涉及到人性和利益关系,不可避免的存在信任以及恶意攻击...

2020-03-05 11:46:10

我必须得告诉大家的MySQL优化原理

掘金10.3k我必须得告诉大家的MySQL优化原理mysql发布于 2018-07-12约 38 分钟https://segmentfault.com/a/1190000015615179

2020-02-27 16:39:32

TiDB 在 OPPO 准实时数据仓库中的实践

PingCAP1.3kTiDB 在 OPPO 准实时数据仓库中的实践数据库实时分布式发布于 1月6日约 24 分钟本文转载自微信公众号“OPPO大数据”。作者介绍:OPPO 数据分析与解决方案团队主要负责 OPPO 全集团的大数据分析和解决方案提供,团队成员多来自一线互联网公司及著名高校,在 OPPO 众多场景的大数据应用方面有很深经验,极大的支撑了业务迅速发展。...

2020-02-27 16:31:48

「分布式系统前沿技术」专题 | 微服务架构何去何从?

「分布式系统前沿技术」专题 | 微服务架构何去何从?数据库分布式分布式系统微服务发布于 2019-12-27约 15 分钟分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自转转首席架构师孙玄。微服务架构模...

2020-02-27 16:26:17

TiDB 的正确使用姿势

PingCAP1.3k10TiDB 的正确使用姿势mysqlsqlnosqlrustgithub发布于 2017-03-10约 10 分钟最近这几个月,特别是 TiDB RC1 发布后,越来越多的用户已经开始测试起来,也有很多朋友已经在生产环境中使用,我们这边也陆续的收到了很多用户的测试和使用反馈。非常感谢各位小伙伴和早期用户的厚爱,而且看了这么多场景...

2020-02-27 16:23:59

吴镝:TiDB 在今日头条的实践

PingCAP1.3k2吴镝:TiDB 在今日头条的实践mysql更新于 2018-03-19约 12 分钟转存失败重新上传取消本文整理自今日头条数据库中间件/分布式数据库负责人吴镝(知乎 ID:吴镝)在TiDB DevCon2018 上的分享内容。TiDB 主要应用在今日头条核心 OLTP 系统 - 对象存储系统中,存储其中一部分元数据,支持头...

2020-02-27 16:20:06

TiDB Best Practice

PingCAP1.3kTiDB Best Practicemysqlgithub发布于 2017-07-05约 17 分钟本文档用于总结在使用 TiDB 时候的一些最佳实践,主要涉及 SQL 使用、OLAP/OLTP 优化技巧,特别是一些 TiDB 专有的优化开关。建议先阅读讲解 TiDB 原理的三篇文章(讲存储,说计算,谈调度),再来看这篇文章。前言数据库是一个通用...

2020-02-27 16:13:58

分布式数据库-TiDB应用场景简介

前言:最近公司要讨论分库分表,正好一起参加了培训。一般mysql单表数据库容量达到一定的极限,性能会急剧下降,之前工作的时候已经大佬们高喊几次了分库分表,但是最终没能实现或者落地的方案不佳。在这里一篇很好的文章指出了当前开源的分库分表的框架的不足,并介绍了使用TiDb作为新的分布式数据库的各种优点传送门。目前的常用的分库分表概述一种是中间件代理,例如mycat和sharding-proxy...

2020-02-27 15:53:52

解决Linux虚拟机 /dev/mapper/centos-root爆满问题

最近查看自己的虚拟机磁盘使用情况时,发现/dev/mapper/centos-root 使用接近爆满状态,为了让虚拟机能够正常使用,故需要动态扩容来搞定。1.用df -h 查看磁盘使用情况,如下:2.首先使用lsof命令查看是否出现有文件被删除,而进程还活着,因而造成还占用空间的现象,具体命令如下:lsof | grep delete | awk -F ’ ’ ‘{ print $2}...

2020-02-18 21:30:10

TCP与UDP的区别

摘要:计算机网络基础引言网络协议是每个前端工程师都必须要掌握的知识,TCP/IP 中有两个具有代表性的传输层协议,分别是 TCP 和 UDP,本文将介绍下这两者以及它们之间的区别。一、TCP/IP网络模型计算机与网络设备要相互通信,双方就必须基于相同的方法。比如,如何探测到通信目标、由哪一边先发起通信、使用哪种语言进行通信、怎样结束通信等规则都需要事先确定。不同的硬件、操作系统之间...

2020-02-17 22:00:37

OLAP、OLTP的介绍和比较

OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易...

2020-02-17 13:17:36

什么是"零拷贝"技术

前言从字面意思理解就是数据不需要来回的拷贝,大大提升了系统的性能;这个词我们也经常在java nio,netty,kafka,RocketMQ等框架中听到,经常作为其提升性能的一大亮点;下面从I/O的几个概念开始,进而在分析零拷贝。I/O概念1、缓冲区缓冲区是所有I/O的基础,I/O讲的无非就是把数据移进或移出缓冲区;进程执行I/O操作,就是向操作系统发出请求,让它要么把缓冲区的数...

2020-01-16 15:00:31

大数据核心知识点:Hbase、Spark、Hive、MapReduce概念理解,特点及机制

一、Hbase1.1、Hbase是什么?HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时,可以使用HBase。尽管已经有许多数据存储和访问的策略和实现方法,但事实上大多数解决方案,特别是一些关系类型的,在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限,但这些功能通常都是事后增加...

2020-01-16 12:36:31

MapReduce工作流程和工作原理

MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的很好,我们只用使用Map和Reduce函数,所以对其整体的计算过程不是太清楚,同时MapReduce1.0和MapReduce2.0在网上有很多人混淆。MapReduce1.0运行模型20170730014216035.pngInputInput但是输入文件的存储位置,...

2020-01-16 12:31:36

Flink的入门简介

一.Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有Hadoop、Storm,以及后来的Spark,他们都有着各自专注的应用场景。Spark掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大...

2020-01-16 10:13:51

Flink 从 0 到 1 学习 —— Apache Flink 介绍

Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然后将计算后的结果与告警规则的阈值进行比较,然后做出相应的告警措施(钉钉群、邮件、短信、电话等)。画了个简单的图如...

2020-01-16 09:41:36

exe4j打包java的jar成exe(window版)

概述:java是需要运行环境的,如果在没有配置jdk环境电脑那怎么运行?自带jre环境。为了安全问题一般会将jar打包成exe文件,jar是可以被反编译的;其二打包exe方便后期打包成安装包(InnoSetup工具可以胜任,这里不涉及)关于防止反编译:exe运行时可能在windows运行目录获取内部jar,所以为了防止反编译自定义classLoader,将重要的class加密读取,这样可以防...

2019-12-13 16:23:05

MySQL分区和分表

MySQL分区和分表一、概念1.为什么要分表和分区?日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕。分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率。2.什么是分表?分表是将一个大表按照一定的规...

2019-11-28 12:25:30

查看更多

勋章 我的勋章
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。