• 等级
  • 3050205 访问
  • 559 原创
  • 392 转发
  • 242 排名
  • 410 评论
  • 404 获赞

Redis key模糊查询聚合实现多维度查询数据可视化

一个分布式多租户多维度需要统计聚合数据的可视化,通过关系型数据库查询效率实在太低尤其是年、季度、月统计数据,采用redis的key模糊查询可以实现对一类数据的多维度筛选和统计。可以做到年、季度、月、日、租户编码、业务类型、业务ID、业务状态、操作人等等维度的聚合查询。目录Key模糊聚合查询测试代码和初始化改造政区初始化及统计流程设计本文基于:Redis连接池及单节点工具与多Re...

2019-05-19 16:50:25

Docker快速实现Redis环境安装

为了让redis版本在Windows上兼容,redis采用3.2.1.(Linux最新版本为5.0.4window版本为3.2.100版本差异较大,5.0.4的主从复制方式与3.1.100主从复制方式不一样)。目录创建Docker网络dockernetwork命令创建redis网络创建Redis实例运行实例查看实例Redis命令行操作参考资料创建Doc...

2019-05-10 15:10:07

Docker快速搭建Elasticsearch和Kibana监控环境

Elasticsearch实例9200作为Http协议,主要用于外部通讯 9300作为Tcp协议,jar之间就是通过tcp协议通讯 ES集群之间是通过9300进行通讯dockerrun--nameelasticsearch-p9200:9200-p9300:9300-e"discovery.type=single-node"-ddocker.elastic...

2019-05-10 14:23:31

Redis连接池及单节点工具与多Redis节点管理工具

Redis提供Java的操作工具Jedis稍稍实现封装就可以直接拿来使用了,单节点和多节点这个封装就太简单了。目录Redis单节点操作Redis连接池RedisJedis工具类Redis多节点操作Redis节点管理Redis节点管理工具类Redis单节点操作Redis连接池通过读取配置初始化Redis连接池 通过参数生成Redis连接池package...

2019-05-10 09:43:23

如何构造即时通信或视频帝国——云服务的集中爆发点

经过一段时间的思考,还是觉得做传统行业缺乏动力,沉浸在业务的海洋里可能会溺死。总结一下技术栈和相关的知识,也相当于是个普及吧。前两年视频直播很火,经过这几年的发展市场也在逐步地规范,尤其涉黄主播在直播领域泛滥成灾,也为视频行业的发展蒙上一层朦胧的薄纱,看不清楚未来该怎么发展。但是除了这些,我们如果好好利用可以发掘很多传统行业对视频的需求还是很旺盛的。并且传统行业互联网+的概念和云结合之后几乎云无...

2019-05-09 17:07:37

Redis主从同步配置(以从节点的Redis版本为主支持Windows和linux)

注意:Windows3.2.100版本和Linux5.0.4版本同步机制不一样无法做同步。Windows的版本明显跟不上Linux版本更新的速度,如果从库是Windows版本,Linux需要对应使用相近的版本。目录Redis需求说明需求现状目标Redis主从安装配置Redis环境说明Redis主从同步原理Redis查询命令说明Redis安装包下载Redi...

2019-05-09 16:27:15

MySQL单主库多从库继承数据备份方案—扩宽无限可能

内容请参考:MySQL指定数据库部分表备份—跨网络备份解决方案理论上:MySQL可以实现主备、互为主备、主-从(主)-从(主)-从(主)....一直到千秋万代。特别注意:所有从库节点需要设置为read_only=1使除了超级用户之外的用户不能修改从库数据以保证主从之间同步信息对等主从机制不会被破坏。文档下载地址:https://download.csdn.net/downl...

2019-05-07 12:10:55

MySQL 指定数据库部分表备份—跨网络备份解决方案

MySQL数据备份真的很强大,为之叹服!MySQL深入研究还是很有必要的,找了一堆数据同步的工具比如Canal+Otter还有Kettle,没想到如此之简单就搞定了!特别注意:所有从库节点需要设置为read_only=1使除了超级用户之外的用户不能修改从库数据以保证主从之间同步信息对等主从机制不会被破坏。原标题是包含关键字主-从(主)-从。目录功能需求MySQL主从指定数据库指定...

2019-04-30 18:33:50

Kettle实现数据抽取转换和装载工具运行及源代码编译

Kettle标榜的就是绿色运行无安装,不过有些环境运行起来很麻烦,这里有一些相关的总结,希望可以帮助到使用Kettle十分崩溃的初学者,当然我也是其中之一。Kettle在Win7下有问题,建议直接重装win10或者使用虚拟机测试。下载地址一:https://community.hitachivantara.com/docs/DOC-1009855下载地址二:https://sourcefo...

2019-04-28 11:15:25

Canal+Otter实现Mysql数据库数据记录增量备份实践

通过之前对Canal的了解,我们知道Canal实际上只做了日志级别的读取和操作事件的捕获,对于如何将获取到的增量日志保存到目标数据库去,这里单纯地通过Canal来做就需要做很多后续解析的工作,好在阿里都给出了解决方案,那就只Otter。Otter就是来帮助我们让源数据库的数据通过binlog再次写入到目标数据库。目录必须弄清楚的两个问题Canal帮我们做了什么?我们将用Otter来...

2019-04-28 00:07:56

阿里千万级实时监控系统技术揭秘TSDB时序业务场景

原文地址:https://www.infoq.cn/article/YRyUcv8zGw6*2BKOmTf7分享主要介绍以下四方面:时序业务全景 TSDB介绍 核心技术 总结展望时序业务全景从底层的机器监控到直面用户的应用,都离不开时序性的业务场景,而时序性的数据一般都由专业的时序数据库来存储分析,下面主要介绍TSDB覆盖的业务场景以及面临的挑战。1.1时序数据库覆...

2019-04-24 13:58:10

Docker容器Telegraf+InfluxDB+Grafana实例实现Linux系统监控

Docker环境中实现Telegraf+InfluxDB+Grafana实现Linux系统监控功能。Telegraf是一个收集指标并将其写入InfluxDB或其他输出的代理。目录Linux监控环境安装获取Telegraf镜像运行InfluxDB容器运行Telegraf容器运行Grafana容器Grafana管理和配置配置InfluxDB数据源配置Telegraf...

2019-04-24 10:07:37

数据可视化之Kibana

原文地址:http://hao.jobbole.com/kibana/Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elastic...

2019-04-23 15:31:16

数据可视化之Grafana

原文地址:https://cloud.tencent.com/developer/article/1352735Grafana官方地址:https://grafana.com/grafanaGrafana在线示例:http://play.grafana.org/Grafana开源地址:https://github.com/grafana/grafana目录1.1Grafana...

2019-04-23 15:11:25

Java Map取值累加的线程安全问题

昨天在开发者头条上面看的一篇文章针对Map相关的线程安全讲解说的很好,今天根据思路还原了场景(隔壁老王半夜为何尖叫?这例子说的有点让老王很忙)。Java代码:packagecom.boonya.concurrent;importjava.util.HashMap;importjava.util.Hashtable;importjava.util.concurrent.Co...

2019-04-23 13:53:00

Shell使用sendemail发送邮件脚本

原文地址:http://www.zixuephp.net/article-400.htmlshell发送邮件,这里要介绍的是sendemail工具,通过这个工具连接第三方的smtp服务器,进行邮件的发送,简单高效。在web场景中可以方便的被调用shell,轻松进行邮件的发送。sendemail是一个轻量级,功能强大的邮件发送客户端(不接收邮件),sendema...

2019-04-22 17:58:01

InfluxDB与Canal实现数据库增量备份统计分析及系统监控架构设计

本文通过InfluxDB与Canal实现数据库增量日志分析统计及系统监控架构设计,目标就是为了零侵入现有代码实现数据增量备份处理和实现用户业务数据、接口等操作实时统计功能,这里有点像AOP编程,抽象我们需要修改的地方然后进行日志记录操作。目录架构设计需求设计要求增量备份&统计架构图增量备份&统计分析&系统监控架构图系统监控实践InfluxDB基...

2019-04-22 17:12:06

Docker实现Canal MySQL增量日志订阅&消费环境搭建

https://github.com/alibaba/canalCanal:阿里巴巴mysql数据库binlog的增量订阅&消费组件。阿里云DRDS(https://www.aliyun.com/product/drds)、阿里巴巴TDDL二级索引、小表复制powerdbycanal.AliyunDataLakeAnalyticshttps://www.aliy...

2019-04-19 18:56:27

Docker快速实现MySQL主从复制环境搭建

Docker配置原理跟通常的master-salve配置一样,使用Docker可快速实现主从复制的环境搭建。目录1.更新系统并安装docker2.服务器开启端口访问3.运行Master和Slave实例4.进入容器修改主从配置4.1容器进入操作4.2Master配置4.3Slave配置5.主从关联5.1获取容器实例的IP5.2mysql-master操作...

2019-04-19 16:35:37

Window7设置本机Java运行时参数

进行如下步骤操作即可修改Java运行时参数。这里以修改Java最小和最大堆内存为例。步骤一:步骤二:步骤三:步骤四:步骤五:如此就实现了Java运行时参数修改。...

2019-04-18 18:34:27

博客专家

boonya

历览前贤国与家,成由勤俭败由奢。
关注
  • 计算机软件/软件工程师
  • 中国 四川省 成都市
奖章
  • 专栏达人
  • 持之以恒
  • 勤写标兵Lv1
  • 勤写标兵Lv2
  • 勤写标兵Lv3