a81561826-CSDN博客

转载 ElasticSearch实战概要

最近中美关系越来越紧张，国内经济下滑，股市一片惨淡，互联网行业越来越不景气，动不动都是跌掉几千亿市值，来写一些文档来抚慰这颗受伤的心吧。。。随着互联网的发展，数据越来越重要，每个公司保存的数据也是越来越多，不管做什么产品，存储和搜索这些数据都面临着一些挑战，很多数据在存储了之后，基本上都被雪藏了，找不到了，更谈不上从垃圾里面找黄金了（这可能设计数据分析了，暂且不讲），那我们今...

2018-09-10 15:18:00 119

转载 Redis持久化

　　前言：持久化是什么？简单的说就是将数据放在断电后不会丢失的设备中，比如磁盘，数据库在进行写操作时做了哪些事呢？　　主要有五个过程　　1、客户端向服务端发送写操作（数据在客户端的内存中）。　　2、数据库服务端接收到写请求的数据（数据在服务端的内存中）。　　3、服务端调用write这个系统调用，将数据往磁盘上写（数据在系统内存的缓冲区中）。　　4、操作系统将缓冲区中的数据转移到磁盘控...

2017-09-20 15:02:00 113

转载 Redis数据类型之ZSet（五）

　　前言：有序集合zset跟其他类型一样，同样有几种编码方式。主要有两种编码方式，REDIS_ENCODING_ZIPLIST和REDIS_ENCODING_SKIPLIST。ziplist可以表示较小的有序集合, skiplist表示任意大小的有序集合。　　何时用REDIS_ENCODING_ZIPLIST？　　（1）zset会根据zadd命令添加的第一个元素的长度大小来选择编...

2017-08-01 11:16:00 263

转载 Redis数据类型之Set（四）

前言:set类似于数学上面的集合概念，包含的元素无序，不能重复，能进行交、并、差操作。一、内部原理 set数据结构，也是随着元素数目的多少而变化。当set中添加的元素都是整数且元素数据较少时，set使用intset为底层的数据结构，否则，set使用dict作为底层的数据结构。 intset是什么？ ...

2017-06-20 11:24:00 116

转载 Redis数据类型之List（三）

前言：list即链表，它是一个能维持数据先后顺序的列表，便于在表的两端追加和删除数据，中间位置的存取具有O(N)的时间复杂度，是一个双向链表。一、内部原理 redis内部实现代码在quicklist.c（注释：A doubly linked list of ziplists）中，它确实是一个双向链表，并且是一个ziplist双向列表。 ...

2017-06-16 13:28:00 87

转载 Redis数据类型之Hash（二）

前言： Redis hash是一个String类型的field和value的映射表。添加、删除操作复杂度平均为O(1)，为什么是平均呢？因为Hash的内部结构包含zipmap和hash两种。hash特别适合用于存储对象。相对于将对象序列化存储为String类型，将一个对象存储在hash类型中会占用更少的内存，并且可以方便的操作对象。为什么省内存，因为对象刚开始使用zipmap...

2017-06-05 13:54:00 134

转载 Redis基本数据类型以及String（一）

前言： Redis也有自己的数据类型，包含string,list,hash,set,sorted set。下面就对每种数据类型原理以及操作做一个详细的介绍。 Redis是面向编程的语言，除了字符串，其他类型怎么表示呢？ Redis中定义了一个对象的结构体： /* * Redis 对象 */ typedef struct redisObject {...

2017-05-31 15:53:00 342

转载 Memcached和Redis简介

前言：目前比较流行的缓存技术无疑是Memcached和Redis，两套缓存技术有着诸多的相似之处，但又具备大量的显著差异，作为新生的方案，Redis被视为首选，但是有些场景Memcached发挥的作用是不容忽视的。相似点： 1. Memcached和Redis都属于In-Memory、Key-Value数据存储方案，同属于NoSQL家族，都选择...

2017-05-23 14:14:00 130

转载 ZooKeeper实践：（2）配置管理

一、前言配置是每个程序不可或缺的一部分，配置有多重方式：xml、ini、property、database等等，从最初的单机环境到现在的分布式环境。 1. 以文件的格式存储配置，修改任何都要改程序，重新发布，重新部署，经常出现数据不一致的问题，配置错误，会造成更大的问题。 2. 以数据库+缓存配置，解决了动态更新配置的方式，但是存在数据库的单...

2017-05-16 17:40:00 111

转载 ZooKeeper实践：（1）集群管理

前言：随着业务的扩大，用户的增多，访问量的增加，单机模式已经不能支撑，从而出现了从单机模式->垂直应用模式->集群模式，集群模式诞生了，伴随着一堆问题也油然而生，Master怎么选举，机器故障及时移除集群，添加机器了如何及时的感应到，Zookeeper不仅能维护当前的集群服务状态，还能及时的选出master，它们的实现方式都是在Zookeeper上面注册一个...

2017-05-16 13:20:00 110

转载 ZooKeeper监听机制

前言：Zookeeper的监听机制很多人都踩过坑，感觉实现了watcher接口，后面节点的变化都会一一推送过来，然而并非如此。 Watch机制官方声明：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则服务器将这个改变发送给设置了Watch的客户端，以便通知它们。 Zookeeper机制的特点： 1.一次性触发数据发生改变时，一个wa...

2017-05-10 11:16:00 87

转载 ZooKeeper安装、部署

一.简介 ZK的安装和配置十分简单，既可以配置成单机模式，也可以配置成集群模式，zk使用java编写的运行在java环境上，3个ZK服务进程是建议的最小进程数量，而且建议部署在不通的物理机上面，减少宕机带来的风险。二.下载并解压 http://www.apache.org/dyn/closer.cgi/zookeeper/ 三.目录结构 ...

2017-05-09 10:47:00 81

转载 ZooKeeper简介

Zookeeper是一个分布式应用程序协调服务，功能包含：配置管理、统一命名、共享锁、集群管理、队列管理等，适合使用在读多于写的操作。为什么要使用Zookeeper 达到工业级产品标准、开放源代码、免费、得到了广泛使用，诸如Hadoop、HBase、Storm以及Solr。 1. 配置管理配置的管理在分布式应用环境中很常见，例如同一个应用系统需要多台 P...

2017-05-08 18:12:00 80

a81561826的博客