5 love others as self

尚未进行身份认证

love others as self! ----愿美梦成真!

等级
TA的排名 6k+

Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default

Elasticsearch5.X聚合操作异常:Fielddata is disabled on text fields by default. Set fielddata=true on [color] in order to load fielddata in memory by uninverting the inverted index. Note that this can howev...

2018-12-04 13:42:45

分布式锁的几种实现方式

摘要: 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比...

2018-11-13 21:49:06

搞定python多线程和多进程

1 概念梳理:1.1 线程1.1.1 什么是线程线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。一个线程是一个execution context(执行上下文),即一个cpu执行时所需要的一串指令。1.1.2 线程的工作方式假设你正在读一本书,没...

2018-09-03 22:19:39

linux awk sort 统计ip出现次数

visit.log180.153.114.199 - - [03/Jul/2013:14:44:43 +0800] GET /wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26s%3DVasiliki%26plugin-search-inpu...

2018-09-03 07:45:06

Linux下的sort排序命令详解(二)

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2 -k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!1 准备素材[root@FDMdevBI opt]# cat testsort.txt google 110 5000baidu 100 5000guge 50 3000sohu 100 4500第一个域是公司名称,第二个域是公司人数...

2018-08-31 19:36:39

Hive Serde

序列化作用序列化是对象转换为字节序列的过程。 反序列化是字节序列恢复为对象的过程。 对象的序列化主要有两种用途:对象的持久化,即把对象转换成字节序列后保存到文件中;对象数据的网络传送。 除了上面两点, hive的序列化的作用还包括:Hive的反序列化是对key/value反序列化成hive table的每个列的值。Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可...

2018-08-27 08:27:45

吞吐量(TPS)、QPS、并发数、响应时间(RT)概念

开发的原因,需要对吞吐量(TPS)、QPS、并发数、响应时间(RT)几个概念做下了解,查自百度百科,记录如下:1. 响应时间(RT)   响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能,而不同功能的处理逻辑也千差万别,因而不同功能的响应时间也不尽相同,甚至同一功能在不同...

2018-08-26 15:31:49

简单总结Python中序列与字典的相同和不同之处

共同点: 1.它们都是python的核心类型,是python语言自身的一部分核心类型与非核心类型 多数核心类型可通过特定语法来生成其对象,比如"dave"就是创建字符串类型的对象的表达式; 非核心类型需要内置函数来创建,比如文件类型需要调用内置函数open()来创建。 类也可以理解成自定义的非核心类型。2.边界检查都不允许超越索引边界? 1 2 3...

2018-08-21 12:41:45

Python3中用什么替换commands模块的getstatusoutput()

 先翻译一段文章:https://stackoverflow.com/questions/11344557/replacement-for-getstatusoutput-in-python-3在最后的“注意”一节中,给出笔者自己的看法。 在Python 2中,经常使用commands模块来执行shell的命令,尤其是常用getstatusoutput()函数。但是在Python ...

2018-08-21 10:03:13

Elasticsearch创建索引和映射结构详解

前言这篇文章详细介绍了如何创建索引和某个类型的映射。下文中[address]指代elasticsearch服务器访问地址(http://localhost:9200)。1       创建索引1.1     简单创建语句curl -XPUT [address]/blog1.2     带参数的创建语句curl -XPUT [address]/blog/ -d '{ ...

2018-08-07 19:30:35

Elasticsearch - 短语匹配(match_phrase)以及slop参数

因为elasticsearch里默认的IK分词器是会将每一个中文都进行了分词的切割,所以你直接想查一整个词,或者一整句话是无返回结果的设置了not_analyzed后,搜索的时候就不行了(因为没有进行分词,所以理解为精确查找)如果没有设置"index":"not_analyzed",也可以采用下面的查询方式  短语匹配(PhraseMatching)  就像用...

2018-08-07 19:10:47

C和C++的区别

C和C++的关系:就像是win98跟winXP的关系。C++是在C的基础上增加了新的理论,玩出了新的花样。所以叫C加加。C和C++的区别:C是一个结构化语言,它的重点在于算法和数据结构。C程序的设计首要考虑的是如何通过一个过程,对输入(或环境条件)进行运算处理得到输出(或实现过程(事务)控制)。 C++,首要考虑的是如何构造一个对象模型,让这个模型能够契合与之对应的问题域,这样就可以通过获取...

2018-08-01 17:22:02

Celery 框架学习笔记

在学习Celery之前,我先简单的去了解了一下什么是生产者消费者模式。生产者消费者模式在实际的软件开发过程中,经常会碰到如下场景:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产生数据的模块,就形象地称为生产者;而处理数据的模块,就称为消费者。单单抽象出生产者和消费者,还够不上是生产者消费者模式。该模式还需要有一个缓冲区处于生...

2018-07-25 15:29:48

elasticsearch中 refresh 和flush区别

elasticsearch中 refresh 和flush区别elasticsearch中有两个比较重要的操作:refresh 和 flushrefresh操作当我们向ES发送请求的时候,我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es 索引提交(commit)的过程,如果这个提交的过程直接将数据写入磁盘(fsync)必然会影响性能,所以es中设计...

2018-05-17 12:39:45

Elasticsearch 排序

elasticsearch 聚合需字段”fielddata”: truehow to set fielddata=true in kibanahttps://stackoverflow.com/questions/38145991/how-to-set-fielddata-true-in-kibanaI am new to Kibana, have data loaded into Elastic...

2018-05-17 10:10:41

Protocol Buffer的C++入门教程

1.protobuf简介protobuf(Protocol Buffers )是google的开源项目,官网见:click这里,源码见:github。更准确的官方描述是:protobuf是google的中立于语言,平台,可扩展的用于序列化结构化数据的解决方案。简单的说,protobuf是用来对数据进行序列化和反序列化。那么什么是数据的序列化和反序列化呢?见下文。protobuf支持目前主流的开发语...

2018-04-30 19:53:11

消息队列使用的四种场景介绍

消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景2.1异步处理场景说明:用户注册后,需要发注册邮件和注...

2018-04-30 15:12:24

今日头条 CEO 张一鸣:面试了 2000 个年轻人

正文  张一鸣算是 80 后中绝对的佼佼者。1983 年出生的张一鸣 ,在 2005 年从南开大学毕业后,至今参与创办了 5 家公司,2013 年,他先后入选《福布斯》“中国 30 位 30 岁以下的创业者”和《财富》“中国 40 位 40 岁以下的商业精英”,是目前国内互联网行业最受关注的青年领袖之一。2016 年 7 月 26 日,艾瑞发布 2016 中国独角兽企业估值榜单,今日头条以 92....

2018-04-30 14:33:30

Protobuf详解(.Java文件)

们在开发一些RPC调用的程序时,通常会涉及到对象的序列化/反序列化的问题,比如一个“Person”对象从Client端通过TCP方式发送到Server端;因为TCP协议(UDP等这种低级协议)只能发送字节流,所以需要应用层将Java对象序列化成字节流,数据接收端再反序列化成Java对象即可。“序列化”一定会涉及到编码(encoding,format),目前我们可选择的编码方式:    1)使用JS...

2018-04-02 10:17:42

图解Protobuf编码

Protobuf是Google发布的消息序列化工具。Protobuf定义了消息描述语法(proto语法)和消息编码格式,并且提供了主流语言的代码生成器(protoc)。本文仅讨论Protobuf消息编码格式,并且假定读者已经熟悉Protobuf消息描述语法(proto2或者proto3)。基本编码规则Protobuf消息由字段(field)构成,每个字段有其规则(rule)、数

2018-03-31 21:15:49

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 分享达人
    分享达人
    成功上传6个资源即可获取