4 love others as self

尚未进行身份认证

love others as self! ----愿美梦成真!

等级
TA的排名 6k+

Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default

Elasticsearch5.X聚合操作异常:Fielddataisdisabledontextfieldsbydefault.Setfielddata=trueon[color]inordertoload fielddatainmemorybyuninvertingtheinvertedindex.Notethatthiscanhowev...

2018-12-04 13:42:45

分布式锁的几种实现方式

摘要: 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partitiontolerance),最多只能同时满足两项。目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比...

2018-11-13 21:49:06

搞定python多线程和多进程

1概念梳理:1.1线程1.1.1什么是线程线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。一个线程是一个executioncontext(执行上下文),即一个cpu执行时所需要的一串指令。1.1.2线程的工作方式假设你正在读一本书,没...

2018-09-03 22:19:39

linux awk sort 统计ip出现次数

visit.log180.153.114.199--[03/Jul/2013:14:44:43+0800]GET/wp-login.php?redirect_to=http%3A%2F%2Fdemo.catjia.com%2Fwp-admin%2Fplugin-install.php%3Ftab%3Dsearch%26s%3DVasiliki%26plugin-search-inpu...

2018-09-03 07:45:06

Linux下的sort排序命令详解(二)

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2-k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!1准备素材[root@FDMdevBIopt]#cattestsort.txtgoogle1105000baidu1005000guge503000sohu1004500第一个域是公司名称,第二个域是公司人数...

2018-08-31 19:36:39

Hive Serde

序列化作用序列化是对象转换为字节序列的过程。 反序列化是字节序列恢复为对象的过程。对象的序列化主要有两种用途:对象的持久化,即把对象转换成字节序列后保存到文件中;对象数据的网络传送。除了上面两点,hive的序列化的作用还包括:Hive的反序列化是对key/value反序列化成hivetable的每个列的值。Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可...

2018-08-27 08:27:45

吞吐量(TPS)、QPS、并发数、响应时间(RT)概念

开发的原因,需要对吞吐量(TPS)、QPS、并发数、响应时间(RT)几个概念做下了解,查自百度百科,记录如下:1.响应时间(RT)   响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能,而不同功能的处理逻辑也千差万别,因而不同功能的响应时间也不尽相同,甚至同一功能在不同...

2018-08-26 15:31:49

简单总结Python中序列与字典的相同和不同之处

共同点: 1.它们都是python的核心类型,是python语言自身的一部分核心类型与非核心类型 多数核心类型可通过特定语法来生成其对象,比如"dave"就是创建字符串类型的对象的表达式; 非核心类型需要内置函数来创建,比如文件类型需要调用内置函数open()来创建。 类也可以理解成自定义的非核心类型。2.边界检查都不允许超越索引边界? 1 2 3...

2018-08-21 12:41:45

Python3中用什么替换commands模块的getstatusoutput()

 先翻译一段文章:https://stackoverflow.com/questions/11344557/replacement-for-getstatusoutput-in-python-3在最后的“注意”一节中,给出笔者自己的看法。 在Python2中,经常使用commands模块来执行shell的命令,尤其是常用getstatusoutput()函数。但是在Python...

2018-08-21 10:03:13

Elasticsearch创建索引和映射结构详解

前言这篇文章详细介绍了如何创建索引和某个类型的映射。下文中[address]指代elasticsearch服务器访问地址(http://localhost:9200)。1      创建索引1.1    简单创建语句curl-XPUT[address]/blog1.2    带参数的创建语句curl-XPUT[address]/blog/-d'{ ...

2018-08-07 19:30:35

Elasticsearch - 短语匹配(match_phrase)以及slop参数

因为elasticsearch里默认的IK分词器是会将每一个中文都进行了分词的切割,所以你直接想查一整个词,或者一整句话是无返回结果的设置了not_analyzed后,搜索的时候就不行了(因为没有进行分词,所以理解为精确查找)如果没有设置"index":"not_analyzed",也可以采用下面的查询方式  短语匹配(PhraseMatching)  就像用...

2018-08-07 19:10:47

C和C++的区别

C和C++的关系:就像是win98跟winXP的关系。C++是在C的基础上增加了新的理论,玩出了新的花样。所以叫C加加。C和C++的区别:C是一个结构化语言,它的重点在于算法和数据结构。C程序的设计首要考虑的是如何通过一个过程,对输入(或环境条件)进行运算处理得到输出(或实现过程(事务)控制)。 C++,首要考虑的是如何构造一个对象模型,让这个模型能够契合与之对应的问题域,这样就可以通过获取...

2018-08-01 17:22:02

Celery 框架学习笔记

在学习Celery之前,我先简单的去了解了一下什么是生产者消费者模式。生产者消费者模式在实际的软件开发过程中,经常会碰到如下场景:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产生数据的模块,就形象地称为生产者;而处理数据的模块,就称为消费者。单单抽象出生产者和消费者,还够不上是生产者消费者模式。该模式还需要有一个缓冲区处于生...

2018-07-25 15:29:48

elasticsearch中 refresh 和flush区别

elasticsearch中refresh和flush区别elasticsearch中有两个比较重要的操作:refresh和flushrefresh操作当我们向ES发送请求的时候,我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es索引提交(commit)的过程,如果这个提交的过程直接将数据写入磁盘(fsync)必然会影响性能,所以es中设计...

2018-05-17 12:39:45

Elasticsearch 排序

elasticsearch聚合需字段”fielddata”:truehowtosetfielddata=trueinkibanahttps://stackoverflow.com/questions/38145991/how-to-set-fielddata-true-in-kibanaIamnewtoKibana,havedataloadedintoElastic...

2018-05-17 10:10:41

Protocol Buffer的C++入门教程

1.protobuf简介protobuf(ProtocolBuffers)是google的开源项目,官网见:click这里,源码见:github。更准确的官方描述是:protobuf是google的中立于语言,平台,可扩展的用于序列化结构化数据的解决方案。简单的说,protobuf是用来对数据进行序列化和反序列化。那么什么是数据的序列化和反序列化呢?见下文。protobuf支持目前主流的开发语...

2018-04-30 19:53:11

消息队列使用的四种场景介绍

消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景2.1异步处理场景说明:用户注册后,需要发注册邮件和注...

2018-04-30 15:12:24

今日头条 CEO 张一鸣:面试了 2000 个年轻人

正文  张一鸣算是80后中绝对的佼佼者。1983年出生的张一鸣,在2005年从南开大学毕业后,至今参与创办了5家公司,2013年,他先后入选《福布斯》“中国30位30岁以下的创业者”和《财富》“中国40位40岁以下的商业精英”,是目前国内互联网行业最受关注的青年领袖之一。2016年7月26日,艾瑞发布2016中国独角兽企业估值榜单,今日头条以92....

2018-04-30 14:33:30

Protobuf详解(.Java文件)

们在开发一些RPC调用的程序时,通常会涉及到对象的序列化/反序列化的问题,比如一个“Person”对象从Client端通过TCP方式发送到Server端;因为TCP协议(UDP等这种低级协议)只能发送字节流,所以需要应用层将Java对象序列化成字节流,数据接收端再反序列化成Java对象即可。“序列化”一定会涉及到编码(encoding,format),目前我们可选择的编码方式:  1)使用JS...

2018-04-02 10:17:42

图解Protobuf编码

Protobuf是Google发布的消息序列化工具。Protobuf定义了消息描述语法(proto语法)和消息编码格式,并且提供了主流语言的代码生成器(protoc)。本文仅讨论Protobuf消息编码格式,并且假定读者已经熟悉Protobuf消息描述语法(proto2或者proto3)。基本编码规则Protobuf消息由字段(field)构成,每个字段有其规则(rule)、数

2018-03-31 21:15:49

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!