追逐方向的风-CSDN博客

原创 Mysql递归查询

SELECTIFNULL(CONCAT('[',GROUP_CONCAT(CONCAT('{"catId":"',t.id,'","catName":"',t.name_ch,'","catLevel":',t.level,'}')),']'),"[]") AS companyCategoriesFROM(SELECT t2.id, t2.name_en,t2.name_ch,t2

2018-05-11 14:49:36 440

原文：https://www.cnblogs.com/lpfuture/p/5796398.html一致性Hash算法背景　　一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。　　但...

2018-04-11 14:53:42 332

转载伪共享（FalseSharing）

原文地址：http://ifeve.com/false-sharing/缓存系统中是以缓存行（cache line）为单位存储的。缓存行是2的整数幂个连续字节，一般为32-256个字节。最常见的缓存行大小是64个字节。当多线程修改互相独立的变量时，如果这些变量共享同一个缓存行，就会无意中影响彼此的性能，这就是伪共享。缓存行上的写竞争是运行在SMP系统中并行线程实现可伸缩性最重要的限制因素。有人将伪...

2018-03-31 14:59:38 425

转载 Redis提供的持久化机制（RDB和AOF）

转自：https://www.cnblogs.com/xingzc/p/5988080.htmlRedis提供的持久化机制　　　Redis是一种面向“key-value”类型数据的分布式NoSQL数据库系统，具有高性能、持久存储、适应高并发应用场景等优势。它虽然起步较晚，但发展却十分迅速。近日，Redis的作者在博客中写到，他看到的所有针对Redis的讨论中，对Redis持久化的误解是最大的，于...

2018-03-29 18:13:05 297

翻译段合并

由于自动刷新流程每秒会创建一个新的段，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。每一个段都会消耗文件句柄、内存和cpu运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所以段越多，搜索也就越慢。Elasticsearch通过在后台进行段合并来解决这个问题。小的段被合并到大的段，然后这些大的段再被合并到更大的段。段合并的时候会将那些旧的已删除文档从文件系统中清除。被...

2018-03-22 15:57:13 388

翻译持久化变更

如果没有用 fsync 把数据从文件系统缓存刷（flush）到硬盘，我们不能保证数据在断电甚至是程序正常退出之后依然存在。为了保证 Elasticsearch 的可靠性，需要确保数据变化被持久化到磁盘。在动态更新索引，我们说一次完整的提交会将段刷到磁盘，并写入一个包含所有段列表的提交点。Elasticsearch 在启动或重新打开一个索引的过程中使用这个提交点来判断哪些段隶属于当前分片。即使通过...

2018-03-22 15:40:39 256

翻译近实时搜索

随着按段（per-segment）搜索的发展，一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索，但这样还是不够快。磁盘在这里成为了瓶颈。提交（Commiting）一个新的段到磁盘需要一个 fsync 来确保段被物理性地写入磁盘，这样在断电的时候就不会丢失数据。但是 fsync 操作代价很大; 如果每次索引一个文档都去执行一次的话会造成很大的性能问题。我们需要的是一个...

2018-03-22 15:07:18 362

翻译动态更新索引

下一个需要被解决的问题是怎样在保留不变性的前提下实现倒排索引的更新？答案是: 用更多的索引。通过增加新的补充索引来反映新近的修改，而不是直接重写整个倒排索引。每一个倒排索引都会被轮流查询到--从最早的开始--查询完后再对结果进行合并。Elasticsearch 基于 Lucene, 这个 java 库引入了按段搜索的概念。每一段本身都是一个倒排索引，但索引在 Lucene 中除表...

2018-03-22 14:48:14 1565

翻译使文本可被搜索

必须解决的第一个挑战是如何使文本可被搜索。传统的数据库每个字段存储单个值，但这对全文检索并不够。文本字段中的每个单词需要被搜索，对数据库意味着需要单个字段有索引多值(这里指单词)的能力。最好的支持一个字段多个值需求的数据结构是我们在倒排索引章节中介绍过的倒排索引。倒排索引包含一个有序列表，列表包含所有文档出现过的不重复个体，或称为词项，对于每一个词项，包含了它所有曾出现过文档...

2018-03-22 14:13:14 257

翻译分片内部原理

在集群内的原理, 我们介绍了分片, 并将它描述成最小的工作单元_。但是究竟什么 _是一个分片，它是如何工作的？在这个章节，我们回答以下问题:为什么搜索是近实时的？为什么文档的 CRUD (创建-读取-更新-删除) 操作是实时的?Elasticsearch 是怎样保证更新被持久化在断电时也不丢失数据?为什么删除文档不会立刻释放空间？refresh, flush, 和 optimi...

2018-03-22 11:06:18 523

翻译索引别名和零停机

在前面提到的，重建索引的问题是必须更新应用中的索引名称。索引别名就是用来解决这个问题的！索引别名就像一个快捷方式或软连接，可以指向一个或多个索引，也可以给任何一个需要索引名的API来使用。别名带给我们极大的灵活性，允许我们做下面这些：在运行的集群中可以无缝的从一个索引切换到另一个索引给多个索引分组 (例如， last_three_months)给索引的一个子集创建视图在后面我们会讨论更多...

2018-03-22 11:02:40 296

翻译重新索引你的数据

尽管可以增加新的类型到索引中，或者增加新的字段到类型中，但是不能添加新的分析器或者对现有的字段做改动。如果你那么做的话，结果就是那些已经被索引的数据就不正确，搜索也不能正常工作。对现有数据的这类改变最简单的办法就是重新索引：用新的设置创建新的索引并把文档从旧的索引复制到新的索引。字段 _source 的一个优点是在Elasticsearch中已经有整个文档。你不必从源数据中重建索引，而且那样通...

2018-03-22 10:55:11 539

翻译缺省映射

通常，一个索引中的所有类型共享相同的字段和设置。 _default_ 映射更加方便地指定通用设置，而不是每次创建新类型时都要重复设置。 _default_ 映射是新类型的模板。在设置 _default_ 映射之后创建的所有类型都将应用这些缺省的设置，除非类型在自己的映射中明确覆盖这些设置。例如，我们可以使用 _default_ 映射为所有的类型禁用 _all 字段，而只在 blog 类型启用：P...

2018-03-22 10:44:52 289

翻译自定义动态映射

如果你想在运行时增加新的字段，你可能会启用动态映射。然而，有时候，动态映射规则可能不太智能。幸运的是，我们可以通过设置去自定义这些规则，以便更好的适用于你的数据。日期检测当 Elasticsearch 遇到一个新的字符串字段时，它会检测这个字段是否包含一个可识别的日期，比如 2014-01-01 。如果它像日期，这个字段就会被作为 date 类型添加。否则，它会被作为 string 类型添...

2018-03-22 09:20:47 537

翻译动态映射

当 Elasticsearch 遇到文档中以前未遇到的字段，它用 dynamic mapping 来确定字段的数据类型并自动把新的字段添加到类型映射。有时这是想要的行为有时又不希望这样。通常没有人知道以后会有什么新字段加到文档，但是又希望这些字段被自动的索引。也许你只想忽略它们。如果Elasticsearch是作为重要的数据存储，可能就会期望遇到新字段就会抛出异常，这样能及时发现问题。幸运的是可...

2018-03-21 17:46:58 310

翻译根对象

根对象映射的最高一层被称为根对象，它可能包含下面几项：一个 properties 节点，列出了文档中可能包含的每个字段的映射各种元数据字段，它们都以一个下划线开头，例如 _type 、 _id 和 _source设置项，控制如何动态处理新的字段，例如 analyzer 、 dynamic_date_formats 和dynamic_templates其他设置，可以同时应用在根对象和其他 obj...

2018-03-21 17:37:41 996

翻译类型和映射

类型在 Elasticsearch 中表示一类相似的文档。类型由名称 —比如 user 或 blogpost —和映射组成。映射, 就像数据库中的 schema ，描述了文档可能具有的字段或属性、每个字段的数据类型—比如 string, integer 或 date —以及Lucene是如何索引和存储这些字段的。类型可以很好的抽象划分相似但不相同的数据。但由于 Lucene 的处理...

2018-03-21 15:34:13 648

翻译自定义分析器

虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器。在分析与分析器我们说过，一个分析器就是在一个包里面组合了三种函数的一个包装器，三种函数按照顺序被执行:字符过滤器字符过滤器用来整理一个尚未被分词的字符串。例如，如果我们的...

2018-03-20 17:27:58 299

翻译配置分析器

第三个重要的索引设置是 analysis 部分，用来配置已存在的分析器或针对你的索引创建新的自定义分析器。在分析与分析器，我们介绍了一些内置的分析器，用于将全文字符串转换为适合搜索的倒排索引。standard 分析器是用于全文字段的默认分析器，对于大部分西方语系来说是一个不错的选择。它包括了以下几点：standard 分词器，通过单词边界分割输入的文本。standard 语汇单元过滤器...

2018-03-20 16:53:12 243

翻译索引设置

你可以通过修改配置来自定义索引行为，详细配置参照索引模块Elasticsearch 提供了优化好的默认配置。除非你理解这些配置的作用并且知道为什么要去修改，否则不要随意修改。下面是两个最重要的设置：number_of_shards每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。number_of_replicas每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置...

2018-03-20 16:41:00 624

翻译删除一个索引

用以下的请求来删除索引:DELETE /my_index你也可以这样删除多个索引：DELETE /index_one,index_twoDELETE /index_*你甚至可以这样删除全部索引：DELETE /_allDELETE /*对一些人来说，能够用单个命令来删除所有数据可能会导致可怕的后果。如果你想要避免意外的大量删除, 你可以在你的 elasticsearch.yml 做如下配...

2018-03-20 16:35:47 4149

翻译创建一个索引

到目前为止, 我们已经通过索引一篇文档创建了一个新的索引。这个索引采用的是默认的配置，新的字段通过动态映射的方式被添加到类型映射。现在我们需要对这个建立索引的过程做更多的控制：我们想要确保这个索引有数量适中的主分片，并且在我们索引任何数据之前，分析器和映射已经被建立好。为了达到这个目的，我们需要手动创建索引，在请求体里面传入设置或类型映射，如下所示：PUT /my_index{ "...

2018-03-20 16:04:20 478

翻译游标查询scroll

scroll 查询可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。游标查询允许我们先做查询初始化，然后再批量地拉取结果。这有点儿像传统数据库中的 cursor 。游标查询会取某个时间点的快照数据。查询初始化之后索引上的任何变化会被它忽略。它通过保存旧的数据文件来实现这个特性，结果就像保留初始化时的索引视图一样。深度分页的代价根源是结果...

2018-03-20 15:49:51 928

翻译搜索选项

有几个查询参数可以影响搜索过程。偏好偏好这个参数 preference 允许用来控制由哪些分片或节点来处理搜索请求。它接受像 _primary,_primary_first, _local, _only_node:xyz, _prefer_node:xyz, 和 _shards:2,3 这样的值, 这些值在search preference 文档页面被详细解释。但是最有用的值是某些随机字符串...

2018-03-20 15:38:51 1063

转载取回阶段

查询阶段标识哪些文档满足搜索请求，但是我们仍然需要取回这些文档。这是取回阶段的任务分布式阶段由以下步骤构成：协调节点辨别出哪些文档需要被取回并向相关的分片提交多个 GET 请求。每个分片加载并丰富文档，如果有需要的话，接着返回文档给协调节点。一旦所有的文档都被取回了，协调节点返回结果给客户端。协调节点首先决定哪些文档确实需要被取回。例如，如果我们的查询指定了 { "from": 90, ...

2018-03-20 15:21:21 177

翻译查询阶段

在初始查询阶段时，查询会广播到索引中每一个分片拷贝（主分片或者副本分片）。每个分片在本地执行搜索并构建一个匹配文档的 _优先队列_。优先队列一个优先队列仅仅是一个存有 top-n 匹配文档的有序列表。优先队列的大小取决于分页参数 from 和 size 。例如，如下搜索请求将需要足够大的优先队列来放入100条文档。GET /_search{ "from": 90, "...

2018-03-20 15:07:04 279

转载 Redis 集群搭建详细指南

转自：https://www.cnblogs.com/mafly/p/redis_cluster.htmlRedis 集群搭建详细指南先有鸡还是先有蛋？最近有朋友问了一个问题，说毕业后去大城市还是小城市？去大公司还是小公司？我的回答都是大城市！大公司！为什么这么说呢，你想一下，无论女孩男孩找朋友都喜欢找个子高胸大的。同样的道理嘛，「大」总有大的好。当然，如果你要有能力找一个胸大个子高就更完美了。R...

2018-03-19 17:39:42 195

转载 Kafka消息阻塞

转自:http://jis117.iteye.com/blog/2279519hi all：大家都很关心kafka消息阻塞的情况（感谢RoctetMQ给我们的教训）。Kafka上线也有一段时间了，确实有出现过消息阻塞的情况，虽然不影响业务而且用临时办法解决了，但是我觉得可以跟大家总结一下。为了不引起大家的恐慌，我决定先把结论写出来：comsumer 非正常的rebalancing（...

2018-03-01 10:38:29 9789

转载 Java并发编程中Semaphore的用法

转自：http://blog.csdn.net/sinat_36246371/article/details/53872412Semaphore又称信号量，是操作系统中的一个概念，在Java并发编程中，信号量控制的是线程并发的数量。public Semaphore(int permits)1其中参数permits就是允许同时运行的线程数目;下面先看一个信号量实现单线程的例子，也就是permits=...

2018-03-01 10:22:35 241

翻译执行分布式检索

在继续之前，我们将绕道讨论一下在分布式环境中搜索是怎么执行的。这比我们在分布式文档存储章节讨论的基本的增-删-改-查 (CRUD)请求要复杂一些。一个 CRUD 操作只对单个文档进行处理，文档的唯一性由 _index, _type, 和 routing values （通常默认是该文档的 _id ）的组合来确定。这表示我们确切的知道集群中哪个分片含有此文档。搜索需要一种更加复杂的执行模型...

2018-02-28 17:11:12 296

翻译 Doc Values介绍

本章的最后一个话题是关于 Elasticsearch 内部的一些运行情况。在这里我们先不介绍新的知识点，所以我们应该意识到，Doc Values 是我们需要反复提到的一个重要话题。当你对一个字段进行排序时，Elasticsearch 需要访问每个匹配到的文档得到相关的值。倒排索引的检索性能是非常快的，但是在字段值排序时却不是理想的结构。在搜索的时候，我们能通过搜索关键词快速得到结果集。当排序的时候...

2018-02-28 16:54:48 339

翻译什么是相关性

我们曾经讲过，默认情况下，返回结果是按相关性倒序排列的。但是什么是相关性？相关性如何计算？每个文档都有相关性评分，用一个正浮点数字段 _score 来表示。 _score 的评分越高，相关性越高。查询语句会为每个文档生成一个 _score 字段。评分的计算方式取决于查询类型不同的查询语句用于不同的目的： fuzzy 查询会计算与关键词的拼写相似程度，terms 查询会计算找到的内容与关键...

2018-02-28 16:50:15 9978

翻译字符串排序与多字段

被解析的字符串字段也是多值字段，但是很少会按照你想要的方式进行排序。如果你想分析一个字符串，如 fine old art ，这包含 3 项。我们很可能想要按第一项的字母排序，然后按第二项的字母排序，诸如此类，但是 Elasticsearch 在排序过程中没有这样的信息。你可以使用 min 和 max 排序模式（默认是 min ），但是这会导致排序以 art 或是 old ，任何一个都不是所希望...

2018-02-28 15:55:28 184

翻译排序

为了按照相关性来排序，需要将相关性表示为一个数值。在 Elasticsearch 中，相关性得分由一个浮点数进行表示，并在搜索结果中通过 _score 参数返回，默认排序是 _score 降序。有时，相关性评分对你来说并没有意义。例如，下面的查询返回所有 user_id 字段包含 1 的结果：GET /_search{ "query" : { "bool" : {...

2018-02-28 14:40:46 178

翻译请求体查询-验证查询

查询可以变得非常的复杂，尤其和不同的分析器与不同的字段映射结合时，理解起来就有点困难了。不过 validate-query API 可以用来验证查询是否合法。GET /gb/tweet/_validate/query{ "query": { "tweet" : { "match" : "really powerful" } }}以上 va...

2018-02-28 13:44:13 205

翻译请求体查询-组合多查询

组合多查询现实的查询需求从来都没有那么简单；它们需要在多个字段上查询多种多样的文本，并且根据一系列的标准来过滤。为了构建类似的高级查询，你需要一种能够将多查询组合成单一查询的查询方法。你可以用 bool 查询来实现你的需求。这种查询将多查询组合在一起，成为用户自己想要的布尔查询。它接收以下参数：must文档必须匹配这些条件才能被包含进来。must_not文档必须不匹配这些条件才能被包含进来...

2018-02-28 12:07:44 202

翻译请求体查询-最重要的查询

虽然 Elasticsearch 自带了很多的查询，但经常用到的也就那么几个。我们将在深入搜索章节详细讨论那些查询的细节，接下来我们对最重要的几个查询进行简单介绍。match_all查询match_all 查询简单的匹配所有文档。在没有指定查询方式时，它是默认的查询：{ "match_all": {}}它经常与 filter 结合使用--例如，检索收件箱里的所有邮件。所有邮件被认为具有相同的...

2018-02-28 11:25:37 272

翻译请求体查询-查询与过滤

Elasticsearch 使用的查询语言（DSL）拥有一套查询组件，这些组件可以以无限组合的方式进行搭配。这套组件可以在以下两种情况下使用：过滤情况（filtering context）和查询情况（query context）。当使用于过滤情况时，查询被设置成一个“不评分”或者“过滤”查询。即，这个查询只是简单的问一个问题：“这篇文档是否匹配？”。回答也是非常的简单，yes 或者 no ，...

2018-02-28 11:07:41 371

翻译请求体查询-查询表达式

查询表达式(Query DSL)是一种非常灵活又富有表现力的查询语言。 Elasticsearch 使用它可以以简单的 JSON 接口来展现 Lucene 功能的绝大部分。在你的应用中，你应该用它来编写你的查询语句。它可以使你的查询语句更灵活、更精确、易读和易调试。要使用这种查询表达式，只需将查询语句传递给 query 参数：GET /_search{ "query": YOUR_QU...

2018-02-28 10:28:01 365

翻译请求体查询-空查询

让我们以最简单的 search API 的形式开启我们的旅程，空查询将返回所有索引库（indices)中的所有文档：GET /_search{} 这是一个空的请求体。只用一个查询字符串，你就可以在一个、多个或者 _all 索引库（indices）和一个、多个或者所有types中查询：GET /index_2014*/type1,type2/_search{}同时你可以使用 from 和 ...

2018-02-28 10:19:19 245

sense(bate)-0.9.4

svnkit工具包

空空如也