3 Ayhan_huang

尚未进行身份认证

Die Nacht ist dunkel und voller Schrecken.

等级
TA的排名 2w+

elasticsearch部署

推荐到官网下载ES源码的打包,个人觉得比起通过yum等包管理工具安装更灵活,且方便管理,比如目录自主可控,便于配置安装插件更方便同义词等词库词库维护##ES长期运行推荐使用进程管理工具来运行ES,这里使用supervisor,将es作为supervisor的子进程运行。配置supervisord[supervisord]; ....nodaemon=false ...

2019-08-27 11:15:36

倒排索引、分词、同义词

倒排索引正排索引:文档ID =>文档内容和单词倒排索引:词条 =>文档ID倒排索引组成:词条字典(Term Dictionary),记录所有的词条与倒排列表的映射关系。这个字典很大,通过B+树或哈希拉链法实现,以满足高性能的插入与查询。倒排列表(Posting List),由倒排索引项组成,包含如下信息:文档ID词频(TF):该单词在文档中出现的次数,用于相关性评分...

2019-08-27 11:14:41

Mapping

mapping是定义文档及其字段是如何存储和索引的程序。例如,使用mapping定义:哪个字符串字段应该视为全文字段哪个字段包含数字,日期,或地理位置日期的格式自定义规则来控制动态添加字段mapping type每个索引都有mapping type来决定文档如何被索引。mapping type包含:meta-fields: 比如_index, _type, _id, _sou...

2019-08-27 11:14:05

Search API

Search搜索条件可以通过查询字符串,也可以在请求体中传递。搜索接口支持从多个索引中查找文档vj。基本格式:# 单索引内检索文档GET /{index}/_search?q={field}:xxx# 多索引内检索文档GET /{index1, index2}/_search?q={field}: xxx# 全部索引内检索文档GET /_all_/_search?q={fie...

2019-08-27 11:13:13

Query DSL

"ES提供了基于JSON的查询DSL,它由两种语句组成:叶子查询(Leaf Query):查询特定字段的特定值,比如match, term, range查询,这些查询可以单独使用。复合查询(Compound Query):复合查询包装其他叶子查询和复合查询,以逻辑运算的方式(比如bool,dis_max查询)连接多个查询,或更改它们的行为(比如,constant_score查询)依据它们...

2019-08-27 11:12:32

Document API

Index APIindex api用来新增文档,支持如下几种方式:# 指定id创建,如果id已存在,则会进行更新,`_version` + 1PUT {index}/_doc/{id}# 强制创建,如果id已经存在,409错误(以下二者等价)PUT {index}/_doc/{id}?op_type=createPUT {index}/_create/{id}# POST创建,...

2019-08-27 11:11:56

基本概念

基本概念文档(Document)es是面向文档的,文档是所有可搜索数据的最小单位文档会被序列化为JSON格式,保存在es中每个文档都有一个Unique ID可以自己指定也可以由es自动生成示例{ "year": 1995, "@version": "1", "genre": [ "Adventure", "Animation", ...

2019-08-27 11:11:10

介绍及安装

介绍及安装ES版本问题:2015:2.02016:5.0Lucene 6.X2017:6.0Lucene 7.X2019:7.0Lucene 8.0python客户端对以上各版本都提供了支持:elasticsearch-py:低层库,只提供了Elasticsearch REST API的简单封装。个人更推荐这种原生一点的方式。https://...

2019-08-27 11:10:13

PYMODM使用记录

PYMODM使用TIPSListField存储其他文档的引用列表时,可以这样定义:class MongoPaper(MongoModel): """mongo试卷""" paper_id = fields.IntegerField(verbose_name='sql试卷pk', primary_key=True) outlines = fields.ListFiel...

2019-05-09 16:50:32

MongoDB聚合

聚合操作处理数据并返回计算后的结果。它将来自多个文档的值组合在一起,并且可以对分组数据执行各种操作以返回单个结果。MongoDB提供了三种执行聚合的方式:聚合管道、map-reduce函数、和单用途聚合方法。聚合管道MongoDB的聚合基于管道的概念。文档进入一个多段管道,被转化为聚合后的结果。最基本的管道阶段提供过滤器(filters)进行查询和文档转换(修改文档的输出格式)。其他管道提供...

2019-05-09 16:49:52

开启docker中MongoDB的认证授权

开启docker中MongoDB的认证授权思路开启MongoDB服务后,默认是没有权限验证的。直接通过IP加端口就可以远程访问数据库,并对数据库进行任意操作。下面介绍一下如何开启docker中MongoDB的权限认证。安装完MongoDB服务后默认有一个admin数据库,此时admin数据库是空的,没有记录任何权限相关的信息。当admin.system.users一个用户都没有时,即使Mon...

2019-04-12 18:56:03

MongoDB数据建模介绍

MongoDB数据建模介绍数据建模需要在满足应用需求、数据库引擎的性能特征、以及数据检索模式之间取得平衡。在设计数据模型时,请始终考虑应用程序对数据的使用场景(比如,查询,更新,和数据处理)以及数据本身的结构。灵活的模型不同于SQL数据库,插入数据前必须声明表的模型。默认情况下,MongoDB的集合不要求其文档具有相同的模型:单个集合内的文档不必拥有相同的字段,并且字段的数据类型也可以不...

2019-04-02 12:20:32

mongo数据库CRUD

#准备从官网下载合适的安装包。这里以win10为例,一路next即可完成安装。安装完成后,进入这个目录:C:\Program Files\MongoDB\Server\4.0\bin\在当前目录打开PowerShell窗口,先启动服务端: .\mongod.exe服务端默认在本地的27017端口运行。启动客户端: .\mongo.exe将默认连接本地27017端口的服务端,并...

2019-04-02 12:19:55

JS杂记

JS 杂记'use strict' JS文件行首声明,防止变量未声明成为全局变量// 对象内部定义的函数称为方法,其中this关键字代指对象本身// 如果不通过对象调用方法,那么this代指window,如果在'strict'模式下,this代指'undefined'ES6 模板字符串// 需要放到 反引号 中才有效哦;另外 反引号 可以支持多行文本var name = '小...

2019-01-23 18:49:00

CPU使用率

CPU使用率概念将CPU的时间划分为时间片,轮流执行任务,就达到了多任务同时运行的效果。CPU时间通过节拍率和节拍数来维护。节拍率单位是HZ,分为内核节拍率和用户节拍率,其中用户节拍率的值是固定的100(即1/100秒,10ms),每秒钟触发100次时间中断,没发生一次时间中断,节拍数加1通过/proc虚拟文件系统,用户可以查看系统内部状态的信息,其中/proc/stat,可以查看系统CPU...

2019-01-22 20:40:47

平均负载及CPU上下文切换

平均负载平均负载是指单位时间内,系统处于 可运行状态 和 不可中断状态 的平均进程数。简单理解,就是平均活跃进程数。可运行状态:进程正在或等待使用CPU不可中断状态:进程正在等待硬件设备的I/O,是系统对进程和硬件设备的一种保护机制。最理想的情况是,每个CPU上刚好运行着1个进程,也就是平均负载等于CPU的个数。假如平均负载是2,那么意味着:...

2019-01-11 09:57:46

Falcon 快速开始

介绍当您的目标是构建快速、可扩展的REST风格API微服务时, Falcon 是个不错的选择。这是一个可靠的、高性能的Python Web框架,用于构建大规模应用后端和微服务。Falcon鼓励REST架构风格的 URI到资源的映射,以花费尽可能少的精力同时又保持高效。Falcon重点关注四个方面:速度、可靠性、灵活性和可调试性。它通过"响应者(responder)" (诸如 on_get(...

2019-01-10 06:19:19

supervisor进程管理工具

Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具,可以很方便的用来启动、重启、关闭进程(不仅仅是 Python 进程)。除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。安装和配置通过pip或a

2018-01-10 14:40:08

Docker的简单使用

Docker介绍Docker的英文本意是“搬运工”,Docker搬运的是集装箱(Container)可以成为容器,我们可以把WEB应用以及依赖库打包进一个可移植的容器里传播,解决了应用部署的平台兼容性问题,同时她也是一种轻量级的虚拟化技术可以做到秒级启动一个容器(类似小虚拟机,区别启动快、可以传播);镜像是docker 创建、启动一个容器的文件系统,这个文件系统包含依赖包、命令工具、APP等;安装和

2018-01-02 17:31:26

MySQL存储引擎:MyISAM & InnoDB

存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。

2017-12-25 16:59:14

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。