- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 minio快速搭建
minio快速搭建1.部署minio服务器（单机版）#端口号是9000，数据存放在/mnt/data上，MINIO_ACCESS_KEY是账号，MINIO_SECRET_KEY是密码docker run -p 9000:9000 --name minio1 \ -e "MINIO_ACCESS_KEY=AKIAIOSFODNN7EXAMPLE" \ -e "MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \ -v /mn
2021-11-04 19:50:11
359
2
原创 hugeGraph查询语句
语法参考：http://tinkerpop-gremlin.cn/HugeGraph支持Apache TinkerPop3的图形遍历查询语言Gremlin。 SQL是关系型数据库查询语言，而Gremlin是一种通用的图数据库查询语言，Gremlin可用于创建图的实体（Vertex和Edge）、修改实体内部属性、删除实体，也可执行图的查询操作。Gremlin可用于创建图的实体（Vertex和Edge）、修改实体内部属性、删除实体，更主要的是可用于执行图的查询及分析操作。举例说明：g.V().h.
2021-01-29 17:17:28
1758
原创 hugegraph使用
hugegraph使用1 概述HugeGraph-Server 是 HugeGraph 项目的核心部分，包含Core、Backend、API等子模块。Core模块是Tinkerpop接口的实现，Backend模块用于管理数据存储，目前支持的后端包括：Memory、Cassandra、ScyllaDB以及RocksDB，API模块提供HTTP Server，将Client的HTTP请求转化为对Core的调用。文档中会大量出现HugeGraph-Server及HugeGraphServer这两种写法，
2021-01-29 17:16:34
1074
原创 搜索排序
https://www.elastic.co/guide/en/elasticsearch/reference/7.8/sort-search-results.htmlAllows you to add one or more sorts on specific fields. Each sort can be reversed as well. The sort is defined on a per field level, with special field name for _score t.
2021-01-29 17:15:43
339
原创 服务器时间同步
查看时间date -R安装ntpdateyum install ntpdate同步时间ntpdate ntp1.aliyun.com
2021-01-29 17:14:29
96
原创 过滤搜索结果
https://www.elastic.co/guide/en/elasticsearch/reference/7.8/filter-search-results.html您可以使用两种方法来过滤搜索结果：使用带有filter子句的布尔查询。搜索请求将 boolean_filter应用于搜索匹配和 [聚合]。使用搜索API的post_filter参数。搜索请求仅将post_filter应用于搜索匹配，而不应用于汇总。您可以使用后置过滤器根据更广泛的结果集计算聚合，然后进一步缩小结果范围。.
2021-01-29 17:12:54
543
原创 分页搜索
参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/paginate-search-results.html默认情况下搜索API返回前10个匹配的文档。To paginate through a larger set of results, you can use the search API’s size and from parameters. The size parameter is the number of mat.
2021-01-29 17:12:20
395
原创 ES重建文档索引（reindex）
在很多情况下es建好后的索引会应为各种情况需要重建索引比如：字段的删除和修改、分词器中加入了新词等，这时候我们需要重新索引文档。新建一个索引PUT /patent_v1{ "mappings": { "properties": { "@timestamp": { "type": "date" }, "@version": { "type": "text", "index": false },
2021-01-29 17:11:08
1030
原创 ElasticSearch纠错和自动补全
ElasticSearch纠错和自动补全建立映射PUT /suggest{ "mappings": { "properties": { "suggest": { "type": "completion" } } }}先建立一个mapping,注意类型"type": "completion"添加一些数据POST /suggest/_doc{ "suggest":"数据"}POST /suggest/_doc{
2021-01-29 17:04:11
1525
原创 nginx根据ip跳转页面
场景: 1. 当有新服务或页面上线，需要进行线上测试，但不能影响用户，可以选择对开发部门的ip进行跳转到新的地址 2. 服务器维护需要对开发以外的ip跳转到维护的提示页 3. 针对不同地区的ip展示不同的首页效果（需要geoip模块配合）可以通过使用过下面的配置实现上述场景location / { if ($remote_addr ~* "223.93.188.66"){...
2018-06-23 15:38:16
10069
原创 filebeat 多行日志的处理
vim /usr/local/filebeat/filebeat.ymlmultiline: pattern: '^[0-2][0-9]:[0-5][0-9]:[0-5][0-9]' negate: true match: after上面配置的意思是：不以时间格式开头的行都合并到上一行的末尾（正则写的不好，忽略忽略） pattern：正则表达式 negate...
2018-06-19 11:58:15
7043
原创 elasticsearch 更新部分文档
在id后面跟_update 参数 方法要使用postupdate 请求最简单的一种形式是接收文档的一部分作为 doc 的参数， 它只是与现有的文档进行合并。对象被合并到一起，覆盖现有的字段，增加新的字段,保留其他已有内容。doc：{ ...}例如POST /website/blog/1/_update{ "doc" : { "aa" :"bbb...
2018-06-19 11:01:36
1307
原创 nginx设置成服务并开机自动启动
在/etc/init.d下创建文件nginxvim /etc/init.d/nginx其内容参考nginx官方文档 需要注意的配置：nginx=”/usr/local/nginx/sbin/nginx” #修改成nginx执行程序的路径。NGINX_CONF_FILE=”/usr/local/nginx/conf/nginx.conf” #修改成nginx.conf文件的路...
2018-06-19 10:51:40
8738
3
原创 elasticsearch post和put区别
区别post和put都能起到创建/更新的作用PUT /website/blog/123{ ... }POST /website/blog/123{ ... }需要注意的是==PUT==需要对一个具体的资源进行操作也就是要确定id才能进行==更新/创==建，而==POST==是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行==创建==新文档，如果...
2018-06-19 10:46:02
1500
原创 elasticsearch 6.x 集群搭建
1.环境准备ECS1：内网IP 10.122.70.89 ECS2：内网IP 10.122.70.144ECS3：内网IP 10.122.70.1582.安装ES参看前文3.集群配置这里配置和单机的有些不同#集群的名称 cluster.name: es6.2 #节点名称,其余两个节点分别为node-2 和node-3 node.name: n...
2018-05-24 13:48:39
2476
原创 logstash收集时filebeat区分日志
1.场景filebeat在服务器中同时收集nginx和web项目日志，需要对两个日志在logstash中分别处理2.版本区别==6.x之前==的可以使用filebeat的prospectors里面配置document_type类型，然后在logstash里面使用if [type] == “string” 来匹配，这里不做详细记录 ==6.x之后==配置文件不支持document_...
2018-05-21 17:49:49
6348
2
原创 elasticsearch简单使用
1. 创建索引文档PUT /megacorp/employee/1{ "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests
2018-05-21 16:48:54
173
原创 filebeat收集日志
安装wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz2.配置tar xzvf filebeat-6.2.3-linux-x86_64.tar.gzcd filebeat-6.2.3-linux-x86_64 vim filebeat....
2018-05-21 16:47:46
1527
原创 MongoDB 查询和映射操作符介绍
比较操作符 Name Description $eq 匹配等于指定值的值 $gt 匹配大于指定值的值 $gte 匹配大于或等于指定值的值 $lt 匹配小于指定值的值 $lte 匹配小于或等于指定值的值 $ne 匹配不等于指定值的所有值 $in 匹配数组中指定的任何值 $nin 不匹配数组中指定的值逻辑操作符 Name D
2018-04-21 14:30:38
760
原创 MongoDB使用
MongoDB和关系型数据库的区别 SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins
2018-04-20 16:35:20
125
原创 logstash配置
input文件输入file { type => "nginxaccess" #路径 path => "/usr/local/nginx/logs/access.log" #开始位置 start_position => "beginning" }filter过滤器插件-grok1. 安装bi...
2018-03-30 14:27:41
619
原创 logstash安装
1. 安装wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gztar -xvzf logstash-6.2.3.tar.gz2. 配置创建配置文件vim conf/logstash.conf最基本的配置#输入input { #标准输入 std...
2018-03-30 14:26:27
285
原创 elasticsearch安装
1. 安装wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gztar -xvzf elasticsearch-6.2.3.tar.gz使用非root账号运行adduser espasswd es然后输入密码 创建成功后chown -R es:e...
2018-03-30 14:25:32
397
原创 nginx浏量监控利器-GoAccess
直接进入正题：如何配置一个向下图一样的流量监控工具配置前提linux系统网站使用nginx作为服务器爱学习 ：）环境搭建yum install glib2 glib2-devel GeoIP-devel ncurses-devel libncursesw5-dev libssl-dev最后那个是https用的包，网站是http的可以不装下载GoAccesswget http://tar.goacc...
2018-03-30 14:23:56
863
原创 使用python爬虫（一）
先简单的讲下爬虫的业务逻辑：访问网站获取内容的目录页面获取总页数解析目录页面并提取每个url地址重复第4步直到把每一页的URL都获取访问获取的url进入详情页解析详情页并记录需要的数据重复第7步直到把所有详情页爬去完初步逻辑就是这样这是最理想的情况，这里没有考虑反爬虫情况。下面讲讲我自己怎么用python爬虫首先是python的环境搭建，我现在使用的是2.7版...
2017-11-24 13:09:27
281
原创 mysql权限分配
为数据安全考虑需要为数据库分配权限，创建账户并赋予赋予权限：grant all privileges on *.* to ‘test‘@'localhost' identified by "passsword" with grant option;grant 表示赋予权限all privileges 表示所有权限（具体权限参考下表）. 表示什么数据库什么表test@localhost 允许test在
2017-10-14 14:31:30
950
原创 CentOS下Nginx的HTTPS配置
在前面的博客里也到了nginx的安装，现在需要给网站添加安全证书的达到可以实现https请求的功能。1.首先我们需要一个证书可以使用自签名的证书（如何自签可以网上搜索下），虽然可以使用但不会被chrome，firefox，Safari等浏览器认可。也可以去网上购买证书，加个几百元到上万元不等可以自行选择合适价位的证书，不过我在阿里云的购买证书上发现了赛门铁克的0元dv ssl可以使用一年，初次使用推
2017-10-14 14:27:01
4065
原创 mysql插入前判断数据是否存在
业务场景：需要记入访客的访问情况，但不能重复记入可以插入前进行判断要插入的数据是否存在业务代码如下 ：INSERT INTO t_topic_vistor(user_id,topic_code) SELECT '218', 'XQ33019920170811142528217' FROM DUAL WHERE NOT EXISTS(SELECT * FROM t_topic_vistor WHERE
2017-10-14 14:25:22
17149
1
原创 nginx的日志切割
nginx的日志不会每天自动分割日志文件，导致日志文件会越来大，不方便开发人员阅读日志。所以需要对日志进行切割先写一个sh文件，我写在nginx目录下vim /usr/local/nginx/cut_nginx_log.sh 给sh文件执行的权限chmod a+x cut_nginx_logs.sh具体内容如下 #!/bin/bash#此脚本用于自动分割Nginx的日志，包括access.log和
2017-10-14 14:24:25
489
原创 CentOS下Nginx的安装和配置
第一步：先确保系统已经安装了gcc-c++、pcre、zlib、openssl如果没有装的话可以使用下面的命令，都转装一下yum install gcc-c++ yum install pcre pcre-devel yum install zlib zlib-devel yum install openssl openssl--devel 第二步：检查有没有安装过nginxfind
2017-10-14 14:20:49
383
echart地图完整json文件（包含对应城市编码）
2018-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人