3 尘光掠影

尚未进行身份认证

摒弃洋洋洒洒、长篇大论的博客,用最简洁的代码,讲清楚最复杂的道理~

等级
博文 162
排名 1w+

ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为字符串

简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2.数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3.Elasticsearch和Logstash版本:5.6.1;4.GeoPoint地理位置信息可以使用三种数据格式表示:(1)以半角逗号分割的字符串形式表示——"lat,lon...

2019-06-18 11:10:32

ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为数组

简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2.数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3.Elasticsearch和Logstash版本:5.6.1;4.GeoPoint地理位置信息可以使用三种数据格式表示:(1)以半角逗号分割的字符串形式表示——"lat,lon...

2019-06-18 10:15:21

ELK生态:Logstash通过sql导入地理坐标到ES,数据格式为对象

简介1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch;2.数据源:mysql数据表,数据表含地理坐标——lon(经度),lat(纬度);3.Elasticsearch和Logstash版本:5.6.1;4.GeoPoint地理位置信息可以使用三种数据格式表示:(1)以半角逗号分割的字符串形式表示——"lat,lon...

2019-06-17 20:32:25

ELK生态:Logstash读取json格式文件数据,导入到Elasticsearch

简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:json格式文件,内容为json; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践json文件内容:{"name":"sixmonth","age":"23","sex":"男","address":"深圳...

2019-06-17 15:38:43

ELK生态:Logstash增量读取log文件数据,导入到Elasticsearch

简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:log格式文件,内容为log日志; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践log文件内容:01-Apr-201908:17:04.787SEVERE[ajp-nio-8009-exec-7]...

2019-06-17 11:07:43

ELK生态:Logstash增量读取txt文件数据,导入到Elasticsearch

简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:txt格式文件,内容为json或json数组; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践txt文件内容:[{"name":"sixmonth","sex":"男"},{"name":"xiaoming...

2019-06-14 19:28:44

ELK生态:Logstash增量读取csv文件数据,导入到Elasticsearch

简介ELK生态之Logstash导入数据到Elasticsearch; 数据源:csv格式文件; Elasticsearch和Logstash版本:5.6.1; 前提环境:Elasticsearch单机或集群;Logstash客户端;实践csv文件内容:"sixmonth","23","男","1998/6/318:31:46""xiaoming","23","男","19...

2019-06-14 19:12:53

ELK生态:linux系统安装和配置logstash数据导入工具

简介上一篇博客讲到了elasticsearch搜索引擎的管理工具kibana的安装和配置,那么本篇博客将会具体介绍数据导入工具logstash的安装和配置;Logstash是一款强大的数据处理工具,它可以实现多样化的数据源数据全量或增量传输,数据标准格式处理,数据格式化输出等的功能,常用于日志处理。工作流程分为三个阶段:input数据输入阶段,可接收oracle、mysql、postg...

2019-06-14 15:49:47

ELK生态:linux系统安装和配置kibana管理工具

简介Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据; 使用Kibana,可以通过各种图表进行高级数据分析及展示,是对elasticsearch搜索引擎进行有效管理的工具;实践上一篇博客,我们已经对elasticsearch在linux系统上安装进行了详细的说明,那么es运行起来之后,我们需要选择一种...

2019-06-14 15:07:09

ELK可视化管理工具之:kibana常用操作命令

简介ELK是三个开源软件的缩写,分别表示:Elasticsearch、Logstash和Kibana,这里主要讲述kibana的基本操作命令;实践1.9200访问索引库2.9100访问非官方管理工具3.5601访问kibana管理工具//删除库DELETEtestindex//新建库PUTtestindex//新建表PUTtestindex/testt...

2019-05-27 10:17:31

java开发代码工具类(时间戳/随机数/日期等)

简介java开发代码工具类,提高开发效率,持续更新~实践packagecom.springboot.sixmonth.common.util;importjava.math.BigInteger;importjava.net.InetAddress;importjava.net.UnknownHostException;importjava.security.Mes...

2019-05-23 14:36:34

Linux下Redis的安装和部署

一、Redis介绍Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统。和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。在此基础上,Redis支持各种不同方式的排序。 ...

2019-05-23 10:41:19

nginx域名反向代理配置(https/负载均衡):nginx.conf

简介nginx域名反向代理,整合http和https,同时实现iphash的负载均衡配置; 本篇博客展示nginx的配置文件nginx.conf的详细配置;实践#usernobody;worker_processes1;events{worker_connections1024;}http{includemime.typ...

2019-05-23 10:17:32

Nginx安装手册

前提是搭建yum安装环境,见前面的教程资料nginx安装环境nginx是C语言开发,建议在linux上运行,本教程使用Centos6.5作为安装环境。gcc安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc:yuminstallgcc-c++PCREPCRE(PerlCompatibleRegularExp...

2019-05-23 10:06:08

Hadoop之HDFS常用文件操作命令

命令基本格式hadoopfs-cmd<args>ls  列出hdfs文件系统根目录下的目录和文件hadoopfs-ls/dirhadoopfs-ls-R/dir--列出hdfs文件系统所有的目录和文件 puthadoopfs-put<localfile><hdf...

2019-05-22 10:57:09

spark与hadoop集成详解

我们经常被问到如何让spark集成到hadoop生态系统中,如何让spark在现有的hadoop集群中运行,本文的目的就是来回答上述问题。1,spark主要用于提高而不是取代hadoop栈,从一开始spark就被设计从hdfs中读取存储数据,类似于其他的存储系统,例如Hbase,AmazonS3等,因此,hadoop用户可以通过结合spark来提高hadoopMR,Hbase及其他大...

2019-05-21 09:48:30

2分钟读懂大数据框架 Hadoop 和 Spark 的异同

简介谈到大数据,相信大家对Hadoop和ApacheSpark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和ApacheSpark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:它将巨大的数据集分派到一个由...

2019-05-21 09:30:12

SpringBoot多数据源配置(hive/mysql)

简介在项目实践中,同一个项目可能需要整合多种数据源,把分散到各个数据库、数据表的数据都查询统计出来; SpringBoot有默认的数据源配置,本篇博客将整合SpringBoot多数据源配置,包括mysql、hive等,通过jdbctemplate或mybatis进行使用; 版本配置(版本可自行选择,这里是博主的测试版本):jdk1.8,springboot1.5.9,hive2.1.1,h...

2019-05-20 11:00:42

Hadoop大数据生态:SpringBoot整合hive,使用spring的jdbcTemplate操作Hive

简介使用开发工具连接hive客户端,整合SpringBoot与Hive的连接,同时进行数据的增删查改; 创建hive连接,放入druid数据库连接池,自动注入jdbctemplate; 开发前提:已经安装hive客户端,可参考博客:阿里云ECS7安装搭建:hive-2.1.1客户端; 版本配置:hadoop2.7.6,hive1.3.3;实践1.首先,pom文件加入hive依赖;...

2019-05-18 14:39:19

Hadoop大数据生态:Hive自定义设置连接用户名和密码

简介当hive客户端搭建起来之后,应用项目远程连接hive需要设置用户名和密码; 由于hive默认的用户名和密码都是空的,所以需要我们自定义用户名和密码;实践首先,需要先用java开发工具打包一个jar工具类,用于解析用户名和密码,可直接下载这个jar工具包:hiveAuth.jar; 也可以自行通过编写代码进行打jar包,代码如下:packageorg.apache.hado...

2019-05-17 19:17:38
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。