8 超级侠哥

尚未进行身份认证

暂无相关描述

等级
TA的排名 1w+

Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)

之前的Spark实时流处理的数据处理程序,要求把数据从kafka接收之后,分2路分别写入kafka和hdfs,写入kafka的部分之前已经有过总结,现在回过头来把之前的写入HDFS的地方重新总结一下,整个过程从头到尾有一个写入方式的优化,不过时间有点长啦,尽量描述完整(˘³˘)♥。注意:本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中,需要将从kaf...

2019-08-15 19:59:02

Kibana7.3.0试用

1.安装ElasticSearch7.3.0安装步骤参看:https://blog.csdn.net/znb769525443/article/details/994729622.安装kibana-7.3.0-linux-x86_64下载链接:https://www.elastic.co/cn/downloads/kibana3.配置和启动vimconfig/kibana....

2019-08-13 22:44:19

ElasticSearch7.3.0安装及监控工具Cerebro-0.8.4

1.官网下载相应软件elasticsearch7.3.0:https://www.elastic.co/cn/downloads/elasticsearchcerebro-0.8.4:https://github.com/lmenezes/cerebro/releasesjdk1.8:https://www.oracle.com/technetwork/java/javase/down...

2019-08-13 21:33:24

KSQL:Apache Kafka的流式SQL

更新:KSQL现在可作为ConfluentPlatform的一个组件提供。我很高兴地宣布KSQL,为Apachekafka流SQL引擎®。KSQL降低了流处理世界的入口,提供了一个简单而完全交互的SQL接口,用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码!KSQL是分布式的,可扩展的,可靠的和实时的。它支持各种强大的流处理操作,包括聚合,连接,窗口化...

2019-06-13 19:49:51

Elasticsearch 的跨集群复制架构

什么是Elasticsearch的跨集群复制CCR-CrossClusterReplication-跨集群复制是Elasticsearchv6.5发布的一个新的特性,这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来,将一个远程的集群的索引数据同步的复制到本地Elasticsearch集群中来。集群复制类似于数据订阅的方式,一个集群的数...

2019-05-31 20:25:20

滴滴Elasticsearch多集群架构实践

Elasticsearch是基于Lucene实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的ElasticStack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴Elasticsearch简介滴滴2016年初开始构建Elasticsearch平台,如今已经发展到超过3500+Elastics...

2019-05-31 20:20:42

Elasticsearch 压测方案— esrally 简介

由于Elasticsearch(后文简称es)的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用es作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个es压测工具esrally,希望能为大家带来帮助。为什么要压测?关于压测,我们先来看下百度百科上的一个定义。压测,即压力测试,是确立系统稳定性的一种测试方法,通常在系...

2019-05-31 20:05:32

如何看懂ES的GC日志

如果你关注过elasticsearch的日志,可能会看到如下类似的内容:[2018-06-30T17:57:23,848][WARN][o.e.m.j.JvmGcMonitorService][qoo--eS][gc][228384]overhead,spent[2.2s]collectinginthelast[2.3s][2018-06-30T17:57:29...

2019-05-31 19:35:32

ES处理failed shard on node [xxxxxx]: failed recovery报错

今天,ES集群有个节点挂了,集群状态一下子就red了,重新启动后,等了许久,发现始终有几个分片无法恢复,运行命令如下:curl-XGETlocalhost:9200/_cluster/allocation/explain?pretty{"index":"twitter","shard":0,"primary":true,"curren...

2019-01-31 17:15:47

使用SSHFS挂载远程目录

SSHFS(SecureShellFileSystem)是一种允许用户通过SSH协议安全访问远程文件系统的工具。本指南将帮助您开始使用Linode上的SSHFS。SSHFS可以消除使用FTP/SFTP与远程服务器之间传输文件的需要。对于本指南,您需要在Linode上运行SSH守护程序。如果您没有SSH守护程序,请在返回本指南之前访问“ 保护您的服务器”。对于本指南,我们使用了两个Ubuntu...

2019-01-24 19:55:15

PB级Elasticsearch集群中的最佳分片放置

Meltwater和Fairhair.ai两个信息检索系统的核心是包含数十亿社交媒体帖子和社论文章的Elasticsearch集群。我们集群中的索引分片在访问模式、工作负载和大小方面差异很大,这带来了一些非常有趣的挑战。此博客文章描述了我们如何使用线性优化建模在群集中的所有节点上尽可能均匀地分布搜索和索引工作负载。我们的解决方案使硬件利用率更均匀,且降低了单个节点成为瓶颈的可能性。因此,我们改善了...

2019-01-24 19:31:51

Linux磁盘空间100%处理方案

今天查看linux磁盘时,发现有一个数据盘达到了100%,赶紧通过rm-rf将一些数据清除,但是df-h显示为0可用。#df-hFilesystemSizeUsedAvailUse%Mountedon/dev/sda17.4G7.0G0100%/none498M...

2019-01-18 15:15:47

CAS5.2 搭建SSO单点登陆,后台接入Mysql5

环境说明:ubuntu14.04CAS5.2.3java1.8.0_111所采用的cas项目工程为:https://github.com/apereo/cas-overlay-template1.进入cas-overlay-template后,打开build.sh,编辑以下内容#overrideDNAMEandCERT_SUBJ_ALT_NAMESbeforecallingorus...

2018-03-28 23:52:41

如何将本地项目添加到github上

如何将本地项目添加到github上去1.系统环境ubuntu14.042.系统生成与github交互的密钥$cd~/.ssh/$ssh-keygen-trsa-C"自己github的邮箱帐号"接下来,一路Enter下来,生成SSH密钥。3.在.ssh目录下新建一个config文件,添加如下内容Hostgithub.comU

2017-05-15 20:37:19

highcharts图表:如何配置坐标轴数据过大是否折算进行单位(k,M,G,T,P,E)替换

最近有不少Highcharts图表用户在询问关于坐标轴刻度值数据过大会自动加上k,M,G,T,P,E一些单位字符的问题。这类问题开始一看还以为是坐标轴内刻度格式化formatter方法的问题,经过试验是行不通的。无奈之余看了看highcharts.js的源代码,通过CTRL+F查找"k",看发现这些配置信息是由属性:numericSymbols控制着。源代码是这样写的:view

2017-03-17 19:34:18

maven如何手动添加依赖的jar包到本地仓库

参见链接:https://www.iteblog.com/archives/646.html亲测有效。

2017-03-15 21:03:44

ubuntu14.04正确安装jdk1.8(防止启动时source)

条件:ubuntu14.04jdk1.8/jdk1.7目的:防止每次启动都source/etc/profile安装过程:1.JDK官网下载选择合适的版本下载后,拷贝至服务器a.输入命令进行解压:tar-zxvfjdk-8u111-linux-x64.tar.gzb.可以看到解压下出来的jdk1.8.0_111文件c.将该文件移动到/usr/

2016-12-29 20:41:19

对象存储(Object-based Storage)概述

什么是对象存储?多次在不同场合被问起这个问题,于是就想写篇小综述文章。网上查找资料时,找到几篇不错的资料,简单整理一下,供自己和大家参考。什么是对象存储(OSD)?存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构,而对象存储(Object-basedStorage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-basedStor

2016-12-12 22:21:37

三种存储类型比较-文件、块、对象存储

块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-basedStorage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-basedStorageDevice)简称OSD。   首先,我们介绍这两种传统的存储类型。通常来讲,所有磁盘阵列都是基于Block块的模式(DAS),而所有的NAS产品都是文件级存储

2016-12-12 22:19:15

gf-complete报错error: incompatible types when assigning to type '__m128i' from type 'int'

gf-complete是jerasure依赖的一个库环境:ubuntu14.0464今天在进行gf-complete编译的时候报错网上解决方案,如下具体参见http://jerasure.org/Nyan/gf-complete/commit/8a96434c55f6c7718d6e5

2016-11-27 13:34:52

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。