8 超级侠哥

尚未进行身份认证

暂无相关简介

等级
TA的排名 1w+

Hadoop纠删码算法启用ISA-L加速库

在前文HDFS纠删码(ErasureCoding)一文中提到,HDFS启用ISA-L存储加速库,有有助于提升HDFS纠删码的编码和解码效率。版本说明如下:软件 版本 Hadoop 3.1.0 isa-l 2.28.0 nasm 2.14.02 yasm 1.2.0 启用ISA-L步骤如下:安装yasm和nasm在Hadoop集群所...

2019-12-20 10:33:37

-bash: /dev/null: Permission denied

今天在Centos7上运行如下命令######添加hdfs用户#####useradd hdfs######切换至hdfs用户#####su - hdfs报如下错误-bash: /dev/null: Permission denied-bash: /dev/null: Permission denied-bash: /dev/null: Permission denie...

2019-12-20 10:05:48

HDFS纠删码(Erasure Coding)

目的HDFS默认的3副本策略,在存储空间和其他比如网络带宽上有200%的开销,因而副本策略是昂贵的。但是对于具有相对较低I/O的冷热数据集,在正常操作期间很少访问其他副本块,但仍然消耗与第一个副本相同的资源量。因此,一种改进措施是使用纠删码(ErasureCode,EC)来替换副本策略。纠删码提供了与副本相同的容错能力,但使用较少的存储空间。在典型的纠删码中,存储开销不超过50%。纠删码...

2019-12-13 17:27:43

JAVA判断时间格式为 "yyyy.MM.dd"

今天碰到一个需求,需要判断日期格式为"yyyy.MM.dd",代码如下:import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import java.util.regex.Matcher;import java.util.regex.Pattern;public cl...

2019-11-08 19:19:57

Protected multilib versions XXX

今天在安装Ambari软件时,碰到Protected multilib versions : libtirpc-0.2.4-0.15.el7.i686 != libtirpc-0.2.4-0.15.el7.i86_64报错。通过分析问题是由于yum中libtripc存在多个不同版本导致。网上对该问题的解决办法较多的是在yum软件安装命令后面添加--setopt=protected_mult...

2019-10-08 20:18:59

Mysql5.7强制修改密码

环境说明:mysql5.7.26 mysql配置文件目录:/etc/my.cnf 采用的方式:mysql主从复制模式,同时使用半同步今天登录mysql时,忘记了密码,想着强制修改密码。步骤如下:1.修改/etc/my.cnf在my.cnf文件中,添加如下内容。vim /etc/my.cnf#在[mysqld]下面添加如下两行######################...

2019-09-19 09:05:50

邮件发送系统

本文主要介绍如何实现一个邮件发送系统,主要功能是批量将文件发送至目的邮箱。主要以QQ邮箱为例介绍。1.开启QQ邮箱的POP3/SMTP服务或者IMAP/SMTP服务2.配置resources/config/config.json文件里发送邮箱的用户名、密码、发件人邮箱的SMTP服务器地址和接受邮箱账号{ "mailFromInfo": { //发件人邮箱账号 ...

2019-09-15 23:20:18

Microsoft Visual Studio 13强力卸载

环境说明:Window 10Microsoft Visual Studio13今天在卸载Microsoft Visual Studio13时,死活都卸载不了,报如下错误:按照网上说法下载https://github.com/microsoft/VisualStudioUninstaller里面的TotalUninstaller.zip,以管理员身份运行Setup.ForcedU...

2019-09-08 20:41:06

Lucene列式存储格式DocValues详解

DocValues是在Lucene4.0引入的新特性,属于正向索引。它存储文档编号到字段值正向关系的索引,意在取代FieldCache在搜索时所发挥的作用,消除搜索时需要加载倒排索引构建FieldCache而引起的性能问题。相当于将FieldCache的构建下推至索引时,以空间换时间,从而获得更高的搜索性能。倒排索引是搜索的核心,而正向索引则为搜索结果的排序和统计等搜索结果加工过程提供了有力帮助。...

2019-08-27 21:30:01

Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)

之前的Spark实时流处理的数据处理程序,要求把数据从kafka接收之后,分2路分别写入kafka和hdfs,写入kafka的部分之前已经有过总结,现在回过头来把之前的写入HDFS的地方重新总结一下,整个过程从头到尾有一个写入方式的优化,不过时间有点长啦,尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中,需要将从kaf...

2019-08-15 19:59:02

Kibana7.3.0试用

1.安装ElasticSearch7.3.0安装步骤参看:https://blog.csdn.net/znb769525443/article/details/994729622.安装kibana-7.3.0-linux-x86_64下载链接:https://www.elastic.co/cn/downloads/kibana3.配置和启动vim config/kibana....

2019-08-13 22:44:19

ElasticSearch7.3.0安装及监控工具Cerebro-0.8.4

1.官网下载相应软件elasticsearch7.3.0:https://www.elastic.co/cn/downloads/elasticsearchcerebro-0.8.4:https://github.com/lmenezes/cerebro/releasesjdk1.8:https://www.oracle.com/technetwork/java/javase/down...

2019-08-13 21:33:24

KSQL:Apache Kafka的流式SQL

更新:KSQL现在可作为Confluent Platform的一个组件提供。我很高兴地宣布KSQL,为Apache kafka流SQL引擎®。KSQL降低了流处理世界的入口,提供了一个简单而完全交互的SQL接口,用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码!KSQL是分布式的,可扩展的,可靠的和实时的。它支持各种强大的流处理操作,包括聚合,连接,窗口化...

2019-06-13 19:49:51

Elasticsearch 的跨集群复制架构

什么是 Elasticsearch 的跨集群复制CCR - Cross Cluster Replication - 跨集群复制是 Elasticsearch v6.5 发布的一个新的特性,这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来,将一个远程的集群的索引数据同步的复制到本地 Elasticsearch 集群中来。集群复制类似于数据订阅的方式,一个集群的数...

2019-05-31 20:25:20

滴滴Elasticsearch多集群架构实践

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台,如今已经发展到超过 3500+ Elastics...

2019-05-31 20:20:42

Elasticsearch 压测方案— esrally 简介

由于 Elasticsearch(后文简称es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。为什么要压测?关于压测,我们先来看下百度百科上的一个定义。压测,即压力测试,是确立系统稳定性的一种测试方法,通常在系...

2019-05-31 20:05:32

如何看懂ES的GC日志

如果你关注过 elasticsearch 的日志,可能会看到如下类似的内容:[2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s][2018-06-30T17:57:29...

2019-05-31 19:35:32

ES处理failed shard on node [xxxxxx]: failed recovery报错

今天,ES集群有个节点挂了,集群状态一下子就red了,重新启动后,等了许久,发现始终有几个分片无法恢复,运行命令如下:curl -XGET localhost:9200/_cluster/allocation/explain?pretty { "index" : "twitter", "shard" : 0, "primary" : true, "curren...

2019-01-31 17:15:47

使用SSHFS挂载远程目录

SSHFS(Secure Shell FileSystem)是一种允许用户通过SSH协议安全访问远程文件系统的工具。本指南将帮助您开始使用Linode上的SSHFS。SSHFS可以消除使用FTP/SFTP与远程服务器之间传输文件的需要。对于本指南,您需要在Linode上运行SSH守护程序。如果您没有SSH守护程序,请在返回本指南之前访问“ 保护您的服务器”。对于本指南,我们使用了两个Ubuntu ...

2019-01-24 19:55:15

PB级Elasticsearch集群中的最佳分片放置

Meltwater和Fairhair.ai两个信息检索系统的核心是包含数十亿社交媒体帖子和社论文章的Elasticsearch集群。我们集群中的索引分片在访问模式、工作负载和大小方面差异很大,这带来了一些非常有趣的挑战。此博客文章描述了我们如何使用线性优化建模在群集中的所有节点上尽可能均匀地分布搜索和索引工作负载。我们的解决方案使硬件利用率更均匀,且降低了单个节点成为瓶颈的可能性。因此,我们改善了...

2019-01-24 19:31:51

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。