- 博客(202)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 通过Logstash从ElasticSearch消费数据存储至Mysql
版本说明：组件 版本 ElasticSearch 6.8.4 Logstash 6.2.3 Mysql 5.7.26 1、logstash-output-jdbc插件安装Logstash相关原理参看官网：https://www.elastic.co/guide/en/logstash/6.8/index.html，因Logstash的output暂时不支持jdbc，故这里我们需要引入第三方插件。网上搜索logstash-output-jdbc插件来源于：htt
2022-05-18 09:29:25
762
原创 呼叫失败原因码SIP代码
1概述本文档描述发起呼叫失败时增加原因码：SIP响应描述或Freeswitch内部的错误描述。2返回错误码描述2.1SIP响应消息 SIP响应消息 错误码描述 说明 400 BadRequest 错误请求 401 Unauthorized 无权 402 Payment...
2021-12-25 11:12:59
6565
原创 Windows下通过FreeSwitch实现分机互打
1、FreeSwitch安装因为我的Linux电脑接灰尘了，所以FreeSwitch我暂时安装在windows下。windows下安装，首先在https://files.freeswitch.org/windows/installer/下载最新的FreeSwith软件，然后参看：http://www.dujinfang.com/2010/04/14/freeswitch-chu-bu.html进行安装。（1）启动FreeSwitchConsole.exe进入下FreeSWITCH安装目录，启动.
2021-11-20 21:25:42
1822
2
原创 FreeSwitch基础知识
1、FreeSwitch的概念FreeSwitch是一个跨平台的、伸缩性极好的、免费的、多协议的电话软交换平台。FreeSwitch是跨平台的。可原生地运行在windows、Max OS X、Linux等平台。 FreeSwitch具有很强的可伸缩性。 FreeSwitch是开源免费的。 FreeSwitch支持SIP、H323、Skype、Google Talk等多种通信协议，并可与各种开源的PBX系统通信，也可与商用的交换系统互通。 FreeSwitch可以用作一个简单的交互引擎、一个P
2021-11-14 17:48:34
7862
转载 WPF之各种图形
转载：http://www.cnblogs.com/ListenFly/archive/2013/06/12/3114047.html本文主要讲解WPF中的基本图形知识，内容如下：1。图形的基础知识准备2。WPF中的图形体系结构3。颜色和画刷4。Shape5。Drawing和Visual1.1WPF中的坐标1.1.1 WPF的默认
2021-08-20 09:33:59
2435
转载 【干货】从入门到精通，我是这样学习算法的
转载：http://www.bigdatas.cn/thread-59258-1-1.html这篇文章讲了什么? 我这些年学习数据结构和算法的总结。一些不错的算法书籍和教程。算法的重要性。初学第一次接触数据结构是在大二下学期的数据结构课程。然而这门课程并没有让我入门——当时自己正忙于倒卖各种MP3和耳机，对于这些课程根本就不屑一顾——反正最后考试划个重点也能过，于是
2021-08-20 09:32:41
212
原创 nutch1.7与sorl4.8整合抓取网址出现java.io.IOException: Job failed!
最近在实践nutch1.7与sorl4.8整合抓取网址时，出现了以下问题：
2021-08-20 09:30:20
87
原创 mysql数据库操作
近期参与了某网站开发，设计到大量的数据导入，记录一下几个比较重要的数据操作语句。1. case whenupdate changepatent set patendId =(case when patenName like '专利%' then 1 when patenName like '%软件著作权%' then 6 else 2 end)2.导入的数据中有重复的项，让storei
2021-08-14 15:33:22
84
原创 Redis实现Lua脚本
最近在做某项目时，遇到了一种场景：从Redis中读取数据，进行数据处理后，删除该数据。乍一看好像没什么问题。但是把该场景扩展到多线程，多应用同时执行时，可能会导致重复读取相同数据，并进行处理的场景。因此，为了实现Redis原子性操作数据，决定引入Redis中的Lua脚本来执行数据读取，数据处理和数据删除操作。1、Redis Lua脚本介绍 Lua是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放。其设计目的就是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和...
2021-08-10 19:26:10
381
原创 Hadoop安装手册
1 安装环境内核：3.10.0-229.el7.x86_64操作系统：CentOS 7ssh和sshd已经默认配置在局域网中有三台机器用于安装：192.168.1.170，192.168.1.171，192.168.1.172，此处192.168.1.170为namenode，192.168.1.171和192.168.1.172为datanode1和datanode2。IP地址已经配置好，三台机器互相可以通信。2 配置Java此处将Java配置到系统环境里面去。首先，解..
2021-08-08 12:08:07
226
原创 Sqoop1.99.6将数据从MySQL导入到hadoop2.6
环境介绍：Centos7Sqoop1.99.6Hadoop2.6Mysql5.61 Sqoop1.99.6安装1.1Sqoop1.99.6安装首先从官网(http://mirror.bit.edu.cn/apache/sqoop/1.99.6/)下载sqoop-1.99.6-bin-hadoop200.tar.gz，解压放在/usr/local/sqoop目录中。在/etc/profile中添加如下配置 export SQOOP_HOME=/usr/local/sq
2021-08-08 11:50:12
177
原创 VUE项目根据不同环境引入js
最近采用VUE做客服相关的系统，由于依赖第三方js，因此需要根据不同环境引入js。比如在外网引入a.js，在内网引入b.js，该场景可根据不同需求而调整。中间尝试了一些方法，都不行，当然，加载该js需要在VUE初始化之前，不然会导致系统加载不了相关方法。思考在三，决定从VUE的index.html文件着手。通过vue-cli生成的项目的index.html文件如下：<!DOCTYPE html><html lang="en"> <head>
2021-04-03 11:27:27
2670
原创 Druid版本1.1.21出现ERROR c.alibaba.druid.pool.DruidDataSource - discard connection
Druid版本：1.1.211.问题描述使用 Druid数据库连接池，闲置一段时间后就出现以下错误：ERRORc.alibaba.druid.pool.DruidDataSource-discardconnectioncom.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Thelastpacketsuccessfullyreceivedfromtheserverwas63,213,665milliseco...
2020-11-17 20:36:07
14096
原创 Gson报错Invalid time zone indicator ‘ ‘
1.问题描述今天在用Gson进行反序列化json为java bean时，报Invalid time zone indicator ' '。详细报错日志如下：Caused by: com.google.gson.JsonSyntaxException: 1534467411000 at com.google.gson.internal.bind.DateTypeAdapter.deserializeToDate(DateTypeAdapter.java:74) at
2020-11-17 20:20:07
8238
9
原创 elasticsearch2.4升级至5.2.2版本，SearcherSourceBuilder的json字符串转成SearcherSourceBuilder对象
最近在做一个项目的ES版本升级，从2.4升级至5.2版。由于升级版本跨度比较大，一些Java api都已经废弃了。原来的api，SearchRequestBuilder支持setSource()参数为json格式的字符串。（1）ES2.4SearchRequestBuilder setSource方法public SearchRequestBuilder setSource(String source) { request.source(source); retu.
2020-06-07 18:39:18
1749
2
翻译 ES 单元测试案例
import org.elasticsearch.cluster.ClusterModule;import org.elasticsearch.common.io.stream.NamedWriteableRegistry;import org.elasticsearch.common.xcontent.NamedXContentRegistry;import org.elasticsea...
2020-04-09 17:37:37
1347
原创 elasticsearch_export Metrics含义
最近需要做elasticsearch监控相关的需求，采用elasticsearch_export采集es的各项监控指标，供后续prometheus、grafana、kibana等展示。现特意梳理elasticsearch_export metrics各字段含义，具体参看https://github.com/justwatchcom/elasticsearch_exporter。Name ...
2020-03-19 10:40:32
1820
原创 Hadoop纠删码算法启用ISA-L加速库
在前文HDFS纠删码（ErasureCoding）一文中提到，HDFS启用ISA-L存储加速库，有有助于提升HDFS纠删码的编码和解码效率。版本说明如下：软件 版本 Hadoop 3.1.0 isa-l 2.28.0 nasm 2.14.02 yasm 1.2.0 启用ISA-L步骤如下：安装yasm和nasm在Hadoop集群所...
2019-12-20 10:33:37
2651
原创 -bash: /dev/null: Permission denied
今天在Centos7上运行如下命令######添加hdfs用户#####useradd hdfs######切换至hdfs用户#####su - hdfs报如下错误-bash: /dev/null: Permission denied-bash: /dev/null: Permission denied-bash: /dev/null: Permission denie...
2019-12-20 10:05:48
3482
翻译 HDFS纠删码（Erasure Coding）
目的HDFS默认的3副本策略，在存储空间和其他比如网络带宽上有200%的开销，因而副本策略是昂贵的。但是对于具有相对较低I/O的冷热数据集，在正常操作期间很少访问其他副本块，但仍然消耗与第一个副本相同的资源量。因此，一种改进措施是使用纠删码（ErasureCode，EC）来替换副本策略。纠删码提供了与副本相同的容错能力，但使用较少的存储空间。在典型的纠删码中，存储开销不超过50%。纠删码...
2019-12-13 17:27:43
2841
原创 JAVA判断时间格式为 "yyyy.MM.dd"
今天碰到一个需求，需要判断日期格式为"yyyy.MM.dd"，代码如下：import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import java.util.regex.Matcher;import java.util.regex.Pattern;public cl...
2019-11-08 19:20:07
500
原创 Protected multilib versions XXX
今天在安装Ambari软件时，碰到Protected multilib versions : libtirpc-0.2.4-0.15.el7.i686 != libtirpc-0.2.4-0.15.el7.i86_64报错。通过分析问题是由于yum中libtripc存在多个不同版本导致。网上对该问题的解决办法较多的是在yum软件安装命令后面添加--setopt=protected_mult...
2019-10-08 20:55:21
938
原创 Mysql5.7强制修改密码
环境说明：mysql5.7.26 mysql配置文件目录：/etc/my.cnf 采用的方式：mysql主从复制模式，同时使用半同步今天登录mysql时，忘记了密码，想着强制修改密码。步骤如下：1.修改/etc/my.cnf在my.cnf文件中，添加如下内容。vim /etc/my.cnf#在[mysqld]下面添加如下两行######################...
2019-09-19 09:24:04
1020
原创 基于Sprint Boot开发的邮件发送系统
本文主要介绍如何实现一个邮件发送系统，主要功能是批量将文件发送至目的邮箱。主要以QQ邮箱为例介绍。1.开启QQ邮箱的POP3/SMTP服务或者IMAP/SMTP服务2.配置resources/config/config.json文件里发送邮箱的用户名、密码、发件人邮箱的SMTP服务器地址和接受邮箱账号{ "mailFromInfo": { //发件人邮箱账号 ...
2019-09-15 23:26:27
713
原创 Microsoft Visual Studio 13强力卸载
环境说明：Window 10Microsoft Visual Studio13今天在卸载Microsoft Visual Studio13时，死活都卸载不了，报如下错误：按照网上说法下载https://github.com/microsoft/VisualStudioUninstaller里面的TotalUninstaller.zip，以管理员身份运行Setup.ForcedU...
2019-09-08 20:57:00
1199
转载 Lucene列式存储格式DocValues详解
DocValues是在Lucene4.0引入的新特性，属于正向索引。它存储文档编号到字段值正向关系的索引，意在取代FieldCache在搜索时所发挥的作用，消除搜索时需要加载倒排索引构建FieldCache而引起的性能问题。相当于将FieldCache的构建下推至索引时，以空间换时间，从而获得更高的搜索性能。倒排索引是搜索的核心，而正向索引则为搜索结果的排序和统计等搜索结果加工过程提供了有力帮助。...
2019-08-27 21:30:01
1680
3
转载 Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)
之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kaf...
2019-08-15 19:59:02
5159
8
原创 Kibana7.3.0试用
1.安装ElasticSearch7.3.0安装步骤参看：https://blog.csdn.net/znb769525443/article/details/994729622.安装kibana-7.3.0-linux-x86_64下载链接：https://www.elastic.co/cn/downloads/kibana3.配置和启动vim config/kibana....
2019-08-13 22:44:19
464
原创 ElasticSearch7.3.0安装及监控工具Cerebro-0.8.4
1.官网下载相应软件elasticsearch7.3.0：https://www.elastic.co/cn/downloads/elasticsearchcerebro-0.8.4：https://github.com/lmenezes/cerebro/releasesjdk1.8：https://www.oracle.com/technetwork/java/javase/down...
2019-08-13 21:33:24
1455
翻译 KSQL：Apache Kafka的流式SQL
更新：KSQL现在可作为Confluent Platform的一个组件提供。我很高兴地宣布KSQL，为Apache kafka流SQL引擎®。KSQL降低了流处理世界的入口，提供了一个简单而完全交互的SQL接口，用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码！KSQL是分布式的，可扩展的，可靠的和实时的。它支持各种强大的流处理操作，包括聚合，连接，窗口化...
2019-06-13 19:49:51
1538
1
转载 Elasticsearch 的跨集群复制架构
什么是 Elasticsearch 的跨集群复制CCR - Cross Cluster Replication - 跨集群复制是 Elasticsearch v6.5 发布的一个新的特性，这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来，将一个远程的集群的索引数据同步的复制到本地 Elasticsearch 集群中来。集群复制类似于数据订阅的方式，一个集群的数...
2019-05-31 20:25:20
2453
转载 滴滴Elasticsearch多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+ Elastics...
2019-05-31 20:20:42
467
转载 Elasticsearch 压测方案— esrally 简介
由于 Elasticsearch（后文简称es） 的简单易用及其在大数据处理方面的良好性能，越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前，不免要做一番调研和测试，本文便是介绍官方的一个 es 压测工具 esrally，希望能为大家带来帮助。为什么要压测？关于压测，我们先来看下百度百科上的一个定义。压测，即压力测试，是确立系统稳定性的一种测试方法，通常在系...
2019-05-31 20:05:32
3957
转载 如何看懂ES的GC日志
如果你关注过 elasticsearch 的日志，可能会看到如下类似的内容：[2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s][2018-06-30T17:57:29...
2019-05-31 19:35:32
5207
原创 ES处理failed shard on node [xxxxxx]: failed recovery报错
今天，ES集群有个节点挂了，集群状态一下子就red了，重新启动后，等了许久，发现始终有几个分片无法恢复，运行命令如下：curl -XGET localhost:9200/_cluster/allocation/explain?pretty { "index" : "twitter", "shard" : 0, "primary" : true, "curren...
2019-01-31 17:15:47
10501
3
翻译 使用SSHFS挂载远程目录
SSHFS（Secure Shell FileSystem）是一种允许用户通过SSH协议安全访问远程文件系统的工具。本指南将帮助您开始使用Linode上的SSHFS。SSHFS可以消除使用FTP/SFTP与远程服务器之间传输文件的需要。对于本指南，您需要在Linode上运行SSH守护程序。如果您没有SSH守护程序，请在返回本指南之前访问“ 保护您的服务器”。对于本指南，我们使用了两个Ubuntu ...
2019-01-24 19:55:15
1759
翻译 PB级Elasticsearch集群中的最佳分片放置
Meltwater和Fairhair.ai两个信息检索系统的核心是包含数十亿社交媒体帖子和社论文章的Elasticsearch集群。我们集群中的索引分片在访问模式、工作负载和大小方面差异很大，这带来了一些非常有趣的挑战。此博客文章描述了我们如何使用线性优化建模在群集中的所有节点上尽可能均匀地分布搜索和索引工作负载。我们的解决方案使硬件利用率更均匀，且降低了单个节点成为瓶颈的可能性。因此，我们改善了...
2019-01-24 19:31:51
401
原创 Linux磁盘空间100%处理方案
今天查看linux磁盘时，发现有一个数据盘达到了100%，赶紧通过rm -rf将一些数据清除，但是df -h显示为0可用。# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda1 7.4G 7.0G 0 100% /none 498M ...
2019-01-18 15:15:47
2121
原创 CAS5.2 搭建SSO单点登陆，后台接入Mysql5
环境说明：ubuntu14.04CAS5.2.3java1.8.0_111所采用的cas项目工程为：https://github.com/apereo/cas-overlay-template1.进入cas-overlay-template后，打开build.sh，编辑以下内容# override DNAME and CERT_SUBJ_ALT_NAMES before calling or us...
2018-03-28 23:52:41
2246
原创 如何将本地项目添加到github上
如何将本地项目添加到github上去1.系统环境ubuntu14.042.系统生成与github交互的密钥$ cd ~/.ssh/$ ssh-keygen -t rsa -C "自己github的邮箱帐号"接下来，一路Enter下来，生成SSH密钥。3.在.ssh目录下新建一个config文件，添加如下内容 Host github.com U
2017-05-15 20:37:19
530
Adaptive power allocation with quality-of-service guarantee
2015-07-30
基于Hadoop平台的HITS算法
2014-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人