- 博客(52)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ueditor图片格式
ueditor复制粘贴图片时会带格式，造成手机版不兼容，需要去掉格式UE.plugins['defaultfilter'] = function () { var me = this; me.setOpt({case 'img':加上node.setAttr('style', '');node.setAttr('width', '');node.setAttr('height', '');...
2022-02-14 22:47:53
259
原创 freeswitch源码安装
1.1安装依赖1.1.1yum安装yum install -y http://files.freeswitch.org/freeswitch-release-1-6.noarch.rpm epel-releaseyum install-y git alsa-lib-devel autoconf automake bison broadvoice-devel bzip2curl-d...
2021-10-23 14:50:42
589
原创 freeswitch编译安装
系统环境CentOS71、安装相关依赖，在module.conf中配置需要编译的模块，configure检查相关依赖，若需要连接数据库需要支持数据加上参数./configure --enable-core-pgsql-support 这样就支持连接postgres数据库了，过程中会提示相关相关依赖，缺什么装什么就可以，如果遇到还是缺少相关依赖则make clean然后重新conf...
2020-03-17 14:40:05
596
原创 shell解决强制密码问题
#!/bin/bash#!/usr/tcl/bin/expectsudo docker exec -it gitlab_gitlab_1 /bin/bash -c "/opt/gitlab/bin/gitlab-rake gitlab:backup:create"sleep 30mfilename=`(ls -l /opt/dockerData/gitlab/data/bac...
2020-03-05 21:20:13
209
原创 freeswitch多profile配置
需求：对接ims通过ip鉴权，需要添加端口对接两条ims中继系统会加载sip_profile文件夹的profile,添加对应配置的profile注意profile name一定和其它profile名称不一致，另外data 目录为gateway配置文件目录修改sip_port配置参数重启freeswitch即可看到加载的配置和gateway信息...
2020-02-24 20:45:23
1512
转载 hive压缩设置
一、优缺点优点： 1，减少存储磁盘空间，降低单节点的磁盘IO。2，由于压缩后的数据占用的带宽更少，因此可以加快数据在Hadoop集群流动的速度。例如在不同节点创建3个replica的阶段，或是shuffle阶段。缺点： 需要花费额外的时间/CPU做压缩和解压缩计算二、几种常见的压缩对比三、压缩分析...
2019-04-12 07:48:09
2733
转载 文件定时备份并上传
（1）在服务器上创建备份目录，并赋予权限mkdir -p /backup/bakdata#新建数据备份目录（2）完成备份脚本操作新建脚本文件vi bakdata.sh添加以下内容：#!/bin/shdateTime=`date +%Y_%m_%d`#当前系统时间days=7#删除7天前的备份数据s...
2019-03-04 21:45:58
292
原创 freepbx搭建回拨测试系统
由于项目需要呼叫中心回拨功能，要搭建一套回拨测试系统，实现系统回拨功能现记录如下：一、系统搭建系统选择主流的asterisk freepbx系统，为图方便，使用万能的freepbx。选用的镜像地址为：https://hub.docker.com/r/jmar71n/freepbx/ Dockerfile如下：FROM phusion/baseimageMAINTAI...
2018-12-10 14:28:25
4506
转载 ubuntu安装librdkafka以及libpcap
一.安装libpcap第一步，先安装GCC ，一般都会自动安装sudo apt-get install build-essential第二步，GNU M4可以从此处 ftp.gnu.org/gnu/m4/ 下载sudo tar -zxvf m4-latest.tar.gzcd m4-1.4.17sudo ./configuresudo makesudo make install...
2018-11-17 20:09:06
1614
转载 MongoDB增删改查操作
使用说明：一、MongoDB数据库参数配置1、推荐使用mongodb.cfg.properties配置，则在构造MongoDBService对象的时候只需调用无参构造方法即可自动完成配置。2、如果没有通过mongodb.cfg.properties，会采用程序指定的默认配置。 ? 1 2 3 4 5 6 7 ...
2018-11-02 17:41:36
184
转载 ubuntu apt-get一直报错的解决方法
apt-get -f install这条指令就是用来修正一些软件依赖中存在的错误，敲进入之后出现了：磁盘空间已满，写入失败，其实这个并不是你的空间不够了，是因为你安装的包太多的缘故，可以手动清除一些首先查看一下我们当前已经安装了哪些软件 dpkg -l如果你不知道要删除哪些包，那就删除几个基本不会用到的包linux-image-generic-lts-quantall...
2018-11-01 10:50:45
5095
转载 Virtual Box添加磁盘空间
节后上班第一天，按计划着手搭建hadoop和hive实验环境，还没开始安装就碰到一个坎，JDK安装包解包时报空间不足。原来的四个虚机，每个分配了8G，其中根文件系统6G，做完Fabric实验后空间所剩无几，因此需要扩容。下面记录的就是实际操作步骤。环境：VirtualBox 5.0.10、CentOS release 6.41. 使用下面的命令查看虚拟机的UUIDVBoxMana...
2018-10-16 18:06:29
1233
原创 hadoop Cloudera-Manager集群搭建总结
1、网上搭建步骤很多，我参考的这个链接的：https://blog.csdn.net/suifeng3051/article/details/454777732、安装上述步骤基本没问题，但是有几点注意如下： （1）服务端安装完毕后客户端最好手工的方式在每个客户端上装好，不然太慢假死。 （2）启动agent时候提示没有目标，记得在run目录建立agent运行目录。3、系统重启...
2018-08-20 09:17:53
324
转载 hadoop集群本地时间同步操作
测试环境： 192.168.217.130 master master.hadoop192.168.217.131 node1 node1.hadoop192.168.217.132 node2 node2.hadoop一、设置master服务器时间查看本地时间和时区[root@master ~]# dateMon Feb 27 09:54:09 CST 2017...
2018-08-16 15:11:44
689
转载 Spark Mllib测试
一、FPGrowth算法理解 Spark.mllib 提供并行FP-growth算法，这个算法属于关联规则算法【关联规则：两不相交的非空集合A、B，如果A=>B，就说A=>B是一条关联规则，常提及的{啤酒}-->{尿布}就是一条关联规则】，经常用于挖掘频度物品集。关于算法的介绍网上很多，这里不再赘述。主要搞清楚几个概念：1)支持度support(A =&g...
2018-08-09 18:14:39
412
转载 open-falcon plus——配置告警
1. Nodata配置使用Nodata，需要进行两个配置: Nodata配置 和 策略配置。下面，我们以一个例子，讲述如何使用Nodata提供的服务。Nodata个人理解就是服务器发送中断，比如相关指标采集不到，agent.alive指标是服务器与客户端通讯是否正常指标，不正常说明要么是agent挂了，网络中断，系统异常了。用户需求当机器分组cop.xiaomi_owt.inf_p...
2018-08-08 12:56:52
6394
原创 open-falcon plus——安装
open-falcon 是小米开源的运维系统后台为golang开发，正常情况下按照官方文档说明就可以搭建成功。一、后台程序编译安装1、环境准备Git >= 1.7.5 Go >= 1.6 yum install redis yum install mysql如果redis与mysql环境已经安装，可在配置文件配置。2、下载源码（open-falcon有0.1...
2018-08-07 15:10:34
1831
转载 firewalld影响docker启动
由iptables切换到firewall，发现redis的docker镜像启动不了，报如下错误：ERROR: for docker-php_redis_1 Cannot start service redis: driver failed programming external connectivity on endpoint docker-php_redis_1 (85374c466...
2018-08-03 11:57:26
3395
转载 Wireshark中常见的TCP Info
Wireshark中常见的TCP Info1. TCP out-of-order segmentTCP存在问题。 Wireshark判断TCP out-of-order是基于TCP包中SEQ number并非期望收到的下一个SEQ number，则判断为out-of-order。因此，出现TCP out-of-order时，很大可能是TCP存在乱序或丢包，导致接收端的seq number...
2018-07-25 09:54:38
5016
原创 Mariadb10 galera集群配置
由于项目需要做冗余备份，同时了解mariadb10自带了galera集群功能于是测试，环境Centos7+mariadb10.1一、安装mariadb1、yum安装很简单 yum install -y mariadb-server，如何直接安装将会默认安装mariadb 5.5,如果需要安装mariadb10需要另外配置MariaDB.repo：# MariaDB 10.1 CentOS repo...
2018-07-13 12:36:50
1522
转载 docker之创建MariaDB镜像
一、基于commit命令方式创建docker的安装[root@test01 ~]# yum install docker[root@test01 ~]# systemctl enable docker[root@test01 ~]# systemctl start docker下载本地镜像[root@test01 ~]# docker pull centos:7.4.1708[root@t...
2018-06-24 20:29:49
2842
1
转载 Zabbix安装
zabbix安装官方文档非常详细：https://www.zabbix.com/downloadnstall and configure Zabbix servera. Install Repository with MySQL databasedocumentation# rpm -i http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-...
2018-06-04 15:43:11
388
转载 CountDownLatch\ CyclicBarrier\ Semaphore
一.CountDownLatch用法二.CyclicBarrier用法三.Semaphore用法一.CountDownLatch用法CountDownLatch类位于java.util.concurrent包下，利用它可以实现类似计数器的功能。比如有一个任务A，它要等待其他4个任务执行完毕之后才能执行，此时就可以利用CountDownLatch来实现这种功能了。CountDownLatch类只提供...
2018-05-15 09:15:17
119
原创 centos7 利用firewalld自建NAT网关
在传统的网络结构中，每个子网都有一个网关，子网内的主机通过这个网关进行上网，网关进行地址转换，修改IP报文的源地址等，具体的原理有兴趣的百度一下就知道了。在传统机房内几乎都是有路由器的，而路由器也自带网关的功能，基本用不到自建NAT，但是在如今横行的公有云中，却是有着很大的需求，例如阿里云，阿里云内网中没有公网IP的电脑如何通过有公网IP的电脑进行上网，这就需要NAT网关。其他公有云也类似，这里以...
2018-05-14 12:09:52
3592
转载 CentOS7路由转发设置
Centos7前的版本用iptable 防火墙设置路由转发 ；Centos7 以后的版本不能使用iptable 防火墙来设置路由器转发，而是得用firewall-cmd 来设置首先输入firewall-cmd --list-all 来查看当前防火墙配置假设接口 interfaces:eno1 ens1 ens3 三个先配置外网接口：然后输入 firewall-cmd --list-all --zo...
2018-05-02 10:22:44
6811
转载 CentOS7重置root密码
CentOS 7与之前的版本6变化还是比较大的，以进入单用户模式修改root密码为例。1.重启开机按esc2.按e3.编辑修改两处：ro改为rw,在LANG=en_US.UFT-8后面添加init=/bin/sh4.按Ctrl+X重启，并修改密码5.由于selinux开启着的需要执行以下命令更新系统信息,否则重启之后密码未生效touch /.autorelabel6.重启系统exec /sbin/...
2018-04-27 14:12:54
8295
转载 SparkStreamingj集成Kafka的几个重要参数
在做kafka流处理过程中，第一次启动时数据量非常大，导致程序崩溃，看了这篇博文后进行优化后程序正常执行特别感谢原创作者的奉献：https://blog.csdn.net/u010454030/article/details/54629049使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown ...
2018-04-26 14:52:10
380
转载 SparkKafka问题总结
大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr...
2018-04-25 17:30:59
731
原创 elastic search6聚合操作keyword
在mapping index为true的情况下，该字段会默认对内容进行分词若进行agg操作则会出现下面情况：命令：GET /data/http_record/_search{ "aggs": { "ua": { "terms": { "field": "user_agent" } } }}结果："aggregations": {
2018-04-18 16:50:28
3956
原创 ElasticSearch6 kibana查询
1、直接查询GET /data/http_record/_search/ { "query": { "term": {"host":"www.mogujie.com"} },//查询host为www.mogujie.com的数据 "_source": ["url", "host"]//source部分只显示url与host}2、全文检索GET /data/
2018-04-18 16:20:39
440
原创 ES 聚合操作保存（Fielddata is disabled on text fields by default.）
根据es官网的文档执行GET /megacorp/employee/_search{ "aggs": { "all_interests": { "terms": { "field": "interests" } } }}123456789这个例子时，报错{ "error": { "root_cause": [
2018-04-18 08:59:08
302
转载 supervisor管理tomcat
使用 supervisord 监控管理的进程必须以 nodaemon 启动，而 tomcat 的 startup.sh 脚本是daemon方式的，如果不做修改的话，supervisord 会一直报错。 办法是： 一. 在 startup.sh 的最后的exec "$PRGDIR"/"$EXECUTABLE" start "$@" 改为 exec "$PRGDIR"/"$EXEC...
2018-04-13 23:05:03
2559
转载 MySQLdump常用命令
MySQLdump常用命令MySQLdump常用mysqldump -u root -p --databases 数据库1 数据库2 > xxx.sql还原：系统命令行： MySQL -uroot -p123456 <f:\all.sql常见选项：--all-databases, -A： 备份所有数据库--databases, -B： 用于备份多个数据库，如果没有该选项，mysqldu...
2018-04-13 22:20:59
147
转载 Spark-Kafka kafka.common.OffsetOutOfRangeException
问题描述国庆前启动spark streaming任务去消费了kafka，后来由于其他原因停止了，放假回来后，重启spark任务后，报kafka.common.OffsetOutOfRangeException，期初我以为是ZK重启造成的就换了个group.id正常了，今天看到一篇文章才知道真实的原因kafka会定时清理日志当我们的任务开始的时候，如果之前消费过某个topic，那么这个topic会在...
2018-04-13 08:41:08
5522
转载 Atomic包介绍
Atomic包介绍 Java1.5的Atomic包名为java.util.concurrent.atomic。这个包提供了一系列原子类。这些类可以保证多线程环境下，当某个线程在执行atomic的方法时，不会被其他线程打断，而别的线程就像自旋锁一样，一直等到该方法执行完成，才由JVM从等待队列中选择一个线程执行。Atomic类在软件层面上是非阻塞的，它的原子性其实是在硬件层面上借助相关的...
2018-04-06 21:40:53
893
原创 JMM内存模型
多任务和高并发的内存交互多任务和高并发是衡量一台计算机处理器的能力重要指标之一。一般衡量一个服务器性能的高低好坏，使用每秒事务处理数（Transactions Per Second，TPS）这个指标比较能说明问题，它代表着一秒内服务器平均能响应的请求数，而TPS值与程序的并发能力有着非常密切的关系。物理机的并发问题与虚拟机中的情况有很多相似之处，物理机对并发的处理方案对于虚拟机的实现也有相当大的参...
2018-04-06 21:33:26
670
原创 Spark集群环境搭建
1、下载spark地址为:http://spark.apache.org/downloads.htmlnloads.html，因为我使用MongoDB作为存储，所以根据spark-mongo版本进行选择版本为：spark-2.2.0-bin-hadoop2.6.tgz2、服务器环境设置：配置集群之间免密登录，具体配置方式见另外博客，并设置主机host（设置完主机host后需要重启服务器生效）3、解...
2018-04-03 15:38:04
206
转载 服务器免密设置登录(hadoop,spark)
对于需要远程管理其它机器，一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密，存在不安全因素，只适合内网访问。为解决这个问题，推出了通信加密通信协议，即SSH（Secure Shell）。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以避免网络窃听。hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。为了实现自动化操作，需要...
2018-04-02 14:58:37
921
1
转载 聚合操作错误：Fielddata is disabled on text fields by default. Set fielddata=true
环境elasticsearch：5.4.3 虚拟机：centos7 kibana：5.4.3 操作系统：win7概要本篇属于个人学习笔记奥，不做教程索引存储数据到elasticsearch的行为叫做索引。你也许已经注意到 索引 这个词在 Elasticsearch 语境中包含多重意思， 所以有必要做一点儿说明：索引（名词）：如前所述，一个 索引 类似于传统关系数据库中的一个 数据库 ，是一个存储关...
2018-03-29 15:27:29
15695
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人