- 博客(71)
- 收藏
- 关注
RSS订阅
原创 Hadoop+hbase+zookeeper完全分布式搭建
Hadoop+hbase+zookeeper完全分布式搭建一．环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP User Password master...
2018-05-21 14:45:56
4317
5
原创 kafka搭建，原理，以及python操作kafka——总结
Kafka文档Kafka介绍：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一...
2018-03-14 23:21:09
6410
1
转载 python pefile模块---解析pe
转载自：http://blog.csdn.net/b_h_l/article/details/9371611这个是基于MIT licence的一个开源项目，你可以在上面做更多的开发。开发包的下载地址http://code.google.com/p/pefile/我觉得有以下几点大家可以注意：1. 这个需要使用python语言开发，优点是敏捷开发，方便快捷，而且源代码可读，易
2018-02-10 12:58:07
10073
转载 模糊哈希算法工具ssdeep的使用
转自：http://blog.csdn.net/chichoxian/article/details/54849406引言ssdeep 是一个用来计算context triggered piecewise hashes(CTPH) 基于文本的分片哈希算法 ，同样也可以叫做模糊哈希 Fuzzy hashes。CTPH可以匹配同源文档（相似文档），这样的文档可能有一些顺序相同的字节，尽管这些字...
2018-02-09 11:17:00
8039
原创 python脚本玩微信跳一跳。这对程序员来说算游戏？
原理说明1.将手机点击到《跳一跳》小程序界面；2.用Adb 工具获取当前手机截图，并用adb将截图pull上来3.用matplot显示截图（已经图像识别处理）4.用鼠标点击起始点和目标位置，计算像素距离 （已经图像识别处理）5.根据像素距离，计算按压时间；6.用Adb工具点击屏幕蓄力一跳；脚本下载地址 https://github.com/wangshub/w
2018-01-05 16:58:36
3353
原创 Ubuntu下Titan 环境搭建
Titan官网:http://titan.thinkaurelius.com/首先我们要了解Titan的一些特性，知道什么情况用到Titan1.弹性和线性可伸缩性的增长数据和用户群。2.数据分布和复制和容错性能。3.多数据中心的高可用性和热备份。4.支持 ACID事务和 最终一致性 。5.支持各种 存储后端 : Apache
2017-11-17 13:30:59
721
原创 HADOOP生态圈介绍
1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，ha...
2019-09-05 20:29:54
414
翻译 HugeGraph简介及部署
Welcome to HugeGraphSummaryHugeGraph是一款易用、高效、通用的开源图数据库系统（Graph Database，GitHub项目地址），实现了Apache TinkerPop3框架及完全兼容Gremlin查询语言，具备完善的工具链组件，助力用户轻松构建基于图数据库之上的应用和产品。HugeGraph支持百亿以上的顶点和边快速导入，并提供毫秒级的关联关系查询能...
2019-08-29 23:38:01
4096
原创 python加载ini配置文件（configparser）
前言使用配置文件来灵活的配置一些参数是一件很常见的事情，配置文件的解析并不复杂，在python里更是如此，在官方发布的库中就包含有做这件事情的库，那就是configParserconfigParser解析的配置文件的格式比较象ini的配置文件格式，就是文件中由多个section构成，每个section下又有多个配置项ini1.ini配置文件格式如下：;这里是注释[sect...
2019-05-23 20:48:14
1132
原创 Systemd 详解
转载：http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-part-two.html一、开机启动对于那些支持 Systemd 的软件，安装的时候，会自动在/usr/lib/systemd/system目录添加一个配置文件。如果你想让该软件开机启动，就执行下面的命令（以httpd.service为例）。$ sudo s...
2019-05-23 17:47:25
1854
原创 centos7环境搭建hadoop+hbase+zookeeper+phoenix+thritf
一．环境说明系统：CentOS Linux release 7.6.1810 (Core)IP：10.255.175.84Jdk：1.8.0_25Hadoop：2.7.5Hbase：1.2.6Zookeeper: zookeeper-3.4.10Phoenix: phoenix-4.14.1-HBase-1.2-binThrift: thrift-0.11.0二...
2019-04-17 11:10:11
1073
原创 centos7安装go环境(脚本)
官方下载地址：https://golang.google.cn/dl/install_go.sh：#!/bin/shEnvironment=/etc/profilefunction InstallGo(){ wget https://dl.google.com/go/go1.12.linux-amd64.tar.gz -O go.tar.gz; tar -zxf go.ta...
2019-03-07 09:46:07
902
原创 git Updates were rejected because the tip of your current branch is behind
由于当前版本低于远程仓库版本。方法一。先pull远程仓库修改在push git pull origin master git push -u origin master方法二。创建新分支，在push git branch 新分支名 git push -u origin 新分支名方法三。强制push（不推荐） git push -u or...
2019-01-28 16:01:15
238
原创 libvirt: error : cannot execute binary /usr/bin/qemu-kvm: Permission denied
libvirt创建虚拟机报错：internal error unable to start guestlibvirt: error : cannot execute binary /usr/bin/qemu-kvm: Permission denied解决：检查状态：# getenforce如果是enforcing模式。修改permissive或关闭。临时修改（不需要重...
2019-01-18 16:18:11
5417
1
原创 libvirt启动失败Failed to start Virtualization daemon
libvirt启动失败Failed to start Virtualization daemon更新相关依赖：#yum update librbd1重启libvirt：systemctl start libvirtd
2019-01-18 16:10:22
4367
2
转载 Linux系统下ssh使用总结
转自：https://www.cnblogs.com/kevingrace/p/6110842.html-bash: ssh: command not found解决办法；yum install －y openssh-server openssh-clinets（0）ssh登录时提示：Read from socket failed: Connection reset by peer....
2019-01-07 09:22:13
8792
17
原创 centos7安装内核及修改默认启动内核
Centos7系统更改内核启动顺序检查系统内有多少个内核：# cat /boot/grub2/grub.cfg |grep menuentry配置默认启动内核： # grub2-set-default “CentOS Linux(****)7(Core)”检查是否修改成功： # grub2-editenv list Centos7安装内核...
2018-12-21 14:26:38
2098
原创 pip报错ImportError: No module named 'pkg_resources'
使用pip报错ImportError: No module named 'pkg_resources' 方法一： yum remove python-pip yum remove epel-release然后重装方法二： 重新安装python的distribution 下载distr...
2018-12-21 14:12:57
4916
1
原创 初步了解并使用runc
简介： 官方说明：runC是一个根据OCI（Open Container Initiative）标准创建并运行容器的CLI tool 解释说明：简单理解，runc其实就是Docker最核心的部分，runc可以不通过Docker引擎，直接创建，运行，销毁容器。我的环境： 系统：CentOS Linux release 7.5.1804 (Core)...
2018-12-11 15:39:41
2555
原创 python ImportError: Bad magic number
是python版本不兼容的问题。解决办法：删除pyc即可 magic number是类UNIX系统上文件的前几个字节的内容，它标志着该文件的类型。Python在编译生成pyc文件时做了一个类似的标记。当Python解释器加载pyc文件时必须先验证该文件的magic number是否正确。任何magic number被损坏的pyc文件都会引发上述错误，包括编辑pyc文件或者使用不同版本...
2018-12-04 16:43:28
17598
5
原创 bash: ip command not found centos
解决bash: ip command not found centos报错：false：yum -y install iptrue：yum -y install initscripts
2018-11-22 09:35:17
767
原创 Failed to get D-Bus connection: Operation not permitted centos7 docker runc
最近遇到了一个问题，在centos7的容器中service启动服务会报错Failed to get D-Bus connection: Operation not permitted[root@ng8w7c7 /]# service ng8w statusRedirecting to /bin/systemctl status ng8w.serviceFailed to get D-Bus...
2018-11-09 09:53:51
4743
1
原创 CentOS 7 配置网络
刚装好了服务器系统需要配置网络，再有多个网络设备接口的配置时，可能会遇到eth0，eth1，eth2。。。ethtool：一个简单好用的小工具。使用方法：ethtool -p devname(例:ehtool -p eth0)回车后与eth0相对应的网卡接口的指示灯会闪烁，直到Ctrl+c结束闪烁。配置网络：配置文件位置：/etc/sysconfig/network-sc...
2018-11-05 11:14:48
195
原创 系统救援模式（备份数据）
背景：公司一台服务器系统故障，/home以及系统下有重要数据需要保留，我们要做的是备份数据然后重装系统。光盘启动：不同机器方式不同（一般为F2或F11），再次不做详细表述。引导后进入如下界面：我们选择Troubleshooting修复系统之后选择营救系统按回车继续选择跳过即可，回车继续系统提示，将系统挂载在/mnt/sysimage下。回车或alt+...
2018-11-05 10:19:27
2627
3
原创 Linux系统下使用rz / sz上传下载
经常使用linux系统的人来说，少不了本地文件上传到服务器，或者服务器上下载。而有些时候使用类似WinScp并不是很方便，例如一些需要跳板机ssh链接的服务器。安装我的机器是CentOS，直接 使用yum安装yum install -y lrzsz使用sz：发送文件到本地# sz filenamerz：本地上传至服务器# rz发送文件到本地实例：...
2018-10-30 14:11:11
1045
原创 常用的抓包工具
建议先了解不同协议和网络层的数据包结构。不然，你将无法了解如何做包分组工作，以及这些工具如何使用。出于学习目的，在使用这些工具列表之前，你必须了解不同协议的数据包，包中的不同字段，这些包字段的含义或目的，以及这些包在网络通信中的使用方式。一旦你知道这些事情，你将能够改变这些值，以便你在网络中看到你所需的效果。1. HpingHping是最受欢迎和免费的抓包工具之一。它允许你修改和发送自定义...
2018-10-24 14:30:37
1358
原创 shell脚本+定时任务解决elasticsearch异常自动重启
shell：#!/bin/bash#进程IDES_ID=`ps -ef |grep elasticsearch |grep -w 'elasticsearch'|grep -v 'grep'|awk '{print $2}'`# 日志输出ESMonitorLog=/home/cntic/es-master-monitor.logMonitor(){ if [[ $ES_ID ...
2018-09-06 17:24:29
1449
原创 hadoop集群安装压缩工具snappy(用于hbase)
hadoop集群安装：https://blog.csdn.net/weixin_40596016/article/details/80392109 之前配置ganglia监控hadoop集群，发现cpu的负载并不是很高。所以为了节省服务器的存储成本，并提高吞吐，打算开启HBase的数据压缩。主流的HBase压缩方式有LZO和Snappy，Snappy的压缩比会稍微优于LZO。相比于gzi...
2018-09-06 14:07:27
619
转载 Ganglia监控hdfs+hbase集群
Ganglia Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。Ganglia工作原理...
2018-08-21 13:59:30
414
原创 关于kafka处理大消息的方法
最近发现kafka在发送一些大消息的时候会报错，修改了配置max.request.size。问题依旧。 后来查阅了一下，都说要调大限制message大小的参数，不过试过之后发现貌似没什么作用。查阅文档发现之前用的客户端kafka已经三年没更新了0.0，后改为目前官方推荐的客户端confluent_kafka，加上"message.max.bytes"参数。然而依旧没什么作用。。。...
2018-08-01 16:29:44
3420
4
原创 java.io.FileNotFoundException (Too many open files)
今天kafka集群报错，查看日志提示[2018-07-18 17:34:02,672] ERROR Error while rolling log segment for PREPROCESS in dir /mnt/sdc (kafka.server.LogDirFailureChannel)java.io.FileNotFoundException: /mnt/sdc/PREPROCES...
2018-07-19 09:29:16
3281
原创 windows下使用git上传项目到gitlab
【一】安装git： https://git-scm.com/downloads【二】新建工程【三】创建秘钥右击桌面会出现命令行窗口然后进入cd ~/.ssh/配置全局的name和email git config --global user.name "***" git config --global user.email "***@**.com"生成key ssh-keygen...
2018-06-12 15:19:50
2831
原创 CentOS7配置ISCSI客户端
iSCSI Initiator（客户端）[一]安装ISCSIInitiator# yum -y install iscsi-initiator-utils[二]启动iscsi服务# systemctl start iscsi[三]设置开机启动服务# systemctl enable iscsi[四]配置ISCSIInitiator名称注意：此处InitiatorName必须与服务端配置的ACL允许...
2018-06-05 09:58:54
3199
原创 kafka性能测试
写入压力测试kafka-producer-perf-test.sh--topic topic名称，本例为test_property--num-records 总共需要发送的消息数，本例为1000000--record-size 每个记录的字节数，本例为1000--throughput 每秒钟发送的记录数，本例为20000--produc...
2018-06-05 09:43:34
1892
原创 贪吃蛇
#!/usr/bin/env.python# -*- coding: utf-8 -*-import pygame,sys,time,randomfrom pygame.locals import *# 定义颜色变量redColour = pygame.Color(255,0,0)blackColour = pygame.Color(0,0,0)whiteColour = pygame.Color...
2018-05-30 16:00:59
448
原创 linux挂载大磁盘（超过2T）
df -h准备工作若无 parted 分区命令，则先进行安装yum install parted -y若无 xfs 文件 或者 无mks.xfs命令：yum install kmod-xfs xfsprogs分区操作 $ parted /dev/sdb(parted) select /dev/sdb #选择磁盘sdb (parted) mklabel gpt #将MBR磁盘格式化为G...
2018-05-21 14:47:51
6848
原创 报错Hbase:namespace
今天遇到一个现象，创新挂载硬盘存储后，重启hbase启动正常，但是创建表的时候报错，换个表名正常。开始以为是节点数据没有清除的问题，删除临时文件和数据重启后问题依旧。看了下日志报错org.apache.hadoop.hbase.TableExistsException: hbase:namespace，提示名称空间的问题。之前可以正常运行，所以排除版本问题。所以问题锁定zookeeper。很可能是
2018-05-08 17:18:30
672
原创 完整编译安装yara
最近使用yara发现会报各种cuckoo，libjansson，libmagic的错误，研究后发现需要编译安装各种依赖和包。如果已经安装过yara，建议删除/usr/local/lib/libyara*/usr/local/bin/yara下载解压，然后./configure --with-crypto --enable-cuckoo --enable-magic --
2018-04-25 12:06:22
2634
原创 master.HMasterCommandLine: Master exiting Cannot assign requested address. To switch ports use the '
在搭建hdfs起hbase的时候报错2018-04-25 10:56:41,772 ERROR [main] master.HMasterCommandLine: Master exitingjava.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMas
2018-04-25 11:13:25
1777
原创 python 获取列表中元素以及出现次数
import collectionslist_data = []d = collections.Counter(list_data)for k in d: print k,d[k]#k为列表中元素，d[k]为出现次数。
2018-04-12 17:15:17
1779
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人