- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 redis
三台服务器搭建redis集群安装redis安装redis 下载redis-4.0.6.tar.gz上传至/home路径，解压：tar –xvf redis-4.0.6.tar.gz进入目录 cd /home/redis-4.0.6编译安装 make 会在/usr/local/bin/生成连接安装ruby环境运行ruby –v查看ruby是否安装若已安装...
2019-04-22 15:51:31
138
原创 ubunt下redis分布式搭建教程：2主机6节点（每台主机3个节点）
准备：2台机器要求：通过2台机器模拟6个节点，创建出3个master、3个salve安装过程一：下载并解压cd /data/softwarewget http://download.redis.io/releases/redis-3.2.4.tar.gztar -zxvf redis-3.2.4.tar.gz -C /data/opensoftware二：编译安装cd /data/...
2019-04-22 15:49:28
338
原创 DRS:一个开源的STORM系统，用于负载动态调整
DRS:一个开源的STORM系统，用于负载动态调整https://github.com/fuzhengjia/ton-storm-09-drs/blob/master/src/main/java/topology/DectationTopology.java先放上项目地址，项目的内容及使用说明同步更新。https://github.com/fuzhengjia/ton-storm-09-drs/...
2019-04-22 15:29:28
255
原创 痛恨Ubuntu
作为Linux的代表系统，Ubuntu真的太垃圾了，易用性太差1.适配软件太少2.老子信心苦苦搭建的环境，突然输入密码进不去系统了想杀人的心都有了1.适配软件太少QQ，eclipse,Idea根本无法较好的适配各种使用不方便，垃圾，下载速度慢2.老子信心苦苦搭建的环境，突然输入密码进不去系统了想杀人的心都有了...
2019-04-19 21:11:11
279
原创 storm-0.9.3配置信息
# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyrigh...
2018-03-30 14:24:01
164
原创 storm 1.1.1配置信息
注意空格位置，不能多也不能少 storm.zookeeper.servers: - "h1" - "h2" - "h3" nimbus.seeds: ["h1"]# # # ##### These may optionally be filled in:# ## List of custom serializations# ...
2018-03-30 14:23:03
183
原创 zookeeper配置信息记录
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # s...
2018-03-30 14:20:58
179
原创 启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)
启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)报错，当然下面还会有其他报错内容这种问题是由于本地的jar包出现损坏，我的做法是将C:\Users\YN.m2\repository下仓库里的包全部删掉，打开eclipse让其自动下载，过了漫长的一晚上重新建立本地仓库后，第二天早上起来正常运行程序。...
2018-03-30 10:20:04
3696
原创 在Ubuntu上创建maven工程，编译器里一直不能正常使用maven工程
在Ubuntu上创建maven工程，编译器里一直不能正常使用maven工程，原来犯了个低级错误。没有检查到本地的maven环境已经失效。 去网上下载maven安装包，安装并配置mave_home后。 在编译器里仍然又问题，将编译器下载的包全部删掉，reimport本地maven仓库后解决。...
2018-03-28 16:50:42
386
原创 Hadoop,Hbase分布式集群配置手册
在网上搜集了各种配置，经常会出错，现在把自己已经成功配置处理来的一份配置晒出来。1.伪分布式配置手册hadoop-2.6.0habase-2.2.6hadoop中的部分配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" hre...
2018-03-28 16:44:10
164
原创 win7下的storm代码移植到Ubuntu系统上，出现了报错 java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer
java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializerat org.apache.storm.serialization.KryoValuesSerializer.<init>(KryoValuesSerializer.java:33) ~[storm-core-1.1.1.jar:1.1.1]at ...
2018-03-28 13:16:01
6004
1
原创 Ubuntu下的IDEA编辑器，创建maven工程后，jar包已经下载，但是在代码中不导入
Ubuntu下的IDEA编辑器，创建maven工程后，jar包已经下载，但是在代码中不导入如图右侧所述，导致代码中产生了很多错误。 就算用手动导入包，仍然不能运行。 后多方查阅子类，发现一个解决方法。第一步，找到本地maven仓库地址。 第二步，通过命令进入maven仓库，删掉已经导入的依赖包。 第三步，reimport pom.xml文件中的依赖包。 第四步，进入代码，发现...
2018-03-28 11:40:15
285
转载 transient
java语言的关键字，变量修饰符，如果用transient声明一个实例变量，当对象存储时，它的值不需要维持。换句话来说就是，用transient关键字标记的成员变量不参与序列化过程。作用Java的serialization提供了一种持久化对象实例的机制。当持久化对象时，可能有一个特殊的对象数据成员，我们不想用serialization机制来保存它。为了在一个特定对象的一个域上关闭serializat
2017-10-14 11:03:14
315
原创 Storm0.9.3启动后关于参数问题的报错
启动storm后，如果发现报错如下，或者有类似的错误提示：Exception in thread "main" expected '<document start>', but found BlockMappingStart in 'reader', line 43, column 1:是说明参数有错误，在配置文件的43行第1列。原因是因为storm 0.9.3（其他版本或许相同，未做考证）版本
2017-10-12 22:31:38
278
原创 storm-hbase集成：win7下用eclipse开发ubuntu上的storm-hbase程序
平时任务实在比较忙，只能先记录简单步骤，后续再写详细说明。win7下eclipse中开发统一局域网内hbase程序简单操作步骤win7下管理统一局域网内的集群1.3台ubuntu服务器作为实验机器，一台win7作为管理机器，网线都在同一个交换机上。 2.3台主机关闭防火墙，并开通ssh服务。 3.在win7上安装xshell 用来进行命令操作3台主机。安装winscp来进行...
2017-10-07 14:56:03
495
原创 分布式环境下hadoop-2.8.1,hbase-1.3.1的配置文件
分布式环境下hadoop-2.8.1,hbase-1.3.1的配置文件我想说的是，各种配置问题太多，一个不对就可能节点挂掉，节点不能启动等问题，配置步骤已经写过，现在把配置文件记录一下，为以后方便使用。hadoop目录下(h1主节点）core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-styles...
2017-10-06 15:31:40
587
原创 Hbase启动后，在主节点只有Hmaster，而在slave节点上没有Hregionserver
当所有问题都排查，配置没有错误的情况下，查了网上，一般都是集群时间不同步的问题。日志被删掉了，所以不贴出来，大家遇到此类问题可以顺手看下时间是否同步。解决方式date #查看时间是否同步 如果不同步，可以采用多种方式解决，我采用的的是最简单的方法： sudo date -s 13:50:00 #这个时间是当下的标准时间，手工调节3台电脑的时间基本一致 重新启动服务后，成功！
2017-10-06 14:24:46
6787
1
原创 hadoop起动后没有datanode的问题
查看日志后发现：java.io.IOException: Incompatible clusterIDs in /home/storm/hadoop/dfs/data: namenode clusterID = CID-bee17bb7-308b-4e4d-b059-3c73519a9d0e; datanode clusterID = CID-7fca37f0-a600-4e89-a012-aec2
2017-10-06 11:48:22
2978
原创 集群启动使用Hadoop，运行后没有NameNode节点
集群启动Hadoop后，运行后有SecondNameNode和dataNode,但是没有NameNode节点？解决方法：1、先运行stop-all.sh 2、运行hadoop namenode -format 3、运行start-all.sh
2017-10-05 21:33:55
7791
5
原创 linux中profile对常用的软件的路径配置
linux中profile对常用的软件的路径配置（记录）export JAVA_HOME=/opt/javaexport PATH=$PATH:$JAVA_HOME/binexport ZK_HOME=/opt/zookeeperexport PATH=$PATH:$ZK_HOME/binexport STORM_HOME=/opt/apache-storm-1.1.1export PATH=
2017-10-05 20:42:00
687
原创 ZooKeeper分布式安装与配置
ZooKeeper安装与配置一. 单机安装、配置：1. 下载zookeeper二进制安装包下载地址：http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.9/2.解压zookeeper安装包把zookeeper-3.4.3.tar.gz文件存放在/home/hadoop目录下，进行解压：hadoop@ubuntu:~$ sudo tar
2017-10-05 17:06:23
352
转载 CSDN-markdown编辑器简介
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-10-05 16:42:18
286
转载 Apache Storm 官方文档 —— Trident 教程 原文链接 译者：魏勇 Trident 是 Storm 的一种高度抽象的实时计算模型，它可以将高吞吐量（每秒百万级）数据输入、有状
Apache Storm 官方文档 —— Trident 教程Trident 是 Storm 的一种高度抽象的实时计算模型，它可以将高吞吐量（每秒百万级）数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具，你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结（join）、聚合（aggre
2017-09-09 22:56:37
295
Xshell个人免费版
2018-05-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人