- 博客(335)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 父类上的注解能被子类继承吗
父类上的注解可以被子类继承吗？我们知道在编写自定义注解时，可以通过指定@Inherited注解，指明自定义注解是否可以被继承。但实现情况又可细分为多种。测试环境如下：-----------------------------------------------------------------父类的类上和方法上有自定义的注解--MyAnnotation子类继承了这个父类，分别...
2018-08-22 11:08:41
2862
1
原创 org.apache.jasper.JasperException: java.lang.IllegalStateException: No output folder:
org.apache.jasper.JasperException: java.lang.IllegalStateException: No output folder:关于这个原因主要是权限的问题，在tomcat/work/Catalina/localhost/，主要是这个目录没有被读写的权限，导致文件不能被编译到该指定的工作目录中，此时我们就要针对与这个目录做一些权限的修改权限至少要达到755...
2018-06-13 16:54:54
1830
原创 CAS4.0 server 环境的搭建
1、上cas的官网下载cas server 官网地址:https://github.com/Jasig/cas/releases,下载好后 解压下载的 cas-server-4.0.0-release.zip 压缩包，把cas-server-4.0.0\modules\cas-server-webapp-4.0.0.war 重命名为cas.war2、cas.war 放到tomcat的...
2018-06-11 17:05:34
398
原创 linux tomcat7,nginx开机自启
linux tomcat7开机自启？/centos7 tomcat开机自启？linux nginx开机自启？/centos7 nginx开机自启？类似很多上面的这种开机自启问题都可以通过下面的方法解决，这两天查询了很多资料，试了很多方法。终于解决了。比如想要开机自启动tomcat7，最简单的方法就是修改/etc/rc.d/rc.local文件。在最后添加 export JAVA_HOME=/...
2018-06-04 19:38:03
302
转载 ./configure && make && make install详解
在Linux中利用源码包安装软件最重要的就是要仔细阅读安装包当中的README INSTALL两个说明文件，这两个文件会清楚的告诉你如何可以正确的完成这个软件的安装！ 我们都知道源码包安装分为这么几个阶段，1、 ./configure：“configure”会在你的系统上测试存在的特性 Make：编译程序。5、 cd：进入到这个源码包。 现在ls一下mrtg这个目录下多了一个...
2018-06-04 15:59:05
15111
转载 个人超全hbase集群搭建过程！！！
Hbase集群是建立在hadoop集群之上，需要先搭建好hadoop集群，再搭建hbase集群。集群规划[plain] view plain copy 主机名 IP 安装的软件 运行的进程 itcast01 192.168.1.201 jdk、hadoop NameNode...
2018-05-29 16:03:36
360
原创 AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs
1.在用MapReduce 跑Hbase任务是出现这个从错误： AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster. 这个问题出现的背景是：Hbase中某张表每一条都含有照片，并且照片较大。问题原因貌似跟内存有关，可能是集群...
2018-05-29 13:11:44
6931
转载 sqoop 常用命令整理（一）
这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST 2.账号密码 sqoop import --connect jdbc:mysql://da...
2018-05-29 10:05:01
1075
转载 sqoop export 数据覆盖更新
sqoop的导出工具是把HDFS上文件中的数据导出到mysql中mysql中的表现在在linux上创建一个文件，并把这个文件上传到hdfs上cat person.txt 7,no7,778,no8,88$ hadoop fs -mkdir person_export$ hadoop fs -put -f person.txt person_export$ hadoop fs -ls p...
2018-05-29 10:02:23
1763
转载 MYSQL登录错误：mysqladmin: connect to server at 'localhost' failed
一、mysql登录错误mysqladmin: connect to server at 'localhost' failederror: 'Access denied for user 'root'@'localhost' (using password: YES)'无法修改密码用 service mysqld stopmysqld_safe --skip-grant-tables &输入...
2018-05-28 16:37:17
6607
转载 使用sqoop从mysql导入数据到hive
目录前言一、使用的导入命令二、遇到的问题及解决1. 用文本字段进行分区的问题2. Hadoop历史服务器Hadoop JobHistory没开启的问题3. 连接元数据存储数据库报错4. 没有在hive创建数据库5. 其他警告和报错三、参考 回到顶部前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3My...
2018-05-28 13:44:32
1768
原创 虚拟机内存设置
虚拟机内存设置-Xms20m 初始堆内存 -Xmx20m 最大堆内存 -Xmn1m 新生代内存默认1/3或者1/4 -Xss1m 函数调用最大深度private static int count;public static void recursion(){count++;recursion();}-XX:SurvivorRation=2 新生代eden/from或者eden/to 复制...
2018-05-22 13:01:01
1021
转载 hadoop2.7.2完全分布式环境搭建
1、先使用groupadd hadoop 建立hadoop用户组2、新建用户，useradd -d /usr/hadoop -g hadoop -m hadoop （新建用户hadoop指定用户主目录/usr/hadoop 及所属组hadoop）3、passwd hadoop 设置hadoop密码（这里设置密码为hadoop）4、安装好jdk1.8版本 ，安装教材地址http://www.cnbl...
2018-05-18 13:09:00
686
1
转载 windows下eclipse 做hadoop开发
1、先安装好hadoop 集群 参考文档http://www.cnblogs.com/bornteam/p/6517960.html2、首先安装好集群，再把去下载hadoop-eclipse-plugin-2.6.0.jar放在eclipse安装文件夹的插件中 下载链接https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/r...
2018-05-18 13:07:40
206
转载 hadoop ha 只能同时启动一个namenode问题的解决方案
启动一个，另外一个就自动退出了。。后来发现是我配置文件的问题：1. hdfs-site.xml 里缺少如下配置，这是关于HA的<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop...
2018-05-16 22:43:51
3475
原创 解决 maps to localhost, but this does not map back to the address
修改 /etc/ssh/ssh_configvim /etc/ssh/ssh_configGSSAPIAuthentication no
2018-05-16 20:20:09
2627
转载 Hadoop总结—思维导图
概述最近在学习Hadoop系统，目前学习了HDFS、Mapreduce、HBase、Hive、Zookeeper这些组件，因此尝试将学习的东西用思维导图的形式做一个总结回顾。思维导图总体搭建架构-HDFS架构-MapReduce组件-HBase组件-Hive组件-ZooKeeper...
2018-05-10 18:52:57
1035
转载 linux环境下安装nginx步骤
开始前，请确认gcc g++开发类库是否装好，默认已经安装。 ububtu平台编译环境可以使用以下指令apt-get install build-essentialapt-get install libtool centos平台编译环境使用如下指令 安装make：yum -y install gcc automake autoconf libtool make 安装g++:yum ins...
2018-05-09 15:39:32
135
转载 nginx无法启动: libpcre.so.1/libpcre.so.0: cannot open shared object file解决办法
NGINX启动时提示错误：/usr/local/nginx/sbin/nginx -t/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directoryldd $(which /usr/lo...
2018-05-09 15:38:31
1250
转载 Linux下安装Redis
redis官网地址：http://www.redis.io/ 最新版本：2.8.3 在Linux下安装Redis非常简单，具体步骤如下（官网有说明）： 1、下载源码，解压缩后编译源码。$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzf redis-2.8.3.tar.gz$ cd red...
2018-05-09 13:51:56
140
转载 hive使用mysql作为元数据库时的编码问题
hive的Specified key was too long; max key length is 767 bytes问题解决解决一： FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creatingalidating the datastore for clas...
2018-05-09 11:22:55
576
转载 使用sqoop将mysql数据导入到hadoop
Sqoop的安装也很简单。完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231结果如下即说明sqoop已经可以正常使用了。...
2018-05-09 11:20:50
1367
转载 hadoop hdfs常用命令
hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs...
2018-05-08 10:32:51
265
转载 Hive安装（本地独立模式，MySQL为元数据库）
3. 复制一份hive-default.xml.template重命名为hive-site.xmlcp hive-default.xml.template hive-site.xml4. 更改hive-site.xml 内容注意：javax.jdo.option.ConnectionURLjdbc:mysql://localhost/hive_metastore?createDatabaseIfN...
2018-05-07 23:05:01
435
转载 Hive安装与配置
Hive的下载地址：http://archive.apache.org/dist/hive/，你可以选择你适合的版本去下载。本博客下载的Hive版本为0.8.0。你可以运行下面的命令去下载Hive，并解压： [wyp@wyp Downloads]$ wget \ http://archive.apache.org/dist/hive/hive-0.10.0/hive-0.10.0.tar.g...
2018-05-07 20:59:13
598
原创 数据源配置时加上编码转换格式后出问题了
xml文件中配置JDBC源遇到问题 ： The reference to entity "characterEncoding" must end with the ';' delimiter 数据源配置时加上编码转换格式后出问题了：The reference to entity"characterEnco...
2018-05-07 20:52:32
874
转载 java异常处理的throw和throws的区别
1. 区别throws是用来声明一个方法可能抛出的所有异常信息，throws是将异常声明但是不处理，而是将异常往上传，谁调用我就交给谁处理。而throw则是指抛出的一个具体的异常类型。2.分别介绍 throws：用于声明异常，例如，如果一个方法里面不想有任何的异常处理，则在没有任何代码进行异常处理的时候，必须对这个方法进行声明有可能产生的所有异常（其实就是，不想自己处理，那就交给别人吧，告诉别人...
2018-05-07 11:06:50
252
原创 找不到或无法加载主类 org.apache.sqoop.sqoop
错误：找不到或无法加载主类 org.apache.sqoop.sqoop我从网上搜索答案，说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下，或者放到share/hadoop/yarn下，其实这种说法是片面的！因为到1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar或者sqoop-1.4.6.jar.解决方法：1.sqoop-1.4.x.tar...
2018-05-04 23:09:35
5278
3
转载 Linux上安装Zookeeper以及一些注意事项
分布式应用现在已经越来越广泛，Spring Could也是一个不错的一站式解决方案，不过据我了解国内目前貌似使用阿里Dubbo的公司比较多，一方面这个框架也确实很OK，另一方面可能也是因为Dubbo的中文文档比较全的缘故，据Dubbo官网上的消息，阿里已经重新开始了对Dubbo的维护，这也算是使用Dubbo的互联网公司的福音了吧。OK，废话不多说，今天我们就先来看看如何在Linux上安装zooke...
2018-05-04 22:30:43
238
转载 如何将mysql数据导入Hadoop之Sqoop安装
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够...
2018-05-04 21:55:31
374
转载 linux下mysql安装
1、下载地址https://www.mysql.com/downloads/选择community server 点击DOWLOAD选择版本，当前选择的5.6版本 点击下载mysql-5.6.38-linux-glibc2.12-i686.tar.gz选择no thanks2、安装mysqltar -xvzf mysql-5.6.38-linux-glibc2.12-i686.tar.gz...
2018-05-04 17:43:43
107
转载 Linux下安装MySQL
安装步骤1、下载 下载地址：http://dev.mysql.com/downloads/mysql/5.6.html#downloads 下载版本：我这里选择的5.6.33，通用版，linux下64位 也可以直接复制64位的下载地址，通过命令下载：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-lin...
2018-05-04 10:38:00
104
原创 userdel删除用户时候提示：userdel: user xx is currently logged in
创建新用户后，想删除，使用 userdel xx 删除，结果出现userdel: user xx is currently logged in 的提示，其结果是无法删除，可以使用 sudo userdel -r -f xx 加两个参数，给他强制删除，之后可能出现警告：userdel: warning: can't remove /var/mail/wxt: No such fil...
2018-05-03 13:32:24
1602
转载 Java项目中使用Redis缓存案例
缓存的目的是为了提高系统的性能，缓存中的数据主要有两种： 1.热点数据。我们将经常访问到的数据放在缓存中，降低数据库I/O,同时因为缓存的数据的高速查询，加快整个系统的响应速度，也在一定程度上提高并发量。 2.查询耗时的数据。如果有一些数据查询十分耗时，那么每次请求这些数据时，都去数据库查询的话，会使得系统响应速度特别低，数据库cpu...
2018-05-03 09:36:54
1740
转载 数据库表添加索引对性能的影响
1.添加索引后查询速度会变快 mysql中索引是存储引擎层面用于快速查询找到记录的一种数据结构，索引对性能的影响非常重要，特别是表中数据量很大的时候，正确的索引会极大的提高查询效率。简单理解索引，就相当于一本砖头厚书的目录部分，通过目录可以快速查找到想要找的内容具体所在的页码。在经常需要搜索的列上创建索引，可以加快搜索的速度。如果表中数据少的话，没必要用索引，如果表中数据很多的话，还是有索引比较...
2018-04-27 14:59:06
4037
转载 Java 之 Serializable 序列化和反序列化的概念,作用的通俗易懂的解释
遇到这个 Java Serializable 序列化这个接口，我们可能会有如下的问题a，什么叫序列化和反序列化b，作用。为啥要实现这个 Serializable 接口，也就是为啥要序列化c，serialVersionUID 这个的值到底是在怎么设置的，有什么用。有的是1L，有的是一长串数字，迷惑ing。我刚刚见到这个关键字 Serializable 的时候，就有如上的这么些问题。在处理这个问题之前...
2018-04-17 14:25:44
158
转载 linux sudo 命令
简单的说，sudo 是一种权限管理机制，管理员可以授权于一些普通用户去执行一些 root 执行的操作，而不需要知道 root 的密码。严谨些说，sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然，能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策略，并能把输入输出写入日志。第三方可以开发并发布自己的安全策略和输入输出日志插件，并让它们无缝的和 sud...
2018-04-12 22:25:24
127
原创 Hadoop Mapreduce Error Input path does not exist: hdfs://localhost:54310/user/hduser/input"
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/inputhduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s...
2018-04-12 19:35:30
3201
1
转载 Usermod 命令详解
usermod [options] user_nameusermod 命令修改系统帐户文件来反映通过命令行指定的变化选项(options)-a|--append ##把用户追加到某些组中，仅与-G选项一起使用 -c|--comment ##修改/etc/passwd文件第五段comment -d|--home ##修改用户的家目录通常和-m选项一起使用 -e|--expiredate #...
2018-04-12 17:35:33
8048
转载 ssh：connect to host localhost port 22: Connection refused解决方法
安装hadoop的时候，需要配置ssh无密登录 运行ssh localhsot的时候会报错： linux系统(centos6.4) ssh：connect to host localhost port 22: Connection refused 解决方法： 1.检查是否安装了openssh-serverps -e|grep ssh1如果只出现了一个ssh，说明没有...
2018-04-12 11:20:15
2955
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人