- 博客(340)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 shell 读mysql内数据
SQL="select id,val from test1 order by id desc limit 1"RESULT=$(mysql -uroot -proot@123 test -e "${SQL}" | awk 'NR > 1' )rs=`echo ${RESULT} | awk -F ' ' '{print $1}'`echo ${rs}
2017-06-27 11:03:19
704
原创 spark Intellij IDEA及eclipse开发环境搭建
Apache Spark探秘：利用Intellij IDEA构建开发环境http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/利用Eclipse构建Spark集成开发环境http://dongxicheng.org/framework-on-yarn/apache-spark-inte
2016-10-20 10:11:53
1044
原创 httpClient 处理SSL问题
public CloseableHttpClient createSSLClientDefault() {try {SSLContext sslContext = new SSLContextBuilder().loadTrustMaterial(null, new TrustStrategy() {// 信任所有public boolean isTrusted(X509Certi
2016-08-19 16:09:27
9366
1
转载 CentOS搭建本地光盘YUM源
两台主机，第一台演示光盘YUM与YUM服务器的搭建；第二台用作后面YUM测试。操作系统：Centos 6.5主机名：yum.serverIP地址：172.20.1.11操作系统：Centos 6.5主机名：test1IP地址：172.20.1.101. 搭建本地光盘YUM源[root@yum ~
2016-05-29 23:32:10
618
转载 Log4j每天、每小时、每分钟定时生成日志文件
转自：http://blog.csdn.net/vtopqx/article/details/8432862 在做项目中基本上都用到了日志log，那么自然就会遇到问题，比方说，日志太大了怎么办？日志很乱怎么办？这时我们就会想到如果能够把日志分为定时的生成即：Log4j每天、每小时、每分钟定时生成日志文件这样多好，既可以方便存储亦利于查看。针对这个一想法，本人做了下测试，
2016-03-18 00:33:41
3865
转载 网卡故障：弹出界面eth0: 错误：没有找到合适的设备：没有找到可用于链接System eth0 的
今天在使用putty连接linux6.0系统远程的时候，重启网卡的时候发现此报错：报错截图如下：排错步骤如下：1：查看系统是否识别相应网卡(发现没有eth0网卡存在)：根据显示信息我们可以初步判定系统网卡信息有问题：2：查看当前MAC地址相关信息：发现多出一块eth1网卡信息。3：删除多余mac地址信息，并修改网卡配置
2016-01-09 01:45:37
6091
转载 redhat下网络的配置
redhat下配置网络主要有两种方式：敲setup命令图形界面配置和通过修改网络配置文件的方式。前者的本质也是修改配置文件。下面重点介绍修改网络配置文件的方式。一、IP的配置：第一（二）块网卡的配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0(1)DEVICE=eth0BOOTPROTO=non
2016-01-09 01:09:37
943
转载 linux系统重启网络delaying initialization错误的解决方法
在我们重启网卡时如果报错如下： device "eth0" does not seem to be present, delaying initialization说明 错误是由于找不到eth0网络设备导致，在我们利用vmware克隆系统后，重启网络就会出现此问题。解决方法1）查看网络设备
2015-12-09 21:51:13
3238
转载 DB2中导出数据库的所有DDL脚本
我们用db2look命令得到数据库对象的DDL 脚本 DB2的db2look命令诠释如下：db2look 版本 8.2db2look：生成 DDL 以便重新创建在数据库中定义的对象语法: db2look -d DBname [-e] [-u Creator] [-z Schema] [-t Tname1 Tname2...TnameN] [-tw Tname] [-h] [-o F
2015-12-01 14:43:12
6343
原创 linux虚拟机网卡启动失败问题处理
1 通过ifconfig查询虚拟机的ip地址没有了2 重启网卡报以下错误connecton activation failed:Device not managed by NetwordManager or unavailable3 查看NetworkManager服务是否启动ps aux |grep NetworkManager4 启动该网络管理程序servic
2015-11-22 10:49:54
4631
转载 CDH 的Cloudera Manager免费与收费版的对比表
CDH 特性免费版付费版Deployment, Configuration & Management系统管理Automated Deployment & Hadoop Readiness Checks自动化部署及快速检查••Install the complete CDH stack in minute
2015-11-08 18:06:15
5595
转载 linux按内容查找文件
1，在某个路径下查文件。 在/etc下查找“*.log”的文件 find /etc -name "*.log"2，扩展，列出某个路径下所有文件，包括子目录。 find /etc -name "*"3，在某个路径下查找所有包含“hello abcserver”字符串的文件。 find /etc -name "*" | x
2015-10-30 00:26:34
1692
转载 2015大连落户新政详解
落户政策一直是在大连生活工作的外埠人员最关心的话题，今天小编就把最新的大连落户政策整理一下，大家看完就可以找到最适合自己最可行的落户途径！ 首先我们明确一下大连行政区域的划分： 大连市行政区域划分为3个户籍管理区，即主城区、新市区、新区。 主城区包括：中山区、西岗区、沙河口区、甘井子区、高新区、旅顺口区。 新市区包括：金州新区、保税区
2015-10-12 12:11:04
1430
原创 JVM启动的时候，默认加入的属性
public static void main(String[] args){ System.out.println("Java运行时环境版本:\n"+System.getProperty("java.version")); System.out.println("Java 运行时环境供应商:\n"+System.getProperty("java.vendor"));
2015-10-09 10:13:46
1185
原创 CentOS Linux解决Device eth0 does not seem to be present及设置固定ip
使用vmware克隆出的虚拟机，在重启网卡（ service network restart）的时候出现报错："Bring up interface eth0：Device eth0 does not seem to be present，delaying initialization”。解决方法简单，如下三步第一步：删除文件70-persistent-net.rules
2015-10-07 14:59:03
745
原创 修改map分片个数
方式一：TextInputFormat.setMaxInputSplitsize(job,1024*1024*10)；TextInputFormat.setMinInputSplitsize(job,1024*1024*50)；方式二：在configration内设置以下参数mapreduce.input.fileinputformat.split.minsize=
2015-09-08 15:09:52
1225
原创 zookeeper 伪分布式安装
1 下载zookeeper安装包 下载地址 http://apache.fayea.com/zookeeper/ 我下载的是zookeeper-3.4.6.tar.gz2 解压缩 将zookeeper-3.4.6.tar.gz拷贝到/usr/local目录下 执行命令 tar -zxvf zookeeper-3.4.6.tar.gz 解压后的目录为
2015-07-15 01:16:07
1600
转载 海量Web日志分析 用Hadoop提取KPI统计指标
海量Web日志分析 用Hadoop提取KPI统计指标Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flum
2015-07-07 00:18:34
886
转载 redis 工具类
Java代码 import java.util.Map; import org.apache.log4j.Logger; import redis.clients.jedis.Jedis; import com.chanjet.gov.service.Const; public class RedisUtil {
2015-06-27 14:21:22
3727
1
转载 HBase表重命名
hbase shell> disable 'oldTableName'hbase shell> snapshot 'oldTableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSnapshot'hbas
2015-06-22 23:53:51
2176
转载 Apache HBase快照介绍
转自 http://www.importnew.com/4966.htmlCDH是Cloudera的完全开源分布式Apache Hadoop及相关项目（包括Apache HBase）。CDH的当前版本（4.2）引入的一个HBase新特性最近加入到了主干中，允许用户对指定表进行快照。在CDH4.2之前，唯一能够备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝HD
2015-06-15 00:12:44
839
转载 如何使用Hadoop的JobControl
转自：http://qindongliang.iteye.com/blog/2064281使用Hadoop里面的MapReduce来处理海量数据是非常简单方便的，但有时候我们的应用程序，往往需要多个MR作业，来计算结果，比如说一个最简单的使用MR提取海量搜索日志的TopN的问题，注意，这里面，其实涉及了两个MR作业，第一个是词频统计，第两个是排序求TopN，这显然是需要两个MapReduce作
2015-06-14 15:18:07
2413
转载 SynchronizedMap和ConcurrentHashMap的深入分析
转自：http://blog.sina.com.cn/s/blog_5157093c0100hm3y.html 在开始之前，先介绍下Map是什么？javadoc中对Map的解释如下：An object that maps keys to values . A map cannot contain duplicate keys; each key can m
2015-06-11 10:41:14
536
原创 IBM---Java 多线程与并发编程专题
http://www.ibm.com/developerworks/cn/java/j-concurrent/ 有线程安全也有线程池的实现~
2015-06-11 10:38:33
1067
转载 Java中的移位操作以及基本数据类型转换成字节数组【收集】
AVA中位运算符包括:&|~^>>>>>一、首先要搞清楚参与运算的数的位数：(联想：java的8种基本类型：byte,short, char, int, long,float,double,boolean. 在内存中固定长度(字节)：1 2 2 4 8 4 8 true
2015-06-11 10:35:30
773
转载 83款 网络爬虫开源软件
网络爬虫介绍及其比较http://www.docin.com/p-321349858.html1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎NutchNutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部
2015-06-11 10:34:12
5342
转载 UNICODE,GBK,UTF-8区别
简单来说，unicode，gbk和大五码就是编码的值，而utf-8,uft-16之类就是这个值的表现形式．而前面那三种编码是一兼容的，同一个汉字，那三个码值是完全不一样的．如＂汉＂的uncode值与gbk就是不一样的，假设uncode为a040，gbk为b030，而uft-8码，就是把那个值表现的形式．utf-8码完全只针对uncode来组织的，如果ＧＢＫ要转ＵＴＦ－８必须先转uncode码，再转
2015-06-11 10:29:45
660
转载 Hive常用的SQL命令操作
转自 http://blog.csdn.net/wisgood/article/details/17186599创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (
2015-06-06 21:09:19
558
原创 hive的Specified key was too long; max key length is 767 bytes问题解决
把hive 的metadata配置成mysql,执行命令时报以下错误hive> show tables;FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validat
2015-06-03 23:20:32
4476
转载 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取
2015-06-02 00:41:40
829
转载 正则表达式30分钟入门
目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献更新纪录本文目标30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。如何使用本教
2015-05-24 02:20:28
1348
转载 XML文档类型定义DTD
DTD概述DTD用来定义XML文档的结构，它包含一系列规则说明，以确保XML文档的一致性和有效性DTD定义了XML文档可用的词汇（元素和属性的名称）和结构：元素名称，包括根元素元素的属性及属性的数据类型和取值方式子元素的名称、顺序、出现次数元素是否拥有子元素，是否能拥有文本内容，等等可以用DTD验证XML文档发现书写错误（命名错误）检查结构和顺序检查是否
2015-05-24 02:11:21
885
转载 Hadoop参数汇总
Hadoop参数汇总@(hadoop)[配置]linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoo
2015-05-24 01:49:27
615
转载 hbase 租约超时及rpc超时出现的问题
随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，在HBase regionserver的log中出现了如下错误: [plain] view plaincopyorg.apache.hadoop.hbase.regionserver.LeaseException: lease '-88413693092487843
2015-05-22 01:14:56
3766
转载 Hbase配置项简介
Hbase配置项简介转自网络Hbase配置项（1）hbase.tmp.dir：本地文件系统的临时目录，默认是java.io.tmpdir/hbase?{user.name}；hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hdfs://namenode.example.org:900
2015-05-22 00:59:54
833
转载 HBase性能优化方法总结（4）：读表操作
来自：http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section3.html本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化方法。
2015-05-22 00:58:49
543
转载 HBase性能优化方法总结（3）：写表操作
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：[java] view plain
2015-05-22 00:58:04
537
转载 HBase性能优化方法总结（2）：表的设计
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都
2015-05-22 00:56:46
535
Java的23种设计模式(疯狂Java总结)
2012-05-12
用UML进行面向构件分析与设计
2012-05-12
webwork2.2.4+spring+hibernate做的一个登入程序
2007-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人