- 博客(18)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 NTP服务同步时间
sever conf配置# For more information about this file, see the man pages# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5). driftfile /var/lib/ntp/drift # Permi
2017-01-07 18:11:12
573
转载 《Spark 官方文档》硬件配置
spark-1.6.0 [原文地址]硬件配置Spark开发者们常常被问到的一个问题就是：如何为Spark配置硬件。我们通常会给出以下的建议，但具体的硬件配置还依赖于实际的使用情况。 存储系统因为绝大多数Spark作业都很可能是从外部存储系统加载输入数据（如：HDFS或者HBase），所以最好把Spark部署在离这些存储比较近的地方。建议如下：只要
2016-08-15 09:44:09
469
原创 starting to launch local task to process map join maximum memory =1029701632 的原因
错误日志如下这是由于join的时候，其中一个表（左表或者右表）没有数据或者数据很小导致的
2016-07-19 14:47:09
4847
1
转载 从0开始搭建一个微服务的持续交付系统
本文介绍了如何利用开源软件快速搭建一套微服务的持续交付系统。本文假设的环境是Linux操作系统，用到的软件包括Git、Jenkins、Salt、ZooKeeper、Apache等。开始之前，我先简单介绍下持续交付和微服务的概念，以便大家更好的理解本文的精华。什么是持续交付？我们先举个物流的例子，现在各大电商都非常重视物流的自动化建设，在实现包括运输、装卸、包装、分拣、识别等作业过程的设备和
2016-06-07 14:37:59
2100
转载 诊断Java代码中常见的数据库性能热点问题
当我在帮助一些开发者或架构师分析及优化Java应用程序的性能时，关键往往不在于对个别方法进行微调，以节省一或两微秒的执行时间。虽然对某些软件来说，微秒级的优化确实非常重要，但我认为这并非着眼点所在。我在2015年间对数百个应用进行了分析，发现多数性能与可伸缩性问题都来源于糟糕的架构决策、框架的错误配置、错误的数据库访问模式、过量的日志记录，以及由于内存过度消耗而导致的垃圾回收所带来的影响。
2016-06-07 10:30:39
1789
转载 FSDataInputStream
前言在本文档中，你将了解到如何用Java接口读写Hadoop分布式系统中的文件，以及编码的转换等问题。其中有些细节，在你不知道的时候，是非常容易出错的。 这边读写文件分以下三种情况：1. 在非Map Reduce过程中读写分布式文件系统中的文件比如说，你想自己遍历一个文件，想截断一个文件，都属于这种方式。一般该过程发生在run函数中，程序员处理Map Reduce产生的中间
2016-06-05 15:18:18
5939
转载 Scrapy爬虫 - 获取知乎用户数据
安装Scrapy爬虫框架关于如何安装Python以及Scrapy框架，这里不做介绍，请自行网上搜索。初始化安装好Scrapy后，执行 scrapy startproject myspider接下来你会看到 myspider 文件夹，目录结构如下：scrapy.cfgmyspideritems.pypipelines.pysettings.py__in
2016-05-21 15:31:14
1916
转载 Eclipse调试Bug的七种常用技巧
本文写给那些像几年前的我一样刚刚走出校门，及一些未使用过这些高级些的调试技巧的人。记得刚刚毕业的时候，自己连断点也不会打，当时还在用JCreate ，就连毕业设计也是用 System.out 找 Bug 的，想想真的很笨。开始工作后，一个星期过去了，在一个 1 、 2 百万行的系统中找 Bug ，我依然在用 System.out ，当时最痛苦的就是修改代码，
2016-05-16 20:35:09
321
转载 hadoop中MapReduce多种join实现实例分析
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并
2016-05-11 15:33:15
413
转载 网络HTTP、TCP、UDP、Socket知识的总结
OSI 七层模型我们一般使用的网络数据传输由下而上共有七层,分别为物理层、数据链路层、网络层、传输层、会话层、表示层、应用层,也被依次称为 OSI 第一层、第二层、⋯⋯、 第七层。如下图:
2016-05-10 21:21:20
519
原创 MapReduce设置Map和Reduce函数，但是map输出结果后，reduce没有输出，也没有报错
主要原因是reduce输入的格式和map输出的格式不一致，请注意查看格式匹配！
2016-05-10 11:07:15
5003
原创 java.io.IOException: Type mismatch in key from map：解决方法
执行MR程序的时候发生异常：java.lang.Exception: java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.LongWritable日志如下：2016-05-09 21:33:28,871 IN
2016-05-09 21:58:46
8570
1
原创 Windows 使用Eclipse配置连接hadoop，编译运行MapReduce --本地调试WordCount
1.准备工作操作系统：windows 10 开发工具：eclipse 4.5java虚拟机 ：jdk-8u91-windows-x64.exehadoop版本：hadoop-2.6.4.tar.gzhadoop-eclipse插件：hadoop-eclipse-plugin-2.6.0.jar2. 安装过程2.1 jdk安装略2.2 hadoop安装解压 h
2016-05-04 10:47:20
6075
1
原创 如何让vmware 虚拟机 linux 系统可以上网
以下是版本信息一 .在windows 设置1. 打开"网络"-->单击更改-->网络和共享中心-->更改适配器设置2. 右键选择VMnet8的属性，在”共享“处勾选所有，如下图设置二.在虚拟机设置1.选择”NA“模式2.进入cd /etc/sysconfig/network-scripts目录3 修
2016-04-21 09:41:39
499
原创 shell ，sed命令用变量替换字符串，单引号改为双引号
file=/tmp/test.sqlSQL=`sed "s/HIVE_SCHEMA/${HIVE_DATABASE}/" $file`echo "SQL=$SQL"
2015-08-18 11:12:18
2788
原创 shell 获取指定日期的前N天或后N天
获取指定日期的前N天lastDay=`date -d -Nday"$specifiedDay" +%Y%m%d`如下[root@hive-1 data]# echo `date -d -1day"20150708" +%Y%m%d`20150707[root@hive-1 data]# echo `date -d -2day"20150708" +%Y%m%d`201
2015-07-30 16:29:53
1286
转载 Shell下获取系统时间及转换为时间戳的方法
获取当前时间，取到小时currTime=`date "+%Y%m%d %H"`转换为时间戳currTimestamp=`date -d "$currTime" +%s`获取今天时期：`date +%Y%m%d` 或 `date +%F` 或 $(date +%y%m%d) 获取昨天时期：`date -d yesterday +%Y%m%d` 获取前天日期
2015-07-26 14:45:23
1077
VC++.MFC开发(含完整代码
2011-12-08
个人理财系统
2011-12-08
个人理财系统（含完整代码与文档）
2011-12-08
个人理财系统课程设计报告书
2011-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人