- 博客(38)
- 收藏
- 关注
RSS订阅原创 大数据增量同步实现方案
目前做的项目使用阿里 DataX 作为不同数据源数据同步的实现工具。数据的批量一次性导入比较简单，对于增量数据需要对不同场景设计不同的方案。会变的数据增量同步
2017-10-26 18:18:57
21130
原创 sqoop实现mysql与hdfs数据迁移
sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root -
2016-06-13 19:42:56
604
转载 sqoop访问MySql被拒绝
今天在linux上远程访问windows下的mysql时出现如下异常： ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: null, message from server: "Host '172.103.54.12' is not allowed to connect to this MySQ
2016-06-13 19:40:23
4673
原创 hadoop2.2.0集群搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的
2016-06-12 18:39:53
288
原创 zookeeper搭建
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：CS通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000
2016-06-12 15:47:15
587
原创 Ubuntu JDK1.7+Eclipse配置
JDK1.7配置1. mkdir /usr/java2.tar -zxvf jdk文件名 -C /usr/java3.vim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.7.0_79 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=
2016-05-25 10:48:49
486
原创 SSH远程登录配置
1. sudo apt-get install openssh-server2. 开"终端窗口"，输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动，如果没有启动，输入"sudo service ssh start"-->回车-->ssh服务就会启动。3.使用gedit修改配置文件"/etc/ssh/sshd_config"
2016-05-24 21:10:31
481
原创 MapReduce执行流程
百科：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Red
2016-05-19 16:39:20
257
原创 RPC简介
1.RPC1.1 RPC (remote procedure call)远程过程调用.远程过程指的是不是同一个进程。1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回给client。1.4 RPC是hadoop构建的基础。2. 通过例子获得的认识？
2016-05-17 11:23:45
282
原创 SSH免登录原理及配置
# 客户端配置# 建立认证公钥和私钥# ssh-keygen -t rsa （会有提示输入密码，直接回车即可）# 之后会在家目录下建立 .ssh 文件夹，内有id_rsa（私钥）和id_rsa.pub（公钥）两个文件# 将公钥文件上传到服务器上server的家目录# scp ~/.ssh/id_rsa.pub [email protected]:
2016-05-11 20:20:12
277
转载 hadoop2.4.1伪分布式搭建
copy视频的学习资料~1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 ->
2016-05-10 19:53:24
657
转载 eclipse部署web项目至本地的tomcat但在webapps中找不到
原文链接：http://blog.csdn.net/woshixuye/article/details/8285101一、发现问题在eclipse中新建Dynamic Web Project，配置好本地的tomcat并写好代码后选择Run on Server,但运行后发现在tomcat的安装目录下的webapps并没有出现所建立的工程名字。 二、验证
2016-04-27 10:03:07
275
原创 使用Genymotion模拟器使用adb工具时出现adb server is out of date. killing...问题的解决
进入Genymotion中 点击settings ADB 切换如图自己电脑上的SDK目录 即可解决
2016-04-14 18:23:31
734
转载 JSP中<base href="<%=basePath%>">作用
代码 String path = request.getContextPath(); String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/"; %> 这段代码的意思是获取当前项目的路径，如
2016-04-12 12:44:45
334
原创 HDUACM-1039
Easier Done Than Said?Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 11199 Accepted Submission(s): 5406Problem DescriptionPa
2016-03-22 19:25:33
319
原创 ZOJ 1056 The Worm Turns 杭电计算机复试2012第二题
The Worm TurnsTime Limit: 2 Seconds Memory Limit: 65536 KBWorm is an old computer game. There are many versions, but all involve maneuvering a "worm" around the screen, trying to avoid ru
2016-03-21 11:37:05
630
原创 杭电计算机研究生复试2015年第二题
/* 给一个数字矩阵，如果上下左右中数值相同，则表示一个连通区域，求矩阵中联通区域的数量 输入：行列数，矩阵 输出：连通域的数量 思路：用BFS遍历*/#include#includeusing namespace std;const int maxn = 100;int n,m;int matrix[maxn][maxn];bool inq[maxn][max
2016-03-20 15:59:56
936
1
原创 HDUACM2062-男女配对-匈牙利算法
过山车Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 16422 Accepted Submission(s): 7194Problem DescriptionRPG girls今天和大家一起去游乐场玩
2016-03-17 20:16:37
1576
原创 HDUACM2059-动态规划问题
龟兔赛跑Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 15145 Accepted Submission(s): 5643Problem Description据说在很久很久以前，可怜的兔子经历了人生
2016-03-17 11:43:00
630
原创 HDUACM-2057 十六进制相加
A + B AgainTime Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 21410 Accepted Submission(s): 9250Problem DescriptionThere must be
2016-03-15 16:09:18
534
原创 HDUACM2054-指针处理字符串
A == B ?Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 86297 Accepted Submission(s): 13612Problem DescriptionGive you two nu
2016-03-15 16:04:53
268
原创 HDUACM2049-错排
不容易系列之(4)——考新郎Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 30350 Accepted Submission(s): 11045Problem Description国庆期间,省城HZ
2016-03-13 16:52:20
971
原创 HDUACM2034
人见人爱A-BTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 64289 Accepted Submission(s): 17942Problem Description参加过上个月月赛的同学一定还记得
2016-03-11 13:23:58
274
原创 HDUACM2031
进制转换Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 38015 Accepted Submission(s): 20845Problem Description输入一个十进制数N，将它转换成R进制数
2016-03-10 16:39:38
313
原创 HDUACM2030
汉字统计Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 36033 Accepted Submission(s): 19655Problem Description统计给定文本文件中汉字的个数。
2016-03-10 15:36:43
262
原创 HDUACM2028
Lowest Common Multiple PlusTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 47977 Accepted Submission(s): 19890Problem Description
2016-03-10 13:50:59
1130
1
原创 HDUACM2025
查找最大元素Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 43748 Accepted Submission(s): 23779Problem Description对于输入的每个字符串，查找其中的最
2016-03-10 10:20:37
283
原创 HDUACM2023
求平均成绩Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 95786 Accepted Submission(s): 22326Problem Description假设一个班有n(n
2016-03-09 21:09:14
268
原创 HDUACM2020
绝对值排序Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 62613 Accepted Submission(s): 30188Problem Description输入n(n In
2016-03-09 13:26:58
268
原创 HDUACM2018
母牛的故事Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 63980 Accepted Submission(s): 31799Problem Description有一头母牛，它每年年初生一头小母牛。
2016-03-09 10:08:53
423
原创 HDUACM2017
字符串统计Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 64173 Accepted Submission(s): 35106Problem Description对于给定的一个字符串，统计其中数字字
2016-03-08 20:14:40
292
原创 HDUACM2016
数据的交换输出Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 83287 Accepted Submission(s): 31222Problem Description输入n(n
2016-03-08 19:23:27
263
原创 HDUACM2015
偶数求和Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 70404 Accepted Submission(s): 30026Problem Description有一个长度为n(n
2016-03-08 09:43:57
296
转载 sublime text 2 调试python时结果空白
sublime text 2 调试python时结果空白(转载以下解决方案)之前用的时候都一切正常，今天突然就出现了这个问题。按ctrl+b执行的时候结果只有空白，查了很多文章都只提到了中文路径、系统路径等等，没有解决问题，直到看到了这篇文章：http://384444165.iteye.com/blog/1798107文章中提到，Sublime Text 2 ctrl+b
2015-10-30 23:53:22
594
转载 【转载】 nutch1.2 中文分词IKAnalyzer插件安装
原文链接http://blog.sina.com.cn/s/blog_8c7c21340100zs7s.html废话不多说直接进入Ik分词安装主题，首先需要下载IKAnalyzer分词包、ant安装包、javacc安装包，nutch1.2搭建及其中文分词安装需要的所有文件，我已经共享上传到了我的115网盘，可供大家下载。一、安装ant及其javacc1、ant 下载地址：htt
2015-05-31 15:57:30
476
原创 Nuch 1.2 +tomcat window下 搭建简单的搜索引擎
一、 实验目的利用开源工具，构建一个简单搜索引擎系统二、 实验环境系统平台：Windows爬虫、索引：Nutch-1.2WEB服务器界面：Tomcat-7.0.61中文分词工具：IKAnalyzer3.2.8 windows平台上运行的类UNIX模拟环境: Cgywin:JDK版本：1.7.0_45三、 实验过程 1.工具安装
2015-05-31 15:44:51
588
原创 VMware 的Ubuntu下安装和配置Ganglia
第一篇学习记录的博客就犯了拖延症....安装ganglia的原因是本学期的云计算课的需求，在网上查找资料，安装成功后，对过程和安装中遇到的问题进行记录。 Ganglia安装1.认识Ganglia是一种可扩展的分布式监控系统，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。G
2015-05-05 21:59:11
585
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人