- 博客(28)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 关于flume采集，这个问题一直无法解决，不知道是hadoop集群的问题还是，flume的问题
on_1_201408262011 to /data/flume/event_log/impression_washington_1_201408262011.COMPLETED2014-08-27 10:24:49,844 (pool-5-thread-1) [INFO - org.apache.flume.client.avro.ReliableSpoolingFileEventReade
2014-08-27 10:31:49
2776
2
原创 Mac 使用命令行解压 rar文件
1、首先安装brew> brewzsh: command not found: brew去官网：https://brew.sh/index_zh-cn 找到安装命令：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"2、bre...
2019-02-13 15:46:11
1957
转载 在VMware中使用Nat方式设置静态IP
引用参考：https://www.cnblogs.com/jsonhc/p/7685393.html在VMware中使用Nat方式设置静态IP为了在公司和家中不改变ip，所以采用vm的NAT模式来设置静态ip1、vm采用NAT模式联网2、编辑vm虚拟机设置 3、查看该网段的网关 可以看出网关为192.168.44.2，然后开始设置静态ip然后查看win本机的vnet8网段：可以看出在同一网段了，于...
2018-04-09 15:30:13
404
2
原创 eclipse 搭建一个tomcat 传输文件
1.new -project--dynamic web project2.Windows-->show view-->serversadd tomcat server3.在webContent目录下，放置需要传输的文件一定要刷新出来，eclipse上面能看到，否则页面会报404。当然如果是单独启动的tomcat就不需要了：...
2018-04-04 15:46:08
253
原创 如何在Linux系统搭建jupyter notebook
参考如何在Linux系统搭建jupyter notebookhttps://blog.csdn.net/langhailove_2008/article/details/79110949准备环境，官网下载：linux版本的anaconda3:https://www.anaconda.com/download/#linux上传到server1.执行脚本：sudo sh Anaconda3-5.1...
2018-04-04 14:14:52
1406
原创 英文介绍
介绍项目Do some development work, and force on bigdata, about hadoop spark computer coding.Recently I work data anatyce about sas logic transform spark rdd to implementbecause some metrics can not
2018-02-06 15:42:20
361
原创 Lambda 表达式
Passing Functions to SparkScalaJavaPythonSpark’s API relies heavily on passing functions in the driver program to run on the cluster. In Java, functions are represented by classes implementi
2016-09-10 16:12:19
299
原创 JSONObject_v3
package json;import net.sf.json.JSONArray;import net.sf.json.JSONObject;import java.io.*;import java.util.ArrayList;/** * Created by xz86173 on 2/5/2016. */public class JSONObject_
2016-02-24 11:52:39
370
原创 sbt编译spark源码
[username@server1 spark-1.5.2]$ /data/2/functionId/tmp/compile/sbt/bin/sbt gen-ideaGetting org.scala-sbt sbt 0.13.7 ...You probably access the destination server through a proxy server that is
2016-01-04 16:16:35
1985
原创 IntelliJ IDEA使用说明
安装完Intellij后请记得安装scala插件,此处跳过1.创建scala项目:IntelliJ IDEA使用说明单击右键,run第一次因为要进行编译时间会比较久,第二次运行就快多了进行spark开发:对刚才的程序打包:接下来进行build:
2015-12-06 09:12:47
480
原创 SimpleGraphX PageRank shell
package week7import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.graphx._import org.apache.spark.rdd.RDDobject SimpleGraphX { def m
2015-12-02 08:36:35
491
原创 hive参数调节
一.优化切入后session作用域set mapred.job.priorityset mapred.job.priority=VERY_HIGH整体map执行90%，才会启动reducedMR中间压缩set hive.exec.compress.intermediate=true; hive开启压缩set mapred.compress.map.o
2015-12-02 07:39:26
1711
原创 SparkSqlForTest
package week4/** * Created by Administrator on 2015/3/31. */import java.text.SimpleDateFormatimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.SparkConte
2015-12-02 07:37:43
387
原创 english
1.No animal experiment,[ɪk'sperɪmənt]，When we were on the operating['ɒpəreɪtɪŋ] table.Human is the object of the experiment。If we can choose,the little mouse, or your family.How would you c
2015-11-29 23:24:18
331
原创 Deploy_Cluster_CDH
1.卸载java：rpm -qa | grep java 卸载：rpm -e --nodeps 查询出来的包名2.配置ssh: cd ~/.ssh/ ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2015-11-27 07:57:28
1285
原创 spark cluster 下 spark-shell/spark-spark提交wordcount sparksql Demo
一：环境配置My conf/spark-env.sh is:export SPARK_MASTER_IP=node1.cluster.localexport SPARK_WORKER_CORES=20export SPARK_WORKER_MEMORY=12gexport SPARK_WORKER_DIR=/scratch/cperez/sparkexport
2015-11-27 07:34:01
1679
原创 kafka安装及使用
一：kafka的安装1.n5上面下载：wget http://apache.dataguru.cn/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz2.vi /usr/lib/kafka/config/server.properties broker.id=5log.dirs=/usr/lib/kafka/kafka-logslog.flush.i
2015-11-26 23:04:51
1029
原创 Deploy_Cluster_Apache
一：环境部署修改主机名：vi /etc/sysconfig/network修改主机名和IP的映射关系：vim /etc/hostsjava安装卸载之前版本的java1.卸载java：rpm -qa | grep java 卸载：rpm -e --nodeps 查询出来的包名1.cd /opttar -zxvf jdk-7u75-linux-x64.tar.gz
2015-11-26 23:01:22
808
原创 maven 安装纪录
一：在线安装方式m2e - http://q4e.googlecode.com/svn/trunk/updatesite-iam/ Help -> Install New Software…1.http://download.eclipse.org/technology/m2e/releases 2.http://www.fuin.org/p2-repository/
2015-11-24 23:04:05
446
原创 spark 单机模式
一.安装scalahttp://www.scala-lang.org/download/2.10.6.htmltar -zxvf scala-2.10.5.tar二.安装spark1.下载http://spark.apache.org/downloads.html选择：pre build for hadoop 2.6 later spark-1.5.2-bi
2015-11-24 14:47:56
910
原创 hadoop 单机模式
一：安装hadoop1.binaryhttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz2.hadoop2.6 需要jdk1.7的环境，mac自带的是jdk1.6,升级方法见上一篇文章3.tar -zxvf hadoop-2.6.2.tar.gz4.cd had
2015-11-24 00:09:17
415
原创 mac安装/升级java并配置环境变量
工作需要升级java版本，(1.6-1.7).中间出现了一些插曲。摔，版本明明已经升上去了。。。1.下载java更新包jdk-7u45-macosx-x64.dmg2.安装出错，“您的系统具有 Mac OS X 版本 10.10.5。此产品可安装在版本 10.7.3 或更高版本上。有关详细信息, 请访问 java.com/help。”3.
2015-11-23 23:24:58
2939
原创 hadoop_cluser
修改主机名：vi /etc/sysconfig/network修改主机名和IP的映射关系：vim /etc/hostsjava安装卸载之前版本的java1.卸载java：rpm -qa | grep java 卸载：rpm -e --nodeps 查询出来的包名1.cd /opttar -zxvf jdk-7u75-linux-x64.tar
2015-11-18 08:29:01
1077
原创 hadoop 学习路线
一：大数据中心的技术内幕（彻底理解Hadoop）1.Hadoop:HDFS,MapReduce,Yarn,Sqoop,Hive,Hbase2.Kafka3.Spark4.Flink5.机器学习二：彻底掌握HDFS（具备开发自己网盘的能力）1.HDFS体系架构剖析2.Namenode，Datanode，SecondaryNameNode架构3.保证Name
2015-11-03 17:26:09
848
原创 pymongo 使用
1.连接数据库的脚本import pymongoconn = pymongo.Connection('localhost',27017)异常：Traceback (most recent call last): File "", line 1, in AttributeError: 'module' object has no attribute 'Connectio
2015-08-13 14:29:27
543
原创 jvm学习笔记
1.局部变量栈上分配，永远不可能出现内存泄露堆：全局的，方法的。共享线程、栈：局部的，局部变量，私有线程，一个函数调用结束之后，栈会移除二：JVM启动流程JVM基本结构内存模型编译和解释运行的概念1.java 启动程序2.装载配置：在当前配置下寻找jvm的配置文件，之后定位jvm.dll3.根据配置寻找JVM.dll :4.根
2015-08-03 10:45:14
753
原创 awk 两个文件的两个列若相同，合并两个文件
1.文件1[root@bi-3 bin]# cat push TCL_P728M TCL 74eda717a4aef660f362f1806eb85d9dTCL_S720_JB2 TCL ecb6724875f6361466f4e91df603f06cTCL_P728M TCL f654f6d4f2157a658c0d7f688
2015-08-03 10:39:57
14129
原创 【异常】R语言使用library("XLConnect")：计算机丢失jvm.dll
http://write.blog.csdn.net/postedit
2015-07-23 16:39:19
2616
csapp手稿-计算机系统基础
2017-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人