8 nma_123456

尚未进行身份认证

暂无相关描述

等级
博文 122
排名 1w+

hdfs文件系统中相互复制的java操作

引用包:importcom.dewmobile.offline.config.Configuration;importcom.dewmobile.offline.connection.HdfsConnection;importorg.apache.commons.math3.analysis.function.Abs;importorg.apache.hadoop.

2018-01-16 15:17:15

Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误

在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行。但是在后期使用过程中,又遇到了相同的问题,为了一劳永逸,今天彻底把问题解决。开发环境:Ideaintelligent14+spark-2.1.0+kafka在Idea中安装scala

2017-08-11 16:14:51

读取job的历史记录

1、java类importjava.text.SimpleDateFormat;importjava.util.Calendar;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.uti

2016-09-12 14:49:02

Hive函数

1、Array创建数据库表,以array作为数据类型createtable person(namestring,work_locationsarray)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'COLLECTIONITEMSTERMINATEDBY',';2、Map创建数据库表createtablescore(

2016-09-05 14:12:15

case when用法

1、划分时间段selectdeviceid,casewhenserver_time>=20160825000000andserver_timewhenserver_time>=20160825010000andserver_timewhenserver_time>=20160825020000andserver_timewhenserver_

2016-08-31 16:30:54

实践rank,dense_rank,row_number区别

1、新建表createtablescore(namestring,subjectstring,scorestring);2、插入数据insertintoscorevalues('1','En','80'),('2','En','80'),('3','En','90'),('4','En','60'),('5','En','70'),('6','En','81'),('8

2016-08-30 11:02:59

mapreduce的理解

1、map和reduce有时会启动两个task,这两个task完成的是同一个任务,如绿框中的红框所示,为读取的block块的索引,红色大框中的任务为任务名称,蓝色框为运行任务的主机。2、两个任务同时运行是为了提高map、reduce的运行速度,哪一个运行的快,就会将另一个任务kill掉,如图红色边框内,第二个任务被杀掉,在右侧的备注说明中,记录了被杀掉的原因,由于第一个任务已经运行完毕。

2016-08-18 16:25:29

Thread Join学习

对于join了解,非常浅薄,今天又看到相似的代码,因此动手实践Thread.Join的真正作用。通过三个类加深对Join的了解。Thread1.javapackagecom.port.test;publicclassThread1extendsThread{ publicThread1(){ super("Thread1"); } publicvoidr

2016-07-25 17:47:01

hive去重操作

1、建表createtablelintest(idstring,namestring,sizeint);2、插入数据createtableinform(idstring,namestring,sizeint);3、去重查询selectad,sum(plus),count(distinctname,id)from (selectdi

2016-07-22 14:02:29

hive插入数据

新建表createtablelintest(namestring,idstring)添加新列altertablelintestaddcolumns(plusint)向表中插入数据insertoverwritetablelintestselectuuid,deviceid,'1',count(deviceid)asnumfromkuaiya.

2016-07-08 15:35:31

提交spark程序

在hadoop环境下执行spark程序,使用spark-submit提交jarpackagecom.spark.classfication;importscala.Tuple2;importorg.apache.spark.api.java.*;importorg.apache.spark.api.java.function.Function;importorg.apac

2016-07-06 18:06:19

获取类的路径

由于上篇博客写了关于在hadoop下发送mail的文章,但是在没有将第三方jar包打入到jar包的情况下,yarnjarMail.jar仍然可以发送出来邮件。所以跟踪查找,在Mail的类MimeMessage中获取资源路径:Objectobj=mimeMsg.getClass().getResource("");System.out.println("classpath:

2016-07-01 14:40:33

eclipse创建maven工程读取hdfs文件发送邮件

1、在maven下新建maven工程2、编写代码packageWorkFlow.Mail;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStreamReader;importorg.apache.hadoop.conf.Configuration;importor

2016-07-01 11:57:35

Java动态web--jsp页面调用servlet(doPost)

环境:eclipseMars1、新建Dynamicweb2、新建jsp页面,编码:<%@pagelanguage="java"contentType="text/html;charset=utf-8"pageEncoding="UTF-8"%>hive查询语句查询语句:3、新建servletpackagecom.kua

2016-06-17 18:54:09

Hive java编程提交查询语句和配置

java编程配置hive参数和执行查询//设置优先级和reduce数量publicstaticfinalStringMR_TASKS_NUM="setmapred.reduce.tasks=40";publicstaticfinalStringMR_PRIORITY="setmapred.job.priority=VERY_HIGH";//将配置应用于

2016-06-16 18:05:35

yarn编码获取application列表

1、新建maven工程2、编写代码packageYarn.Yarn;importjava.io.IOException;importjava.io.OutputStreamWriter;importjava.io.PrintStream;importjava.io.PrintWriter;importjava.nio.charset.Charset;impor

2016-06-16 16:21:38

Hive动态分区与建表、插入数据操作

1、定义动态分区指不需要为不同的分区添加不同的插入语句,分区不确定,需要从数据中获取。sethive.exec.dynamic.partition=true;//使用动态分区(可通过这个语句查看:sethive.exec.dynamic.partition;) sethive.exec.dynamic.partition.mode=nonstrict;//无限制模式如果

2016-06-14 16:57:20

wordcount

1·、新建maven工程pom.xml文件内容如下: junit junit 3.8.1 test org.apache.hadoop hadoop-mapreduce-client-core 2.3.0 org.apache.hadoop hadoop-hdfs 2.3.0 org.apache.hadoop had

2016-06-07 16:19:30

DSP需求平台

DSP广告投放是基于大数据的全网覆盖,并从海量人群中精准定向出目标客群进行广告的投放。只要是被定向的客群,当他浏览任何页面时,广告内容都有几率(取决与RTB竞价成功率)向该潜在客群展示。展现的形式有富媒体弹窗,视频,图片等,只要是该页面的公共广告位,DSP都会自动参与竞价。另外需要着重指出的是DSP是针对目标客群的广告投放,而不是面向媒体的渠道购买。CTR(Click-Through-Rate

2016-06-02 18:32:58

relief算法研究

最近由于工作需要,对数据进行降维处理,通过对各种算法的研究,想寻找一种比较理想的算法,处理数据维度,达到降维的目的,对PCA进行研究,但是PCA是对当前多维数据的空间变换,无法达到物理降维的目的,因此想选择物理降维的算法,因此对卡方算法和relief算法进行相关研究,这两种算法是对数据的物理降维,是特征选择的操作算法。通过几天的查找资料,整理和总结一下内容:个人总结:relief算法是

2016-05-24 17:51:51
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!