8 nma_123456

尚未进行身份认证

暂无相关简介

等级
TA的排名 1w+

增加隐式反馈的svd 推荐

基于svd++的java代码实现,实现了评分矩阵分解的参数计算,使用随机梯度下降,计算参数。参考:https://www.cnblogs.com/Xnice/p/4522671.htmlhttps://blog.csdn.net/zhongkejingwang/article/details/43083603推荐系统-技术、评估及高效算法import java.io.Buff...

2019-10-24 14:34:44

增加偏置项的svd推荐

本文使用基于偏置项的svd,对评分矩阵进行矩阵分解,实现用户内容推荐的评分计算。如有错误的地方,希望大家指正。packagecom.rec.SVDModel;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileNotFoundExcep...

2019-10-24 14:24:33

hdfs文件系统中相互复制的java操作

引用包:importcom.dewmobile.offline.config.Configuration;importcom.dewmobile.offline.connection.HdfsConnection;importorg.apache.commons.math3.analysis.function.Abs;importorg.apache.hadoop.

2018-01-16 15:17:15

Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误

在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行。但是在后期使用过程中,又遇到了相同的问题,为了一劳永逸,今天彻底把问题解决。开发环境:Idea intelligent14 + spark-2.1.0 + kafka在Idea中安装scala

2017-08-11 16:14:51

读取job的历史记录

1、java类import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.NavigableMap;import java.uti

2016-09-12 14:49:02

Hive函数

1、Array创建数据库表,以array作为数据类型createtable person(namestring,work_locationsarray)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'COLLECTIONITEMSTERMINATEDBY',';2、Map创建数据库表createtablescore(

2016-09-05 14:12:15

case when用法

1、划分时间段select deviceid,case when server_time >=20160825000000 and server_time when server_time >=20160825010000 and server_time when server_time >=20160825020000 and server_time when server_

2016-08-31 16:30:54

实践rank,dense_rank,row_number区别

1、新建表create table score(name string,subject string,score string);2、插入数据insert into score values('1','En','80'),('2','En','80'),('3','En','90'),('4','En','60'),('5','En','70'),('6','En','81'),('8

2016-08-30 11:02:59

mapreduce的理解

1、map和reduce有时会启动两个task,这两个task完成的是同一个任务,如绿框中的红框所示,为读取的block块的索引,红色大框中的任务为任务名称,蓝色框为运行任务的主机。2、两个任务同时运行是为了提高map、reduce的运行速度,哪一个运行的快,就会将另一个任务kill掉,如图红色边框内,第二个任务被杀掉,在右侧的备注说明中,记录了被杀掉的原因,由于第一个任务已经运行完毕。

2016-08-18 16:25:29

Thread Join学习

对于join了解,非常浅薄,今天又看到相似的代码,因此动手实践Thread.Join的真正作用。通过三个类加深对Join的了解。Thread1.javapackagecom.port.test;publicclassThread1extendsThread{ publicThread1(){ super("Thread1"); } publicvoidr

2016-07-25 17:47:01

hive去重操作

1、建表createtablelintest(idstring,namestring,sizeint);2、插入数据createtableinform(idstring,namestring,sizeint);3、去重查询selectad,sum(plus),count(distinctname,id)from (selectdi

2016-07-22 14:02:29

hive插入数据

新建表createtablelintest(namestring,idstring)添加新列altertablelintestaddcolumns(plusint)向表中插入数据insertoverwritetablelintestselectuuid,deviceid,'1',count(deviceid)asnumfromkuaiya.

2016-07-08 15:35:31

提交spark程序

在hadoop环境下执行spark程序,使用spark-submit提交jarpackagecom.spark.classfication;importscala.Tuple2;importorg.apache.spark.api.java.*;importorg.apache.spark.api.java.function.Function;importorg.apac

2016-07-06 18:06:19

获取类的路径

由于上篇博客写了关于在hadoop下发送mail的文章,但是在没有将第三方jar包打入到jar包的情况下,yarn jar Mail.jar仍然可以发送出来邮件。所以跟踪查找,在Mail的类MimeMessage中获取资源路径:Object obj = mimeMsg.getClass().getResource("");System.out.println("classpath:

2016-07-01 14:40:33

eclipse创建maven工程读取hdfs文件发送邮件

1、在maven下新建maven工程2、编写代码package WorkFlow.Mail;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration;import or

2016-07-01 11:57:35

Java动态web--jsp页面调用servlet(doPost)

环境:eclipse Mars1、新建Dynamic web2、新建jsp页面,编码:<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="UTF-8"%>hive查询语句查询语句:3、新建servletpackage com.kua

2016-06-17 18:54:09

Hive java编程提交查询语句和配置

java编程配置hive参数和执行查询//设置优先级和reduce数量public static final String MR_TASKS_NUM="set mapred.reduce.tasks=40";public static final String MR_PRIORITY="set mapred.job.priority=VERY_HIGH";//将配置应用于

2016-06-16 18:05:35

yarn编码获取application列表

1、新建maven工程2、编写代码packageYarn.Yarn;importjava.io.IOException;importjava.io.OutputStreamWriter;importjava.io.PrintStream;importjava.io.PrintWriter;importjava.nio.charset.Charset;impor

2016-06-16 16:21:38

Hive动态分区与建表、插入数据操作

1、定义动态分区指不需要为不同的分区添加不同的插入语句,分区不确定,需要从数据中获取。set hive.exec.dynamic.partition=true;//使用动态分区(可通过这个语句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict;//无限制模式 如果

2016-06-14 16:57:20

wordcount

1·、新建maven工程pom.xml文件内容如下: junit junit 3.8.1 test org.apache.hadoop hadoop-mapreduce-client-core 2.3.0 org.apache.hadoop hadoop-hdfs 2.3.0 org.apache.hadoop had

2016-06-07 16:19:30

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。