- 博客(16)
- 收藏
- 关注
RSS订阅原创 Windows server 2012 网站发布环境准备
1、使用VMware安装windows server 20122、安装Web服务器IIS用于网站的发布1)开始->管理工具-> 服务器管理器-> 角色-> 添加角色-> 选择Web服务器IIS-> 下一步2)角色服务-> ASP.NET-> 下一步 安装3、.NET安装用于应用池的相关组件，安装SQL Server也需要改组件开始-&g...
2019-07-25 18:25:24
441
原创 scala面对对象学习笔记
一、面向对象scala中没有staticobject对象定义的方法和变量都是静态的可以直接通过对象.方法|变量scala的object叫对象在scala中object都是单例的(一个类只能实例化一个对象)(注:不能够new它的实例，构造方法是私有的)二、class定义:class类型eg： class Student{ var name : String //数...
2018-11-29 20:49:57
183
原创 Hive案例学习：电商交易数据分析
电商交易案例–字段含义–Sdate定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性，字段分别为日期、年月、年、月、日、周几、第几周、季度、旬、半月；Stock定义了订单表头，字段分别为订单号、交易位置、交易日期；StockDetail文件定义了订单明细，该表和Stock以交易号进行关联，字段分别为订单号、行号、货品、数量、价格、金额；使用Hive实现下面内容1 创建表并...
2018-11-27 19:42:45
2604
1
原创 Hive案例学习：新浪微博大数据分析
1、组织数据 (需要处理每条数据开头和结尾的中括号)（1）创建Hive表weibo_json(json string)，表只有一个字段，导入所有数据，并验证查询前5条数据create table weibo_json(json string);load data local inpath '/root/weibo.txt' into table weibo_json;select * fr...
2018-11-26 21:42:20
4209
4
原创 Scala并行化集合学习笔记
调用集合的 par 方法, 会将集合转换成并行化集合object Day03 { def main(args: Array[String]): Unit = { val list0 = List(1,2,3,4,5) println(list0.par.fold(0)(_ + _))//15 println(list0.par.fold(10)(_ + _))//65...
2018-11-25 22:00:09
492
原创 乘用车辆和商用车辆销售数据分析
数据样本1 临汾市 尧都区 SY6370C1SBW 金杯 小型普通客车 个人 非营运 1 DL465Q5 汽油 男性//建表create table carsdata(month int,city string,area string,car_model string,brand string,car_type string,owner string,useage string,number...
2018-11-23 21:12:14
2375
1
原创 数据ETL综合案例
一、建表，保存原始数据create table ori_data( cid_sn string, mobile_data_type string, os_ver string, mac string, resolution string, commit_time string, sdk_ver string, device_id_type string, city string...
2018-11-12 21:25:31
5024
原创 连续销售记录查询
请查出整个数据集中，那些有过连续3天销售记录的店；A,2017-10-11,300A,2017-10-12,200B,2017-10-11,400B,2017-10-12,200A,2017-10-13,100B,2017-10-15,600A,2017-10-15,100C,2017-10-11,350A,2017-10-16,300C,2017-10-13,250A,20...
2018-11-11 19:58:12
532
原创 Mapreduce提交任务
一、提交任务public class Driver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://bigdata01:9000"); Job job = ...
2018-11-01 21:08:47
1487
原创 Mapreduce学习：mapper类中的4个泛型参数解析
先看代码public class FlowCountMapper extends Mapper<LongWritable, Text, Text, FlowBean>{}1、LongWritable：表示worder传入KEY的数据类型，默认是一行起始偏移量2、Text：表示worder传入VALUE的数据类型，默认是下一行的文本内容3、Test：表示自己map方法产生产生...
2018-10-30 20:17:10
7168
原创 HDFS集群搭建
一、集群环境准备1、克隆四台linux虚拟机2、修改每一台虚拟机主机名[root@bigdata01 ~]# vi /etc/sysconfig/network3、修改每一台虚拟机ip地址[root@bigdata01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 4、修改每一台虚拟机的网卡物理地址，把eth0的那一行删掉，把下一...
2018-10-28 09:15:48
273
原创 序列化输入流输出流new顺序写反异常详解
代码： try(ObjectInputStream ois = new ObjectInputStream(new FileInputStream("d:/实验/实验.obj")); ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream("d:/实验/实验.obj"))){ ...
2018-08-20 20:22:34
210
原创 Java中关于多线程的锁对象（同步代码块）使用的问题
例题：某公司组织年会,会议入场时有两个入口,在入场时每位员工都能获取一张双色球彩票,假设公司有100个员工,利用多线程模拟年会入场过程,并分别统计每个入口入场的人数,以及每个员工拿到的彩票的号码。线程运行后打印格式如下： 编号为: 2 的员工 从后门 入场! 拿到的双色球彩票号码是: [17, 24, 29, 30, 31, 32, 07]编号为: 1 的员工 从后门 入场! 拿到的双色球彩...
2018-08-20 17:35:18
1955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人