3 upuptop

尚未进行身份认证

upuptop wintp.top upuptop.top pyfysf

等级
博文 146
排名 1w+

面试题((A)null).fun()——java中null值的强转

面试题分享publicclassA{publicstaticvoidfun1(){System.out.println("fun1");}publicvoidfun2(){System.out.println("fun2");}publicstaticvoidmain(Strin...

2019-07-23 08:46:02

中国省市区行政编码

行政编码地区100000中国110000北京120000天津130000河北140000山西150000内蒙古210000辽宁220000吉林230000黑龙江310000上海320000江苏330000浙江340000安徽350000福建360000江西37...

2019-07-11 10:59:41

CSDN博客搬家至博客园>>>>>>>>>>>新地址点击:https://www.cnblogs.com/upuptop

由于种种不可描述原因,最终还是决定搬家至博客园继续更新下面的文章。感谢大家。https://www.cnblogs.com/upuptop博主CSDN博客搬家:https://www.cnblogs.com/upuptop新地址:https://www.cnblogs.com/upuptop...

2019-07-08 22:37:07

创建RDD

RDD创建在Spark中创建RDD的创建方式大概可以分为三种:从集合中创建RDD;从外部存储创建RDD;从其他RDD创建。由一个已经存在的Scala集合创建,集合并行化,而从集合中创建RDD,Spark主要提供了两种函数:parallelize和makeRDD。valrdd1=sc.parallelize(Array(1,2,3,4,5,6,7,8))两个函数的声明def...

2019-07-02 00:06:25

Spark学习之RDD

RDD概述什么是RDDRDD(ResilientDistributedDataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark中,对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。RDD可以包含Pyth...

2019-07-02 00:01:05

Spark学习之第一个程序 WordCount

WordCount程序求下列文件中使用空格分割之后,单词出现的个数input.txtjavascalapythonhelloworldjavapyfysfupuptopwintptopsfoksfsfsfjavaandroidsfpyfysfupuptoppyfysfupuptopjavaandroidsparkhelloworl...

2019-07-01 23:51:35

Storm 实时读取本地文件操作(模拟分析网络日志)

WebLogProduct产生日志类packagetop.wintp.weblog;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.IOException;importjava.util.Date;importjava.util.Random;impo...

2019-06-06 00:00:41

Storm之API简介

Storm之API简介Component组件1)基本接口(1)IComponent接口(2)ISpout接口(3)IRichSpout接口(4)IStateSpout接口(5)IRichStateSpout接口(6)IBolt接口(7)IRichBolt接口(8)IBasicBolt接口2)基本抽象类(1)BaseComponent抽象类(2)BaseRichSpout抽...

2019-06-05 23:23:22

Storm集群搭建

Storm集群搭建官方网址:http://storm.apache.org/官方安装步骤:https://storm.apache.org/releases/1.1.2/Setting-up-a-Storm-cluster.html集群规划hadoop102hadoop103hadoop104zkzkzkstormstormstorm默认认为...

2019-06-05 23:20:13

Linux安装Zookeeper

Linux安装Zookeeper解压zookeeper安装包到/opt/module/目录下 $tar-zxvfzookeeper-3.4.10.tar.gz-C/opt/module/在/opt/module/zookeeper-3.4.10/这个目录下创建zkData mkdir-pzkData重命名/opt/module/zookeeper-3.4.10...

2019-06-05 23:07:18

Storm基础知识学习

概述Storm是一个免费开源的分布式实时计算系统。Storm能轻松可靠地处理无界的数据流,就像Hadoop对数据进行批处理编程模型spout:数据读取数据、接收数据、将数据写出到blotbolt:可以有多个,它是处理数据的类,相当于将MapReduce中的map类整体抽取出来,Reduce整体抽取出来。可以单独写一个bolt去分割数据,写一个blot去合并数据。元组(Tuple...

2019-06-05 22:53:36

KafKa 发消息到Storm

通过kafka客户端发送数据,由KafkaSpout进行接收消息,传输到ConsumerBolt进行实时数据处理。maven依赖<dependencies><!--https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients--><depe...

2019-06-05 22:36:21

HBase的优化

HBase的优化高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群(如果没有开启则跳过此步))$bin...

2019-05-30 15:14:14

HBase部署与使用

HBase部署与使用概述HBase的角色HMaster功能:监控RegionServer处理RegionServer故障转移处理元数据的变更处理region的分配或移除在空闲时间进行数据的负载均衡通过Zookeeper发布自己的位置给客户端RegionServer功能:负责存储HBase的实际数据处理分配个他的Region刷新缓存到HDFS维护HLog执行压...

2019-05-30 12:17:23

Scala 类

Scala类简单类和无参方法classHelloWorld{privatevalvalue=0defincrement():Int=value+1defcurrent():Int=valuedefprintValue:Unit=println(value)}valhelloWorld=newHelloWor...

2019-05-30 00:51:36

Scala高阶函数

高阶函数作为参数的函数函数可以作为参数进行传递defplus(a:Int)=a+10//Array(11,12,13)Array(1,2,3).map(plus(_))匿名函数valarray=Array(1,2,3)//Array(11,12,13)array.map((x:Int)=>x+10)//Array(11...

2019-05-30 00:21:18

模式匹配

模式匹配switch语句//switchvarsign=0for(i<-"abcdf"){imatch{case'a'=>sign=1case'b'=>sign=2case'c'=>sign=3case'd'=>sign=4case_=&gt...

2019-05-29 23:50:32

Scala数据结构

Scala数据结构主要的集合特质Scala同时支持可变集合和不可变集合,优先采用不可变集合。集合主要分为三大类:序列(List),集(set),映射(map)。所有的集合都扩展自Iterable特质。对几乎所有的集合类,Scala都同时提供了可变和不可变版本。Seq是一个有先后次序的值的序列。IndexedSeq能够通过整形下表快速访问Set是一个没有先后顺序的集合。Map是一组键...

2019-05-29 21:20:10

scala基础语法

scala基础语法声明值和变量scala使用val或者var声明变量var/val变量名[:变量类型]=变量值val定义的变量,值是不可变的,是一个常量vara=10varb="hello"valauthor="upuptop"变量类型可以省略,解析器会根据值判断,val和var声明变量时都必须初始化。尽可能的使用不可变变量常用类型Boolean:true或者...

2019-05-29 17:28:31

Scala安装配置

Scala安装配置官网:https://www.scala-lang.org/下载地址:https://www.scala-lang.org/download/简述scala是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行在Java虚拟机上,并兼容现有的Java程序。Scala源代码被编译成Java字节码...

2019-05-29 16:07:33
奖章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。