1 flyinthesky111

尚未进行身份认证

暂无相关描述

等级
TA的排名 24w+

构建数仓基本技术知识(二) ——————————DW/BI高级技术知识

DW/BI高级技术知识  高级事实表技术    事实表代理键      代理键可以用作所有维度表的主键。还可以使用单列代理事实键,不与任何维度关联的事实表代理键,是在ETL加载过程中顺次分配,可用于作为事实表的唯一主键列;ETL中,用作事实表的直接标识符,不必查询多个维度;允许将事实表更新操作分解为风险更小的插入和删除操作。    蜈蚣事实表      一些设计者在对一层次的每层建立不...

2019-05-21 11:19:38

构建数仓基本技术知识(一) ——————————DW/BI基本知识

DW/BI基本知识    基本知识  维度建模  需求:    1.以商业用户理解的方式发布数据    2.提供高效的查询性能  星型模型和OLAP多维数据库    关系型数据库实现的维度模型成为星型模式,结构类似于星型结构;多为数据库中的维度模式通常称为联机分析处理(OLAP)多维数据库。    DW/BI环境包括星型模式或者OLAP多维数据库,则该环境利用了维度概念。...

2019-05-20 14:33:55

scala机器学习实战(三) 保险数据预测分析(LR算法详解)

LR算法详解前言  前景提要,前两篇文章,借助于ScalaMachineLearningProjects一书,利用保险服务的数据,进行了保险行业数据的预测分析,第一篇文章分别用了三种不同的算法进行相同数据的测试,来对比三种算法的模型性能;第二篇则详细通过LR实例解释了spark机器学习中各种输入参数和模型评估的输出参数所代表的的实际意义,本篇文章将详细阐述LR算法的原理,作用以及代码实现...

2019-03-19 17:51:32

scala机器学习实战(二) 保险数据预测分析(代码参数详解)

scala机器学习实战(二)保险数据预测分析(代码参数详解)  前言  上一次的内容分享主要给出了基于保险数据的三种机器学习算法不用的应用流程。主要以代码展示和结果对比为主,本篇文章,笔者将详细解释代码中出现的各个参数的意义  代码实例(只展示算法应用部分,全部代码请移步)objectScalaLR{defmain(args:Array[String]):Unit...

2019-03-19 11:06:36

scala机器学习实战(一) 保险数据预测分析

scala机器学习之保险数据预测分析 数据资料来源: 此文章数据内容来源于ScalaMachineLearningProjects2018版一书,本书分为是一个章节,本文章内容来自于第一章节书本链接:ScalaMachineLearningProjects文章所用数据链接:百度云盘链接:提取码:m4ma前言  由于该书目前没有中文的翻译文档,所以该书的很多地方...

2019-03-18 17:16:26

spark编程模型第三部曲——RDD的创建和转换

此经验来源于《图解Spark核心技术与案例》一书,书挺不错的,有需要学习的可以去看看。  接着上回说到的RDD接口往下说,上回简单的通过举例将RDD的一些常用借口展示了一下,咱们此篇文章将主要解释一下RDD的创建和转换,同样,主要也会是文字解释加代码实操。  目前创建RDD主要是通过两种基础的RDD:一种是并行集合(ParallelizedCollections),接收一个...

2018-09-11 18:17:13

spark编程模型二之RDD的编程接口

版权声明:本文为博主原创文章,未经博主允许不得转载。https://blog.csdn.net/flyinthesky111/article/details/82563781...

2018-09-10 12:49:43

Spark核心之编程模型详解

  此次经验分享共分为两部分,上部分主要偏向理论介绍,下部分更偏向代码实操此经验来源于《图解Spark核心技术与案例》一书,书挺不错的,有需要学习的可以去看看。一、整体介绍  最近几十年,随着计算机行业和互联网的发展,数据量也得到了爆发式的增长,以往的单台机器去处理数据的能力远远满足不了现在数据处理的性能要求。针对这种现状,谷歌提出了MR模型,后来又出现了storm流处理系统,im...

2018-09-08 14:46:29

k8s学习总结

rancher2.0、k8s简介及其环境搭建一、rancher学习总结docker是什么Docker是一个开源的引擎,可以轻松的为任何应用部署一个轻量级的、可移植的、自给自足的容器。Docker常用于一下几种场景:-web应用的自动化打包和发布;-自动化的测试和持续集成、发布;-在服务环境中部署和调整数据库或者后台的其他应用;-从头编译或扩...

2018-07-12 15:26:10

区块链技术之Fabric逻辑架构详解

一、架构图该图出自区块链技术指南一书,架构解释也主要出自于本书,有兴趣的同学可以去自行找一找资源。如图所示:fabric的底层主要由四种服务构成,分别是:身份服务、策略服务、区块链服务、智能合约服务。在这些基础服务之上,通过一些API、SDK、CLI为上层业务应用提供一些可以编程的接口服务。二、服务详解2.1身份服务首先明确一点,fabric和比特币与以太坊的最大的区别在于...

2018-05-23 22:12:52

Navicat连接orcale数据库存入blob字段

针对大部分人使用orcale数据库时采用的链接工具是PLSQL的问题,此处针对的是Navicat连接orcale数据库解决blob字段的存储问题。一、建议带有blob字段的资源表二、选择对象下方的下拉菜单按钮三、选择查看–》图像之后,下方就会出现如下对话框四、选择blob字段,然后选择对话框中第一个加载按钮,选择要存储的图片,即可把图片存入orcale数据库中。...

2018-04-24 15:04:03

spark源码分析之Partitioner

一、源码下载以及安装阅读这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309二、源码分析打开org.apache.spark.Partitioner.scala文件整体结构上看,Partitioner有两个子类,分别是HashPartition...

2018-02-27 14:56:57

spark源码分析之dependency

一、源码下载以及安装阅读这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309二、源码分析打开org.apache.spark.Dependency.scala文件整体看首先Dependency实现了序列化abstractclassDe...

2018-02-27 14:19:44

spark源码分析之spark-hive

继续看源码这里详细说一下spark-hive的源码一、源码下载以及用idea打开附上我第一次写的链接,前面有仔细说,大多数人应该都知道怎么弄http://blog.csdn.net/flyinthesky111/article/details/79379309二、源码分析废话不多说,直接看吧。咱们先看一下hive的客户端的代码,这里我先打开的是客户端的做(特质)接口对...

2018-02-27 10:52:49

spark源码分析之sparkcontext

一、源码下载以及安装阅读这部分可以看我写的第一个源码分析的开始,有说明,比较简单,附上链接http://blog.csdn.net/flyinthesky111/article/details/79379309二、源码阅读以及分析老规矩,先看总体注释,看完对sparkcontext就有一个大概印象第一段注释:MainentrypointforSparkfunctional...

2018-02-26 18:09:14

spark源码分析之sparkconf

一.源码下载以及打开下载源码时直接从spark官网去下载就行,这里附上地址http://mirrors.shu.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1.tgz。源码从官网下载后保存到本地后解压,再用idea打开解压后的文件就可以进行源码阅读了。二.sparkconf源码分析将spark源码在本地打开后,就可以开森的进行源码阅读了,下面就...

2018-02-26 17:00:02

史无前例详细从零开始安装Hadoop集群

1.安装一个VM虚拟机管理工具。(这个网上自行下载,傻瓜式一键安装就好)2.配置VM的环境2.1配置Windows中vmnet8网卡的ip配置3.创建一个虚拟机(空白的虚拟机,稍后用自己的ISO镜像文件装系统)4.安装Linux的虚拟机系统(虚拟机的设置中按照如下进行设置)5.启动Linux系统,进行基础配置安装本地yum源先确保虚拟机的驱动已经

2018-02-02 11:17:39

spark 机器学习一 聚类算法案例小结

最近公司需要用到机器学习做项目,本菜鸟就得去研究研究怎么回事这个案例是网上找的一个聚类算法的案例,自己敲了敲,写写先上训练数据0.00.00.00.10.10.10.20.20.25.05.05.05.15.15.15.25.25.29.09.0

2018-01-31 19:51:23

elasticsearch在虚拟机如何以root用户启动的问题详解

如题,我在学习ES的时候,在Linux虚拟机启动ES的时候,以root用户启动,报错了,告诉我不能以root用户启动。网上一查,是由于ES的安全机制导致的,查了解决办法,具体命令如下bin/elasticsearch-Des.insecure.allow.root=true按照网上的方法输入后,没什么用,后来有事创建新用户,给权限,自己水平有限,还是失败了。究其原因,是因为版本的

2018-01-30 19:09:18

scala中转换本地时间戳的问题

1.获取本地时间valAddTime=i.getAs[Timestamp]("AddTime").toLocalDateTime2.转换为毫秒时间信息valsecond:Long=AddTime.atZone(ZoneId.systemDefault()).toEpochSecond

2018-01-30 14:12:02

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!