啊_汤哥-CSDN博客

转载 spark on yarn 原理、资源分配、优化等收集

一、集群使用注意点：1、跑的任何job，最好都要加上有意义的job name，不要使用默认的名字hive on spark；2、job应尽可能的少用集群资源达到理想的效果，而不是有多大用多大来提高性能；二、spark on yarn 原理篇：参考博客三、资源分配篇：参考1参考2参考3参考4参考5参考6参考7参考8四、优化篇：spark性能优化：数据倾斜调优如何通过查...

2018-12-20 17:05:35 586

转载 Phoenix优化

文章转载自：http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuningPhoenix性能优化一．建表优化Salting 翻译成中文是加盐的意思，本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值，这个byte值是由主键生成rowkey的byte数组做一个哈希算法，计算得来...

2018-08-15 16:07:15 394

转载 OLAP 玩转KYLIN 步十四为什么使用Hive View

本篇内容大部分参考自文章《Kylin实践之使用Hive视图》为什么需要使用视图Kylin在使用的过程中使用hive作为cube的输入，但是有些情况下，hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至有时候在创建hive表时为了图方便，hive中的所有列都被定义成了string，因此很多情况下在使用Kylin之前需要对hive上的数据...

2018-04-03 16:39:07 728

原创 OLAP 玩转KYLIN 步十三官方案列实战之查询

cube build成功后，我们就可以进行相关查询了，我们可以用kylin的web UI 来写SQL进行查询，也可以用kylin提供的查询接口来查询，并自定义自己的展示方式，也可以与现有的第三方系统集成，完成数据的查询展示。 cube的查询web UI如图所示： ...

2018-04-03 15:47:25 604

原创 OLAP 玩转KYLIN 步十二官方案列实战之build cube

Cube 创建之后，我们就可以对其进行build，下面将介绍build过程中涉及的一些操作。如下图所示，点击Build，即开启cube的创建：具体的创建过程及进度，可在Monitor菜单下查看，如下图：如果上图中的Progress一栏进度为绿色100%，则表示cube的build已经成功。 ...

2018-04-03 15:05:35 651 2

原创 OLAP 玩转KYLIN 步十一官方案列实战之创建Cube之最后一课

经过前面几节讲解cube的创建，终于我们迎来了最后一步，保存cube的创建，如图：创建完成cube并不是工作的结束，只有build cube完成，才算是达到了我们查询的目的，但这时候仍然离终极解决方案有些距离。如何优化cube减少数据的膨胀率，如何配置参数，优化build的性能，这些都是达到查询目的之后，需要慢慢不断去尝试，去探索的，只有这样，才会对kylin的强大有更深的体会。...

2018-04-03 13:58:04 522

原创 OLAP 玩转KYLIN 步十官方案列实战之创建Cube之Configuration Overwrites

在kylin的安装目录下的conf/kylin.properties 文件中有许多控制影响kylin执行的参数配置项; 其中有些是全局配置，即一个运行中的kylin进程，全局参数一旦设定，运行过程中只以全局参数的配置为准，不会运行中被改变; 有些则是与某个 Cube 相关的配置参数，这些配置可以根据Cube的不同进行不同的设置，所以这些参数可以灵活改变以适应具体要求，下面我们就来介绍一下，与Cu...

2018-04-03 13:45:47 1248

原创 OLAP 玩转KYLIN 步九官方案列实战之创建Cube之Advanced Setting

紧接上一节数据刷新设置完毕，点击Next，便进入Advanced Setting设置界面。首先，第一项设置聚合组，如图：合理的聚合组设置，既可以满足查询的需求，也可以优化cube的构建，让我们先理解概念，再谈如何优化。聚合组既将一个Cube的所有维度根据业务需求划分成若干组（当然也可以是一个组），由于同一个组内的维度更可能同时被同一个查询用到，因此会表现出更加紧密的内在关联。每...

2018-04-02 19:49:54 1262 2

原创 OLAP 玩转KYLIN 步八官方案列实战之创建Cube之数据刷新设置

紧接步七，我们就进入了cube数据刷新设置的界面，如图：这里的设置目前包含“Auto Merge Thresholds”、“Volatile Range”、“Retention Threshold”、“Partition Start Date”。 “Partition Start Date”是指Cube默认的第一个Segment的起始时间。同一个Model下不同的Cube可以指定不同的起...

2018-04-02 18:17:28 1886 1

原创 OLAP 玩转KYLIN 步七官方案列实战之创建Cube之设计度量

紧接上一节，我们继续来看Cube创建的又一关键点，设计度量。进入度量添加界面，Kylin默认会为我们创建一个Count（1）的度量，避免不必要的麻烦，不要对其做修改或删除。如图：点击上图中的+Measure便可以添加我们自己的度量。 Kylin支持的度量有：SUM、MIN、MAX、COUNT、COUNT DISTINCT、TOP_N、RAW等。选择需要的度量类型，然后再选择适...

2018-04-02 16:19:28 1951 1

原创 OLAP 玩转KYLIN 步六官方案列实战之创建Cube之维度的选择

上一节，我们创建了一个Model，现在在其之上，我们就可以开始Cube的创建。如下图所示，按标注的数字顺序点击，打开cube创建界面：选择上一节创建完成的Model，命名我们的cube，填写描述信息，点击Next，继续：接下来进入关键一步，cube的维度选择。操作之前，先让我们理解几个概念。衍生维度：维表中可以由主键推导出值的列可以作为衍生维度。如：users维...

2018-04-02 13:56:41 1515

原创 OLAP 玩转KYLIN 步五官方案列实战之创建Model

有了表信息之后，就可以开始创建数据模型（Data Model）了。数据模型是Cube的基础，有了数据模型以后，定义Cube的时候就可以直接从此模型定义的表和列中选择需要的维度列及度量列。为什么需要Model？我们假设不用建Model，直接定义Cube，那如果有两个cube1、cube2，他们用到的事实表、维度表都一样，表间的关联关系也一样，只是查询维度或度量的角度不同，那创建这两个cube...

2018-03-30 16:40:58 1405

原创 OLAP 玩转KYLIN 步四官方案列实战之hive与kylin间的表同步

Project创建完成后，我们的下一步就是要同步表。若要在kylin中使用OLAP 玩转KYLIN 步二官方案列实战之介绍涉及的表中提到的各张表，需要先将表从hive同步到kylin中，步骤如下：按下图标记的数字顺序点击点击表所在的数据库，在数据库展开的表列表中点击选择需要同步的表，最后，点击Sync，开始表同步同步完成后，便可以在下图所示的位置看到各个表，点击某个表，右侧会...

2018-03-30 14:08:21 2350

原创 OLAP 玩转KYLIN 步三官方案列实战之创建Project

不同的查询需求，可以创建不同的Project，就像文件系统的目录一样。创建Project很简单，步骤如下：打开Apache Kylin的Web UI，点击Model，点击下图‘+’，创建Project，如图：命名project,填写项目描述，点击提交，完成创建：如下图，可以在不同的项目间进行切换选择： ...

2018-03-29 19:38:24 718

原创 OLAP 玩转KYLIN 步二官方案列实战之介绍涉及的表

接下来我将从kylin的官方案例开始循序渐进的开始kylin的学习。案例涉及的表的描述（1）KYLIN_SALES 该表保存了销售订单的明细信息。每一行对应着一笔交易订单。根据事实表的定义:事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录等所以，我们会把该表作为事实表来使用字段 ...

2018-03-29 18:10:53 904

原创 OLAP 玩转KYLIN 步一万丈高楼平地起

教程假定kylin系统已被负责运维的人员安装部署完成，使用kylin的人员无需关心系统的运行及配置问题。工欲善其事，必先必知必会kylin设计原理，必知 kylin概念术语，做到深刻理解，方便优化cube的构建维度（Dimension）维度基数度量（Measure）ModelCubeCuboidCube Segment事实表（Fact Table）维度表（D...

2018-03-29 14:32:43 703

原创 Java反射

1.java中获得Class对象的三种方式 1)使用Class类的forName静态方法，该方法需要传入字符串参数，其值是某个类的全限定类名 2)调用某个类的class属性来获取该类对应的Class对象，如Person.class 3)调用某个对象的getClass方法，该方法是java.lang.Object类中的方法，该方法返回对象所属类对应的Class对象2.Cl

2016-06-24 18:57:00 224

原创 Java类加载

1.Java类加载指的是将class文件读入内存，并为之创建一个java.lang.Class的对象。2.java初始化类或接口的时机： 1) 创建类实例，通过new或反射或反序列化创建类实例 2) 调用类的静态方法 3) 访问类或接口的静态属性，或为静态属性赋值 4) 使用反射强制创建某个类或接口对应的java.lang.Class对象。 5) 初始化

2016-06-24 13:27:43 185

原创 Java对象与垃圾回收

1.垃圾回收机制只负责回收堆内存中的对象。2.垃圾回收机制回收任何对象之前，总会调用它的finalize方法，该方法可能使该对象复活，从而使垃圾回收机制取消回收。3.对象在堆内存中有三种状态：激活状态：即有一个或以上引用变量引用该对象去活状态：即没有任何引用变量引用该对象，这时垃圾回收机制准备回收该对象所占有的内存，回收之前，会调用对象的finalize方法，如果方法中让一个变量重

2016-06-21 14:40:58 259

原创 Java枚举类

1.枚举类可以实现一个或多个接口，用enum关键字定义枚举类，默认继承java.lang.Enum类，而不是继承Object类，其中java.lang.Enum类实现了java.lang.Serializable和java.lang.Comparable两个接口。2.枚举类的构造器只能用private访问控制符，不管是省略还是默认或者强制指定访问控制符，都必须是private。3.枚举类的

2016-06-19 21:49:10 202

原创 Java内部类

使用注意：1.根据静态成员不能访问非静态成员的规则，外部类的静态方法、静态代码块不能访问非静态内部类，包括不能使用非静态内部类定义变量，创建实例等。2.非静态内部类里不能有静态方法、静态属性、静态初始化块。3.根据静态成员不能访问非静态成员的规则，所以静态内部类不能访问外部类的实例成员，只能访问外部类的类成员。即使静态内部类的实例方法也不能访问外部类的实例成员

2016-06-18 16:09:42 189

原创 Java数据类型

Java数据类型有两类：基本数据类型和引用类型。基本类型包括boolean类型和数值类型。数值类型有整数类型和浮点数类型。整数类型包括byte、short、int、long、char，浮点类型包括float、double。引用类型包括类、接口、数组类型，还有一个特殊的null类型。null即空引用，只能被转换为引用类型，不能转换为基本类型，因此不要把null赋值给基本数据类型的

2016-06-13 20:51:12 256

原创 Java配置环境变量

为什么要配置环境变量？做为java初学者在学Java时都不可避免的要掌握java环境变量的配置，如今网络如此发达，我们的开发者们都有分享的精神，关于java环境变量的配置，网络上一搜一大把，虽然按着别人的方法正确设置了环境变量，但其中的原因相信大多数初学者都一知半解，现在给大家介绍一下为什么要配置环境变量，以及各变量的作用。1. PATH环境变量：指定命令搜索路径，即在执行类似ja

2016-06-12 20:41:16 524

原创 java泛型

从JDK1.5以后，Java引入了“参数化类型”的概念，允许我们在创建集合时指定集合元素的类型，这就是我们要谈的泛型。为什么要泛型？为什么要搞泛型这个东西呢？这还得从Java集合的缺点说起。熟悉Java集合的朋友们都知道，把一个对象加入集合里，集合便会“忘记”该对象的数据类型，所以当再次取出该对象时，其编译类型变成了Object，但其运行时类型没变。因此，取出该对象时需要强制类型转

2016-06-10 22:24:55 183

啊_汤哥的博客