superhanliu-CSDN博客

原创 CDH6.3.2中安装kylin4

1、从kylin官网下载kylin4因为看到版本4使用spark构建crub存与parquet中，更快更省更先进，且官网写支持cdh6实际中kylin4要想跑起来还是很不顺利的过程中还试验了kylin3，效果更差，启动都不行2、选择1个kerberos认证过的用户，需要有hdfs权限？登录主机配置kylin的整个目录的own和group都是这个用户（chgown）配置kylin.propertes，修改其中mysql数据库的配置(前提是要安装好mysql，分配好库和用户权限等)

2022-04-02 17:20:25 2577

原创 spark比mapreduce快的原因

1、spark基于有向无环图DAG生成执行计划，他属于1个改进版的MapReduce，降低了很多不必要的shuffle次数，减少了节点之间的数据交换和磁盘IO，中间无需落盘。针对反复使用的数据可以进行内存cache提高加载使用效率2、spark基于内存，窄依赖任务的数据都在内存中进行交换3、spark任务启动时会把需要的内存一次性申请到位才真正运行，而mr是更细的粒度，每个子任务真正运行时才申请内存如果申请不到会等待，也会造成延时...

2021-12-30 16:54:41 1165

原创大数据学习之——hive小文件合并

学习原文：Hive优化之小文件合并_不积跬步无以至千里-CSDN博客_hive合并小文件解决方案:1. 在Map输入的时候, 把小文件合并.-- 每个Map最大输入大小，决定合并后的文件数set mapred.max.split.size=256000000;-- 一个节点上split的至少的大小，决定了多个data node上的文件是否需要合并set mapred.min.split.size.per.node=100000000;-- 一个交换机下split的至少的

2021-12-30 16:51:08 1186

原创大数据学习之——OLAP 核心知识

学习原文：每个大数据工程师都应该知道的OLAP 核心知识点_Storage谈存储行存传统ods中的B+树聚簇索引，page中包含排序好的行，因此一次查询多个以及更新列存读取需要的列、跳过无用数据、避免IO放大、存储紧凑、压缩友好简单类型：使用bitmap编码、字典编码等，付出一些cpu节省很多IO复杂类型：parquet算法(定义级别DL+重复级别RL)数值类型：bitshuffle转换现代OLAP多采用行列混存方案，采用DataBlock+Header/Foot

2021-12-30 16:38:40 837

原创大数据学习之——实时数仓演进

学习的原文：Flink + TiDB，体验实时数仓之美实时数仓演进图：storm架构：spout负责数据传递，输出tuples元组，Bolt负责数据转换storm的不足：无法支持时间窗口lambda架构：batch layer:全量离线数据，输出batch viewreal time layer/speed layer: 实时增量数据,输出 realtime viewserving layer：将batch view和re...

2021-12-30 16:32:46 2111

原创 java单例模式-懒汉模式演进总结

本文是2018年写的，总结了市面上java单例模式之懒汉模式的所有写法。实际多线程场景中，前面的一些实现是存在问题的。public class SingleTon1 { private static SingleTon1 instance; public static SingleTon1 getInstance() { if (instance == null) { instance = new SingleTon1(); } .

2020-05-09 11:13:21 121

原创 postgresql数据库主从备份过程

天网线上pg数据库主从配置实践一、前期准备1.1主库准备：1.1.1 结构备份生成结构脚本，通过navicat客户端进行1.1.2 重要表数据备份重要表数据导出sql文件，通过navicat客户端进行1.2 从库准备：1.2.1 准备1个干净的pg库版本和主库保持一致或者把已有库删除重建。因之前已安装有pg，此次进行重新安装，步骤如下：#删除旧库yum erase postgresql-server# 删除旧库的数据文件...

2020-05-09 10:57:54 1616

原创图片头部识别标志

/*** 图片头部识别标志*/image_jpg(ImageTypeEnum.jpg, "ffd8"),image_bmp(ImageTypeEnum.bmp, "424d"),image_tiff1(ImageTypeEnum.tiff, "4d4d"),//image_tiff2(ImageTypeEnum.tiff, "4949"),//image_png(Ima...

2019-08-22 09:08:20 825

原创 hbase自定义比较器的开发

hbase查询时内置功能较弱，如果需要自定义查询，则需要开发自定义的比较器。hbase自定义查询原理是将我们自定义的java比较器通过rpc方式传给hbase服务器来执行，所以涉及到比较器代码的序列化反序列化过程。hbase使用的是google的protocal buf这个工具。步骤如下：1 下载protocolbuffers windows版https://github.com/...

2018-09-28 09:51:32 510

原创 linux上安装postgresql数据库的步骤

本文章参考了：https://blog.csdn.net/zhangzeyuaaa/article/details/77941039\ 如果要安装v10，则如下：1 执行 yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch....

2018-09-28 09:40:51 2261

原创 hbase在linux系统上伪分布式安装配置

1 修改hbase-site.xml文件：<property> <name>hbase.cluster.distributed</name> <value>true</value> </property><property> <name>hbase.rootdir<

2018-09-28 09:39:22 341

原创 hbase数据库使用

命令行输入 hbase shell 进入hbase创建表:create 'test', 'cf' --表示创建表test，字段族(column familly)cf插入数据：put 'test', 'row1', 'cf:a', 'value1'put 'test', 'row2', 'cf:b', 'value2'put 'test', 'row1', 'cf:b','a...

2018-09-28 09:37:53 711

原创 windows安装hbase步骤

1 下载hbase，需要注意对应的hadopp的版本，参照 http://hbase.apache.org/book.html#configuration查看适配性。如本初安装最高版本hbase-2.1.0，对应hadoop版本为2.7.7。2 解压hbase到本地硬盘，如E:\hbase-2.1.03 修改配置文件E:\hbase-2.1.0\conf下hbase-env.cmd...

2018-09-28 09:36:37 12510 7

原创 android第一天(小有成就,散分)

好帖子，转到这里记录下来。原文地址：http://topic.csdn.net/u/20101021/16/B605909C-56F8-41A0-B209-269FEDD51841.html作者：ptzxzc 1.将sdk复制到android-sdk-windows\platforms下.如果有网络的话就android-sdk-windows可以自动下,如果已经手动单独把sd...

2010-11-03 16:18:51 99

原创近况

我已经有差不多3年没更新csdn的博客了，原因是越来越懒了。 加之现在是个网站就有博客，是个网站都得注册，我有限的几篇文章也是这里放一点那里放一点，没有固定的根据地。 最近n多朋友加我qq咨询我webservice的事情，让我很为难，只因我2007年初写了一篇很简单很初级的axis和axis2的使用的比较文章。其实自从那以后，我再也没真正的接触过webservice。 虽然我后来参与IBM WebShpere Process Server

2010-08-04 15:19:00 603

原创 android 图片浏览处理

1 图片太大，内存不足heap space 之类的问题： BitmapFactory.Options options=new BitmapFactory.Options(); options.inSampleSize = 2;//数字越大读出的图片占用的heap越小 BitmapFactory.decodeFile(pathName,options); 2 图片放...

2009-12-31 09:22:03 100

adb push时提示 read only的问题

使用adb push命令将硬盘上的文件复制到虚拟设备上时，执行命令如下： C:\Documents and Settings\Administrator>adb push G:\self\android\video\caiyan_two_people.mp4 sdcard\caiyan.mp4结果提示说：只读的文件系统failed to copy 'G:\self...

2009-12-24 16:37:58 665

原创 android 显示网络图片

http://hi.baidu.com/programmar/blog/item/79483ecb2ac75cf552664fd3.html 在Android中显示一张网络图片其实是超级简单的，下面就一个非常简单的例子： Step1：1、创建你的Activity，本例中以ViewWebImageActivity说明；2、ViewWebImageActivity中的代码...

2009-12-24 14:33:54 223

原创 android tabhost 图标

http://www.aslibra.com/blog/post/TabHost_addTab_TabSpec_change_icon.php 做了个tab形式的界面，但一直找不到系统提供的接口怎么修改图标，因为当前选择的和未选择的会改变。添加tab的代码其实很简单 TabHost mTabHost = getTabHost(); ...

2009-12-23 16:38:20 282

原创向sd写文件时权限

向sdcard目录写文件时，在1.6的固件上需要申请权限。在 AndroidManifest.xml 中增加代码： <manifest xmlns:android="http://schemas.android.com/apk/res/android" package="org.example.xxx" android:versionCode="1" ...

2009-12-21 16:05:58 137

原创 android 中 Inner class

android 中 Inner class 会额外占用1k的内存。故一般不用 Inner class

2009-12-20 11:50:35 224

原创 android 中尺寸设置

文本尺寸用 sp其他都用dip

2009-12-20 11:19:04 103

android 中package的名称

新建一个project的时候，输入package的名称，似乎有一些要求。比如昨天我建立一个project的package是 a.b.c，activity是Demo1那么今天我再建立一个project,activity是Demo2，那么package就不能还是 a.b.c 了。虽然我建立Demo2的时候不会提示，但是在测试安装Demo2这个应用的时候就会报错。貌似andr...

2009-12-20 10:54:27 184

android中layout区别

从 Hello Android 2nd Edition中大概理解的： • FrameLayout:children按照从左上开始的顺序排列，主要用于tabed view或者图片切换功能 • LinearLayout:children排列成一行多列或者一列多行的形式，这种layout最常见 • RelativeLayout:children是相互之间相关位置或者和他们的par...

2009-12-20 10:28:17 113

Android 又学到了新东西

1 Handler类的post方法和postdelay方法 post(Runnable r)方法让r在稍后(其实就是立刻)执行。 postDelayed(Runnable r, long delayMillis)法让r在间隔几ms后执行。2 View类调用invalidate()后，它的ondraw方法会被频繁调用？...

2009-09-30 10:15:42 97

原创在Eclipse中查看SDK源代码的方法

http://www.iteye.com/topic/4537951.下载http://www.digginmobile.com/android.asp上的源码 2.将那个源码文件解压，并在你的SDK安装目录里面新建一个文件夹，取名为“sources”，把之前解压得到的所有文件都复制到新建的“sources”文件夹里面。（D:\android-sdk-windows-1.5_r1\pl...

2009-09-28 10:59:08 149

原创实战Intent使用，完成你的开发需求

http://blog.csdn.net/durone/archive/2009/01/19/3837207.aspx使用Intent快速进行功能开发，这里总结一些重要的Intent使用，仅供参考。下面是实例片段。 1，调用web浏览器Uri myBlogUri = Uri.parse(http://blog.csdn.);net/duronereturnIt = ne...

2009-09-27 15:34:31 84

原创 ADB

http://blog.csdn.net/durone/archive/2009/01/19/3835991.aspxadb常用命令：以下为一些常用的操作：1、安装应用到模拟器：adb install比较郁闷的是，Android并没有提供一个卸载应用的命令，只能自己手动删除：adb shellcd /data/apprm app.apk2、进入设备或模拟器的...

2009-09-27 15:13:04 63

移除Andorid程序

发现一个问题，自从第一个HelloWorld应用测试成功后，我再怎么测试其他的应用，模拟器启动后进入的还是第一个HelloWorld应用。我也不知道咋回事，只能按照常理想：把那个HelloWorld的删除了吧。怎么删除？上网搜了一下，步骤如下：(windows环境下)1 进入cmd命令行2 转入android的sdk目录下的tools目录3 输入adb shell ...

2009-09-27 15:03:48 71

Android开发HelloWorld时提示找不到虚拟设备的问题

一般windows中我的文档都在c盘的my document and setting/user/my documents 目录下。如果改动了，比如改为：d:\backup\my document目录下启动虚拟设备时会报错，信息如下：[2009-09-27 14:32:25 - Emulator]emulator: ERROR: unknown virtual device name: ...

2009-09-27 14:31:05 210

正式开始学习Android

Android刚出来时，也关注了一下，但是也就是关注了一下。这两天看到javaeye上的大牛讨论这些个app时别提多带劲儿了，就又勾引起我的兴趣了。于是赶紧下载安装要实验一番。一开始就很受伤！！ :cry: :cry: :cry: 慢慢来，坚持就是胜利。。...

2009-09-27 13:55:49 71

原创 java date类型做加法发现的问题

oracle里面有个add_months函数可以对某个日期做加多少个月份的操作，对日期做加法更简单只需用+号就可以了。可是在java里面要实现日期加多少天，只能自己写个方法了。一种途径是：1 得到基准日期对应的毫秒数 a = date.getTime()2 得到要加的天数的毫秒数 b = n天*每天毫秒数(t=24*60*60*1000)3 c = a+b，然后返回new D

2007-11-20 17:52:00 2559 1

java date类型做加法发现的问题

2007-11-20 17:52:00 210

原创奥运门票可以网上卖，火车票为什么不行

奥运门票可以网上卖，火车票为什么不行？？？奥运门票，为了让各个地方甚至全世界的人都能买，所以开通了多种购买方式。1 网上；2 电话；3 中国银行排队买火车票这件更让人头疼，更困顿中国更多人民群众的问题为什么不能也采用类似的方式呢？1 网上；2 电话；3 火车站/售票点排队逢年过节的，火车票是多么困难啊。但是逢年过节想买火车票的人，我想每小时总不会超过800万人吧？

2007-11-02 12:34:00 1156 1

原创 acegi，里面到底是怎么走的？

很早就听说过acegi了，但是当初只是下载了，并且网上找了点资料稍微看了一下。因为没有用到，所以也没有实践。最近忽然要用到了，才发现acegi的配置可不像想像中的那么简单。在网上找10篇相关文章，其配置也会有10样，各个不同，让人无可奈何。至于acegi到底是干嘛的，它的一些最基础的介绍我这就不废话了。最近因为要配置acegi，所以没办法，只好按照一个参考并且分析了一下acegi的部分源代码，

2007-08-16 10:02:00 5793 3

acegi，里面到底是怎么走的？

2007-08-16 10:02:00 92

原创 java中动态载入类、方法的几个玩意儿

1 最基本的就是jdk自带的java反射机制了 java reflect2 javassit http://www-128.ibm.com/developerworks/cn/java/j-dyn0916/ Javassist 是广泛使用的 JBoss 应用服务器中加入的面向方面的编程功能的基础. Javassist 不仅是一个处理字节码的库，而且更因为它的另一项功能使得它成为试

2007-06-19 16:50:00 1086

java中动态载入类、方法的几个玩意儿

2007-06-19 16:50:00 67

原创 static,构造函数,子类,父类执行顺序

几天前去华为笔试，遇到了 static变量，构造函数以及父类、子类构造和static执行顺序的考题，结果就瞎蒙了，也不对。前几天想起来，就实际写了代码测试一下，结论如下： /** 1 每个类初始化时，会先初始化它的static再执行构造方法，当static已经执行过后，该类的新的实例不会再执行static 2 该类如果继承了某个类则父类的static会先初始化。 3 某个

2007-06-12 20:28:00 2224

static,构造函数,子类,父类执行顺序

几天前去华为笔试，遇到了 static变量，构造函数以及父类、子类构造和static执行顺序的考题，结果就瞎蒙了，也不对。前几天想起来，就实际写了代码测试一下，结论如下：/** 1 每个类初始化时，会先初始化它的static再执行构造方法，当static已经执行过后，该类的新的实例不会再执行static 2 该类如果继承了某个类则父类的static会先初始化。 3 某个类即便有sta...

2007-06-12 20:28:00 321