- 博客(114)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 实践练习六（必选）：OceanBase TPC-C 测试和查看 执行计划
实践练习六（必选）：OceanBase TPC-C 测试和查看 执行计划练习目的本次练习目的掌握 OceanBase 的执行计划查看方法，包括 explain 命令和查看实际执行计划。练习条件有 服务器，内存资源至少 12G*1 台，部署有 OceanBase 集群（单副本或三副本都可以）。练习内容请记录并分享下列内容：（必选）使用 BenmarkSQL 运行 TPC-C ，并发数不用很高，5~10 并发即可（根据机器资源）。（必选）分析 TPC-C TOP SQL，并查看 3条 S
2022-02-18 15:30:05
1633
1
原创 实践练习四（必选）：迁移 MySQL 数据到 OceanBase 集群
实践练习四（必选）：迁移 MySQL 数据到 OceanBase 集群练习目的本次练习目的掌握从 MySQL 向 OceanBase 迁移数据的基本方法：mysqldump、datax 、canal 等。练习条件有 服务器，内存资源至少 12G*1台 ，部署有 OceanBase 集群。有 mysql 数据库，有少量业务表和数据（数据量不要求很多）。没有业务表和数据的就推荐使用 sysbenc、 tpcc 或者 tpch 的业务数据。练习内容请记录并分享下列内容：（必选）使用 mys
2022-02-17 16:12:28
1032
原创 实践练习二（必选）：手动部署 OceanBase 集群
实践练习二（必选）：手动部署 OceanBase 集群练习目的本次练习目的掌握 OceanBase 集群的手动部署技能，理解进程的相关目录、集群初始化、OBProxy和 OB 集群关系等。练习条件有笔记本或服务器，内存至少12G 。练习内容请记录并分享下列内容：（必选）手动部署一个 OB 单副本集群，包括一个 OBProxy 节点。（必选）创建一个业务租户、一个业务数据库，以及一些表等。（可选）如果单台服务器内存有32G，或者有三台服务器，改为部署一个 OB 三副本集群，包括一个 OB
2022-02-11 16:27:46
2446
原创 Linux下安装google protobuf-v2.5.0
# Tez源码编译# 编译需要安装protobuf-2.5.0# 这里介绍Linux下安装protobuf-2.5.0root@kylin:~/wget# wget -c https://github.com/protocolbuffers/protobuf/archive/v2.5.0.tar.gzroot@kylin:~/wget# mkdir /opt/protobufroot@kylin:~/wget# mv v2.5.0.tar.gz protobuf-v2.5.0.tar.gzro
2020-11-24 11:52:48
554
原创 Apache Druid简介
Apache Druid简介什么是德鲁伊？Apache Druid是一个实时分析数据库，旨在对大型数据集进行快速的切片和切分分析（“ OLAP ”查询）。德鲁伊最常用作数据库，以支持对实时摄取，快速查询性能和高正常运行时间很重要的用例。因此，Druid通常用于为分析应用程序的GUI供电，或用作需要快速聚合的高并发API的后端。德鲁伊最适合面向事件的数据。德鲁伊的常见应用领域包括：点击流分析（网络和移动分析）网络遥测分析（网络性能监控）服务器指标存储供应链分析（制造指标）应用程序性能指标数字
2020-11-16 17:44:59
1145
原创 记录StreamSets 实现LDAP统一认证登录部署配置的实现
StreamSets 实现LDAP统一认证登录部署配置的实现StreamSets Data Collector TM是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用数据收集器来路由和处理数据流中的数据。实现该过程的动机StreamSets用户认证Data Collector 可以基于LDAP或文件对用户帐户进行身份验证。最佳实践是在组织中使用LDAP。默认情况下,Data Collector使用基于文件的身份验证。Data Collector 提供了几个角色,这些角色确定用户可以执行的
2020-10-16 18:42:19
1294
原创 DataOps的现代数据集成工具—StreamSets
StreamSets | “流集”StreamSetsStreamSets 是DataOps的现代数据集成工具，可以在不断的变化中持续交付数据。StreamSets DataOps平台可以帮助用户向业务的各个部分提供连续的数据，并使用现代的数据工程和集成方法来处理数据漂移。它有快速和容易使用、最大的灵活性、无与伦比的弹性等特点。StreamSets跨数据湖和数据仓库进行交付，设计灵活的混合数据架构，使您能够采用最新的创新，并保持数据的更新和同步。1、摄取并转换数据：在数分钟内将任何的
2020-09-24 17:55:11
1034
原创 GitHub使用-初始化及第一次不同历史版本合并提交处理方法
记录一次GitHub托管托管文件相关步骤和指令kylin@kylin MINGW64 /d/2.Work/Ww-Jsfzb$ git initInitialized empty Git repository in D:/2.Work/Ww-Jsfzb/.git/kylin@kylin MINGW64 /d/2.Work/Ww-Jsfzb (master)$ lltotal 4drwxr-xr-x 1 kylin 197121 0 9月 22 10:28 LocalFiles/drwxr
2020-09-22 11:11:33
2377
原创 数仓相关知识点
SQL是大数据从业者的必备技能，大部分的大数据技术框架也都提供了SQL的解决方案。可以说SQL是一种经久不衰、历久弥新的编程语言。尤其是在数仓领域，使用SQL更是家常便饭。本文会分享四个在面试和工作中常用的几个使用技巧，具体包括：日期与期间的使用临时表与Common Table Expression (WITH)Aggregation 与CASE WHEN的结合使用Window Function的其他用途数仓？不就是写写SQL吗…第一：日期与期间的使用日期与时间段的筛选在工作中是经常被用到的，
2020-08-07 14:08:47
261
原创 Windows子系统WSL 轻量桌面环境安装(Xfce4+xrdp)
# WSL 轻量桌面环境安装(Xfce4+xrdp)# https://www.bilibili.com/video/BV1Lz4y1975a# WSL Ubuntu下操作：root@kylin:~# sudo apt-get update && sudo apt-get upgraderoot@kylin:~# sudo apt-get install xrdp xfce4root@kylin:~# sudo vim ~/.xsessionroot@kylin:~# su
2020-06-25 00:34:05
1816
原创 Ubuntu下python2与python3之间的切换
由于ubuntu中python2与python3一般都有安装，所以必要时需要进行切换。1. 我们设置一下python2为默认。sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 1002. 同样的方法，设置python3为默认。sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 1503. 因为我们已经标
2020-06-24 17:45:31
1429
原创 Mysql 慢查询开启及查询时间和日志目录设定
root@kylin:~# mysql -u root -pEnter password:Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 245Server version: 5.7.30-0ubuntu0.18.04.1-log (Ubuntu)Copyright (c) 2000, 2020, Oracle and/or its affiliates. All right
2020-06-22 22:55:00
231
原创 About Linux系统下安装zsh
1、在线安装zshsudo apt-get install zsh2、查看系统中有的shellcat /etc/shells | lolcat3、临时切换shell/bin/zsh类似/bin/bash4、修改默认shellchsh -s /bin/zsh同理chsh -s /bin/bash5、zsh快速上手目前常用的 Linux 系统和 OS X 系统的默认 Shell 都是 bash，但是真正强大的 Shell 是深藏不露的 zsh， 这货绝对是马车中的跑车，跑车中的飞行车
2020-06-21 02:16:48
254
原创 WSL2-Ubuntu18.04 Linux环境下部署大数据开发测试环境
目录hadoop3.2.1+Hive3.1.2+HBase2.2.4+Phoenix5.0.0+Zookeeper3.6.1+Kylin3.0.2+Kafka2.5.0+Scala2.12+Spark3.0.0+Flink1.10.1+Tez0.10.1 ...Windows子系统WSL 2 部署与应用系统设置初始化部分Mysql 安装部署配置部分WSL 下初始化服务安装部署JavaHadoop 3.2.1Hive 3.1.2HBase 2.2.4Phoenix 5.0.0Zookeeper 3.6.1Ky
2020-06-18 21:05:05
7203
1
原创 RedHat 7.6安装CM6.3.1步骤指导
[root@master ~]# systemctl start sshd.service[root@master ~]# systemctl status sshd.service● sshd.service - OpenSSH server daemon Loaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled) Active: active (running) since
2020-06-18 16:44:33
1635
原创 RedHat7 切换yum源
由于RedHat是收费产品，如果虚拟机搭建使用了RedHat的镜像，最好是进行yum源的切换，切换后使用Centos的yum源。1、下载所需要的rpm安装包https://mirrors.aliyun.com/centos/7/os/x86_64/Packageswget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-metadata-parser-1.1.4-10.el7.x86_64.rpmwget https://mi.
2020-06-18 16:36:21
480
4
原创 Windows子系统WSL 2 部署与应用
1、安装WSL 21.1 Windows系统版本需要WSL 2 仅适用于 Windows 10 版本 18917 或更高版本。Windows版本验证，命令提示符中用ver检测：C:\Users\kylin>verMicrosoft Windows [版本 10.0.18362.778]1.2 Windows系统更新和预览体验计划开启具体相关操作可以参考https://docs.microsoft.com/zh-cn/windows/wsl/wsl2-install下的相关视频.
2020-05-22 14:07:50
11243
3
原创 Ubuntu18.04(Bionic)安装CM6.3.1+CDH6.3.2
博文目录Ubuntu18.04(Binoc)安装CM6.3.1+CDH6.3.21 初始化系统1.1 设置root用户密码1.2 系统软件更新1.3 安装ssh服务1.4 ssh本地免密登陆设置1.4 设置静态IP地址1.5 Windows Terminal 添加SSH连接1.6 更换阿里源Ubuntu18.04(Binoc)安装CM6.3.1+CDH6.3.21 初始化系统1.1 设置root用户密码kylin@ubuntu:~$ sudo passwd root[sudo] kylin 的密码
2020-05-22 13:21:42
4863
36
原创 升级WSL中的Ubuntu系统
Bash on Ubuntu on Windows查看当前Ubuntu版本：lsb_release -a按照以下命令步骤依次执行进行升级：sudo dpkg --force depends -P lxd; sudo dpkg --force depends -P lxd-clientsudo nano /etc/update-manager/release-upgrades然后，把 Prompt 的值由 lts 修改成 normal 即可。(Ctrl+提示命令)sudo do-relea
2020-05-11 18:16:00
3145
1
原创 Mysql数据仓库-Infobright
0. 概述infobright是开源的MySQL数据仓库解决方案，引入了列存储方案，高强度的数据压缩，优化的统计计算。1infobright 是基于mysql的，但不装mysql亦可，因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎，infobright主要实现的就是一个存储引擎，但因为它自身存储逻辑跟关系型数据库根本不同，所以，它不能像InnoDB那样直接作为插件挂接到...
2020-04-28 15:14:14
956
原创 Oracle AWR Report Generate
打开SqlPlus CLI（Windows系统下演示实例）AWR（Automatic Workload Repository） Report生成示例AWR（Automatic Workload Repository） Report生成步骤SQL*Plus: Release 11.2.0.1.0 Production on 星期三 4月 22 19:09:43 2020Copyrig...
2020-04-22 19:45:37
185
原创 第一份工作中常使用软件工具归纳整理(20200421)
工作中常使用软件工具归纳整理辅助工具：Everthing ：快速定位文件目录。FastStone Capture ：截网页长图。OneNote 2016数据库客户端：PL/SQL ：简单快捷；Toad for Oracle :功能居多DBeaver :开源多选择。ETL工具：PDI（Kettle）：开源ETL工具。(Spoon7.1&Spoon9.0)报表...
2020-04-21 18:03:28
238
原创 大数据时代的数据特点与大数据时代处理数据理念的改变
1、大数据时代的数据特点 （4V）1.1 规模性(Volume)：即大数据具有相当的规模，其数据量非常巨大。数据的数量级别可划分为B 、KB 、MB 、GB 、TB 、PB 、EB 、ZB 等，而数据的数量级别为PB 级别的才能称得上是大数据。1.2 多样性(Variety)：即大数据的数据类型呈多样性。数据类型繁多，不仅包括结构化数据，也包括非结构化数据和半结构化数据。1.3 高速性(Ve...
2020-04-20 17:43:49
3535
原创 SAP BusinessObjects BI平台开发流程相关总结概述与介绍
博文目录1、IDT(信息设计工具)1.1 项目同步1.2 创建一个关系Universe1.2.1 创建本地项目1.2.2 创建关系连接1.2.3 创建数据基础1.2.4 创建业务层1.2.5 本地发布Universe1.3 创建一个OLAP连接1.3.1 创建本地项目1.3.2 创建OLAP连接1.3.3 创建业务层/SAP HANA Business Layer1.3.4 本地发布Univers...
2020-04-20 17:36:50
1254
原创 About EDW时间维度表的建立参考(DWD_CALENDAR)
0. 维度表1. 创建表-- Create tablecreate table DWD_CALENDAR( site VARCHAR2(40), factory VARCHAR2(40), period_date DATE, period VARCHAR2(5), shif...
2020-04-16 18:08:00
328
原创 开源ETL工具Kettle(PDI)开发使用全指导(持续更新...最后更新时间20200416)
博文目录1. 安装部署1.1 下载解压1.2 Kettle运行基础环境2. Kettle初次使用1. 安装部署1.1 下载解压Data-Integration-kettle下载地址，打开网页，浏览找到Downloads处，下载最新稳定版本。下载之后进行解压到本地，复制data-integration目录路径可以选择性配置一下KETTLE_HOME，当然可以不配置，只要在data-integ...
2020-04-16 17:32:02
5866
原创 Cloudera Manager进行CDH生产环境集群配置及相关功能示例
目录主页主机角色Parcel配置-非默认值动态资源池静态服务池HDFSHiveImpalaKafkaSpark2YARNZooKeeperCloudera Manager Service主页主机角色ParcelParcel Setting配置-非默认值动态资源池静态服务池HDFSHiveImpalaKafkaSpark2YARNZooKe...
2020-04-16 13:15:54
692
原创 Linux 之split大文件切分与合并
如果有一个很大的文件，你想把其分割成一些小的文件，那么split这个命令就是干这件事的了。[root@bdpadmin spilt_test]# lltotal 20284-rw-r--r--. 1 root root 20766931 Apr 13 17:21 Python-3.5.5.tgz[root@bdpadmin spilt_test]# ls -l Python-3.5.5.t...
2020-04-13 17:33:41
408
原创 一条SQL语句执行的慢原因有哪些？
一条SQL执行的慢，效率有问题的话，我们一般可以将其分两种情况讨论：这条SQL大多数情况下正常，偶尔较慢或很慢。则原因可能如下：1.1 数据库在刷新脏页，例如Redo log写满了需要同步到磁盘；1.2 SQL语句执行过程中，遇到锁，如表锁、行锁。这条SQL一直执行的很慢，则有如下可能的原因：2.1 没用上索引：没有索引、条件中有计算、函数操作等导致无索引问题；2.2 数据库执行时走...
2020-04-13 14:10:51
245
原创 About Oracle SCN序列号相关
0、工作中用到SCN分析数据异常原因现象OLTP系统中业务数据在业务定义时间字段之后写入库中，当OLAP系统在按照业务时间做增量抽取时出现数据未取到异常：SELECT to_char(scn_to_timestamp(ora_rowscn),'yyyy/mm/dd hh24:mi:ss') AS 数据写入时间, to_char(t.trans_time,'yyyy/mm/dd hh24...
2020-04-13 11:41:28
111
原创 Cloudera Manager管理员用户(admin)密码重置
0. 问题描述无论什么情况导致Cloudera Manager的管理员用户由于密码登录异常，当需要重置admin密码时，就可以按照这篇文章逐步操作执行。1. 解决办法1.1 查看Cloudera Manager服务的数据库配置文件登录Cloudera Manager所在的服务器，查看/etc/cloudera-scm-server/db.properties配置，获取CM数据库的用户名和...
2020-04-13 10:38:00
5768
1
原创 Kettle构建ETL项目方案过程完全指导
博文目录0. Oracle基础环境准备创建表空间(参考)拓展表空间创建用户并进行授权(参考)授予用户使用表空间的权限1. 调度参数相关辅助表创建1.1 创建相关序列1.2 创建相关表2. ETL项目开发0. Oracle基础环境准备创建表空间(参考)# EDW_ETL_DAT 。创建时指定temporary表示创建临时表空间DROP [temporary] TABLESPACE EDW_E...
2020-04-10 17:40:35
816
2
原创 Linux 之history命令获取到的文件处理
Linux相关命令：> 、| 、tr 、sort 、uniq 、sed 等对文件处理。#文件处理（bash）PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda (master)$ history > history.txt#删除文本中数字--这里目的是删除行号PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/P...
2020-04-10 13:39:40
646
原创 Linux 之awk命令获取指定列
这里介绍 linux ll、cat等命令以管道命令结合awk在结果中输出指定列的操作：#指定输出第一列和第九列$ ll | awk -F' ' '{print $1,$9}' #列之间是空格符$ ll | awk -F',' '{print $1,$9}' #列之间是逗号符#定输出最后一列$ ll | awk -F' ' '{print $NF}' #列之间是空格符$ ll | aw...
2020-04-10 12:08:09
13209
原创 DBeaver SQL客户端连接到Apache Kylin，进行数据查询和分析
0. DBeaver概览DBeaver它是一个通用的数据库管理工具和 SQL 客户端，支持 MySQL, PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLDB, Derby, 以及其他兼容 JDBC 的数据库。DBeaver 提供一个图形界面用来查看数据库结构、执行SQL查询和脚本，浏览和导出数据，处理BLOB/CLOB 数据，修改数据库结...
2020-04-09 18:02:07
1313
原创 大数据之CDH5.8.3集成安装Apache Kylin与探索使用
博文目录0. Kylin概览(官方)1. Kylin特性3. Kylin生态圈3. Kylin集成前环境准备4. 安装部署4.1 下载Kylin4.2 部署Kylin4.3 启动Kylin5. 实例测试0. Kylin概览(官方)Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最...
2020-04-09 16:09:08
288
转载 在Oracle中，物理备份和逻辑备份分别是什么？
物理备份是指将数据库的所有物理文件完整拷贝到备份位置的一个过程。物理备份是所有物理文件的一个副本，例如，数据文件、控制文件、归档日志等。该副本能被存储在本地磁盘或磁带。物理备份是备份或恢复的基础，包括冷备份（非归档模式）和热备份（归档模式）。物理备份既可以在数据库打开的状态下进行也可在数据库关闭的状态下进行，但是逻辑备份和恢复则只能在数据库打开的状态下进行。逻辑备份是指使用工具exp或exp...
2020-04-08 14:01:25
1894
leverage-open-source-benefits-with-assurance-of-hitachi-overview.pdf
2020-04-28
spilt_lcm.job.airgap.list1613011158574792136.lcmbiar-LF_ac
2020-04-21
spilt_lcm.job.airgap.list1613011158574792136.lcmbiar-LF_ab
2020-04-21
spilt_lcm.job.airgap.list1613011158574792136.lcmbiar-LF_aa
2020-04-21
Impala A Modern, Open-Source SQL Engine for Hadoop.pdf
2020-04-21
Spilt_VDN设备预测方案实现培训.zip-LF_aa
2020-04-21
IDT_Training.wrf
2020-04-20
apache_hbase_reference_guide.pdf
2020-04-09
EDW-(DM数据仓库数据建模)模型设计.pptx
2020-03-27
SPC-统计过程控制.PPT
2020-03-25
Apache impala-3.2 Guide.pdf
2020-03-25
spc指标公式.docx
2020-03-25
Power BI User Guide.pdf
2020-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人