- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数仓的4中模型架构
把复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单任务，方便定位问题。减少重复开发：规范数据分层，通过中间层数据，能够减少大量的重复计算，增加一次计算结果的复用性。隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。
2024-04-26 16:37:24
147
原创 浅谈数据模型
前言：数据仓库是一种用于存储和管理大量数据的技术。其中，事实表和维表是数据仓库中的两个重要概念，首先了解一下事实表和维度表1.事实表：是指用于存储测量“事实数据”的表，事实数据表包含描述业务（例如产品销售）内特定事件的数据，例如订单信息表、销售记录表等2.维表是用于提供事实表上下文和维度信息的表，例如时间表、地区表、客户表等事实表通常包含多个维表，这些维表提供了与事实数据相关的上下文和维度信息，维表通常与事实表相关联，以提供关于数据测量的上下文和描述信息。
2024-04-25 22:29:59
450
原创 浅谈SQL优化
合适的索引：选择合适的索引，根据查询条件和表结构选择合适的索引，能够提高查询性能。（在表中建立索引，优先考虑 where/group by 使用到的字段）2.避免全表扫描：尽量选择使用“索引”字段和合适的查询条件，避免对整个表进行全表扫描（什么是合适的查询条件：在查询时尽量避免使用select * ，只查询需要用到的字段）3.避免多次查询：通过使用子查询、连接查询等方式减少数据库的查询次数4.优化查询语句：尽量避免使用“*”等通配符、避免使用不必要的函数等，减少查询消耗。
2024-04-25 16:01:37
889
原创 EXCEL高级玩法之非常酷炫的动态数据分析报表
动态数据分析报表，用起来真真太酷炫了，不知道这篇文章能否写的清楚。制作动态数据分析报表，除了传统的柱状图或者折线图之外，我觉得主要在于切片器，这个切片器相当于筛选框的作用，切片器在插入---------》切片器，如图所示：今天的任务是：点击产品类别，相应的左边报表发生变化，例如，第一个图片是统计所有，第二个是统计彩盒的销售金额，怎么实现的，具体看下面1.首先打开excel数据集，选...
2020-04-27 21:33:52
7155
原创 非常酷炫的excel数据透视表
今天看了一个excel教学视频，被老师的花样操作惊呆了，感觉很有用，跟你们一起分享一下，共同进步，话不多说，赶紧上车。1.打开一个excel销售表格，表样是这样的这里我是截图，照片不全，就是让你们看看样子。1.思考：如何快速的做一个每个地区的每样产生销售额是多少？操作：随便点击表格中某处-----------》选择上方，插入-----------》数据透视表，（最好是新建新的工...
2020-04-25 17:12:19
671
原创 SAS小白入门第三节：自定义输入和输出
其实，这一章节自定义格式化是接上一章节的，上一节说到输入和输出的格式化，但是那些都是常规的，这次咱们增加一些不常规的，灵活的。怎么个不常规法？麻烦抬头看一下题目-----“自定义”，自定义就是按照你定义的格式去设置输入和输出。SAS中自定义格式是在proc format过程中实现，通用格式：proc format;invalue <$> 格式名 变量值或范围1=输入格式1 ...
2019-12-09 21:45:49
771
原创 SAS小白入门第二节：SAS数据类型和格式化(输入和输出)
数据类型在其他编程语言中，有各种各样的数据类型，但是总体上，可大致分为：数值型，字符型和日期型，而SAS中的数据类型，只有2中数据类型：字符型和数值型。在这里，你会发现，日期型的去哪了？在SAS程序中，日期默认是作为数值型的，所有的日期类型的变量都会被作为输入日期与1960年1月1日之差。例如今天是20191208，它显示的就是21891（这个数字哪来的，你猜猜？），如果你想显示成日期型，那么...
2019-12-08 17:47:56
15576
原创 SAS小白入门第一节：认识SAS程序
关于SAS的起源，我这边不一一赘述，因为资料太多了，所以我也就不补充了，有兴趣的童靴可以问问度娘，或者你买的书籍第一章，就会谈到这些，所以从这儿开始，我就开始真材实料的去接触这些SAS小程序。认识SAS程序那么SAS程序，有什么特点呢？咱们先看一看下面的这个图片：看这个图片，我标了两个框框，红色的一个大框和黄色的一个小框，其中：红色的这部分称为数据步，作用输入数据。主要由...
2019-12-08 14:30:23
2199
原创 从零开始学Python：基础知识，快速上手
前言：学习这件事，如果你不感兴趣，其实是个很枯燥，寂寞，无聊的过程，如果你能带着兴趣去学习，你就会感觉到很快乐，很充实。还有句名言是这样说的：书中自有黄金屋，书中自有颜如玉。关于安装Python，网上有很多安装教程，很简单，在这里，我就不一一赘述了，你可以访问www.python.org下载你想要的各种版本。跟随时代的脚本，现在是python3的时代，所以我学习的版本也是python3，win...
2019-07-16 21:39:19
399
原创 GreenPlum删除主键约束
最近使用GreenPlum（简称GP）时遇到了一个小问题，删除主键删不掉，一直报主键不存在，例子如下：zxy=> \d tmp_cst_pcp_avy_sttn_hw Table "a0.tmp_cst_pcp_avy_sttn_hw" Column | Type | Modifiers ----------...
2019-02-12 13:04:01
1586
1
原创 从零开始学python：序列操作
常见的序列的操作：索引，切片，相加，相乘，成员资格检查1、索引索引代表它在序列中的位置，第一个索引是0，第二个是1，以此类推，计算机吧，常见的数字就是0和1嘛，用一个字符串来感受一下索引。>>> char='Hello'>>> char[0]'H'>>> char[1]'e'>>> char[2]'l...
2019-01-31 14:37:28
143
原创 怎样在一个Oracle数据库中建立多个实例
前言：前两天，在接触一个新项目，他们的数据库框架，在一台机器上，当时别人交代是一个数据库两个实例（当前举例a,b），我看了看交接文档，那明明是一台机器，不是单机数据库吗？怎么有两个实例？登录相应的环境，查看了一下，刚开始登录，查看了监听，只有一个ASM实例的监听，没有数据库服务的监听，很是摸不着头脑，通过env |grep ORACLE查看当前的Oracle实例名和数据库的安装位置，查看tnsna...
2019-01-30 15:23:45
4598
原创 Oracle数据库的启动过程
SYS@ zxy>startupORACLE instance started.Total System Global Area 830930944 bytesFixed Size 2232920 bytesVariable Size 520097192 bytesDatabase Buffers 3...
2018-09-16 18:53:18
292
原创 Linux 安装Hadoop 3.0操作文档~很详细
今天尝试安装Hadoop，为接下来学习Hadoop做好准备。一、准备环境1.1、查看操作系统的版本[root@cql ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.5 (Santiago)1.2 关闭防火墙[root@cql ~]# service iptables stop...
2018-09-16 18:51:03
2048
原创 Oracle 体系结构详解
到目前为止，接触Oracle已经将近2年了，但是总也没有好好的总结过这些东西，今天闲下来了，从头到尾捋一捋，写一写，如果能真正写下来，那么这个印象可就更加深刻了。。。学习一门技能，你首先应该搞清楚它的架构，了解到它的架构，懂得它的组成、工作过程、原理，你学习起来才能更简单些。如下图所示就是Oracle体系架构学习Oracle数据库，你首先应该清楚它的两个比较重要的概念：实例（Ins...
2018-09-14 17:25:55
417
原创 Oracle体系结构和物理结构
下面咱们就具体了解一下Oracle的逻辑结构和物理结构：一、Oracle逻辑结构 其他关系的逻辑结构，我感觉都是抽象的，但是，Oracle的逻辑结构不抽象，它是一种层次结构，主要由：表空间(Tablespace)，段(segment)，区(extents)和数据块(blocks)等概念组成，具体如下图所示：1.1数据块数据块是Oracle最小的存储单位，Oracle的数据放在数...
2018-09-14 14:51:21
452
原创 Mysql创建表失败ERROR 1005 (HY000): Can't create table 't_cs' (errno: 13)
初学mysql，在学习的过程中可能会遇到各种各样的问题，但是问题不可怕，解决问题才好玩。今天练习，准备创建表，发现报错ERROR 1005 (HY000): Can't create table 't_cs' (errno: 13)mysql> use zxyDatabase changedmysql> create table t_cs(id int,xm varch...
2018-09-11 14:59:30
1442
1
原创 Mysql常用使用命令总结
1、查看当前有多少数据库mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || mysql || performance_schema || test ...
2018-09-11 14:17:12
129
原创 Mysql创建数据库
最近准备入手Mysql，感觉挺有意思的，准备好好学习学习。刚看到创建mysql数据库，这个创建数据库跟Oracle有很大不同，我感觉mysql的数据库跟Oracle的schema相似，但是mysql中又有schema，Oracle除了集群环境是多个库，多个实例，一般情况下都是创建一个Oracle数据库，仅仅就一个库，而mysql可以创建多个数据库，并且创建方式还多种多样，可以使用命令，还可以直...
2018-09-11 11:25:53
1586
原创 Ubuntu的root密码修改
今天新接触了一个操作系统，之前都是用的Redhat，从没有用过Ubuntu，安装了一下Ubuntu，发现很简单，感觉是傻瓜式安装的，至于安装步骤，没有记录下来，反正网上搜教程，一搜一大把。安装完Ubuntu的时候，跟之前安装Redhat好像不一样，因为安装Redhat时，有一步是设置root的密码，但是Ubuntu没有，所以安装完之后，想要切换root，怎么办，只能使用sudo。ps:su...
2018-09-09 17:10:42
206
原创 Kettle入门使用手册二、定时同步更新表
在两个数据库环境中同步数据，第一次同步，数据全部同步，之后原表可能还会存在更新数据，所以我们这个同步完数据还不算完，还得需要继续同步更新，下面就是怎么实现定时同步更新的。。。1、建立转换，把表输入和表输出配置好，在前面的一章中，我已经初步讲解了怎么配置，不会的朋友们可以翻翻我上一章节。在这个图中，有2个步骤，1步就是完全同步数据，2步讲究的就是源表更新数据了，则更新的数据同步你会发现这...
2018-09-07 13:40:25
1680
原创 kettle入门使用手册一：把表导出txt文件
首先说一下，为什么使用手册开头是从数据库表导出到txt文件呢，而不是把txt文件导到数据库中呢？主要是因为没有txt数据文件，而数据库的表数据非常好造，哈哈哈，无论怎么加载，只要你好好的看了这篇文章，我感觉你就能简单的使用kettle进行数据加载了。1、打开kettle，我使用的练习数据库是Postgresql，我感觉这个数据库安装简单，使用方便，哈哈哈哈 我自己创建了一个表，造了一...
2018-09-06 16:06:39
1673
原创 新版kettle学习
最近在学习kettle，但是官网下载的版本是7.1的，一直想找合适的教程，但是好像没有找到，所以我就集各种环境，各种资料准备写一个比较新的kettle资料，以方便大家的学习，如果有什么不对，大家可以留言改正。kettle是什么？kettle是一款开源的、商业智能Pentabo数据集成软件，纯Java语言编写，不需要安装，只需要解压就可以使用，可以运用在各种平台上。额外补充：Kett...
2018-09-06 15:27:10
494
1
转载 dbms_stats.gather_table_stats 包详解
dbms_stats.gather_table_stats 收集统计表的统计信息语法如下：DBMS_STATS.GATHER_TABLE_STATS( ownname VARCHAR2, tabname VARCHAR2, partname VARCHAR2, estimate_percent ...
2018-08-02 11:12:06
1007
转载 服务器磁盘阵列、RAID级别的阐述
磁盘阵列磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一...
2018-06-21 12:18:23
422
转载 linux里grep和egrep，fgrep的区别
正则表达式根据元字符的数量及功能不同又分为基本正则表达式（grep）和拓展正则表达式（egrep）。而grep和egrep同属于文本搜索工具，可根据用户指定的文本模式（搜索条件）对目标文件进行逐行搜索，显示能匹配到的行。用法上grep –E等同于egrep，与grep和egrep相似的文本搜索工具还有fgrep。格式: grep [option] pattern filename 注意: pat...
2018-06-19 17:04:58
556
转载 Greenplum分区表 Partition Tables
GP支持分区表，主要用来存放大表，如fact table目的：1. 把大数据切片,便于查询2. 便于数据库维护分区创建时，每个分区会自带一个Check约束，来限定数据的范围。Check约束也用于执行查询时定位分区。 支持分区类型：1. 范围分区 range partition2. 列表分区 list partition3. 组合分区-------partition 和 distribution的区...
2018-06-06 15:45:41
1963
转载 三种方法实现scp拷贝时无需输入密码
作为一个运维人员，我经常要将一些文件传输到另外一个服务器上，而且都是Linux的命令行环境，那么对于我来讲scp就是最直接有效的方法了，但是，使用scp需要指定远端服务器的帐号并手动输入密码，那么如何避免每次都需要输入密码这个操作呢？话不多说，以下就是解决办法。方法一：配置信任关系配置信任关系，要建立2个文件，ssh公钥(~/.ssh/id_rsa.pub)和公钥授权文件(~/.ssh/a...
2018-05-17 14:12:37
7410
转载 SQL执行效率总结
1.关于SQL查询效率，100w数据，查询只要1秒机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能SQL查询效率 step by step-- setp 1. -- 建表 create table t_userinfo ( userid int identity(1,1...
2018-05-15 09:11:48
377
转载 Oracle 12.2的ORA-28040/ORA-01017
最近安装了一套RHEL 6.9x86的Oracle12.2.0.1单机测试库，装完之后，使用plsql连接时，发现报ora-28040 No matching authentication protocol赶紧查了查MOS，原来在默认情况下Oracle12.2对客户端版本有限制，主要是由sqlnet.ora中的以下两个参数控制： SQLNET.ALLOWED_LOGON_VERSION_SERVE...
2018-05-08 11:14:01
939
原创 Linux 环境下Oracle 12C数据库卸载
这里，我的数据库版本是oracle 12cR2,为了装RAC，我准备把当前的数据库卸载了，基础的系统和用户保留着，这样不用再重新装系统了，没意思，哈哈哈~个人比较懒，请体谅~1、首先关闭数据库SQL> shutdown immediateDatabase closed.Database dismounted.ORACLE instance shut down.2、关闭监听[oracle...
2018-04-30 21:15:34
2409
转载 【Statistics】10g中 Automatic Statistics Collection维护窗口之探查
有朋友会问“为什么我的数据库在每天晚上10点钟运行的非常缓慢？”。有经验的朋友会想到10g为CBO提供了自动收集数据库对象统计信息的功能，称之为“Automatic Statistics Collection”。与之对应的Job正是在周一至周五的晚上10:00到第二天早上的6:00以及周六周日全天这个维护窗口中来完成的。我们探索一下Automatic Statistics Collection的维...
2018-04-28 17:47:03
198
原创 Shell脚本实现对文件编辑
常见Linux文件的编辑命令 vi/vim，有时候我们想写一个脚本实现对文件编辑，这个时候，可能就不够用了，下面介绍一些办法1、echo命令Shell的echo命令常用于字符串的输出例如：[root@mdw zxy]# echo 'Hello World !' > file1[root@mdw zxy]# cat file1Hello World ![root@mdw zxy]# echo ...
2018-04-22 10:03:44
491
转载 oracle 常见等待事件及处理方法
常见的等待事件：db file scattered read DB ,db file sequential read DB,free buffer waits,log buffer space,log file switch,log file sync我们可以通过视图v$session_wait来查看系统当前的等待事件，以及与等待事件相对应的资源的相关信息，从而可确定出产生瓶颈的类型及其对象。v$...
2018-04-22 08:51:19
231
原创 Oracle 计算带blob表的大小
作为运维DBA，导数据是我们的一个非常基础的工作，导数据之前，要估算一个表的大小，磁盘剩余空间等等，这个工作才能开展下去。如果导普通的表（不带blob），则可能非常简单，有时候只需要统计一下dba_segments就行，但是带blob字段的表则就不能直接统计该视图，Oracle中 lob字段采用独立的lob segment来存储，因此表的大小不能只查看dba_segments，还需要看dba_lo...
2018-04-17 16:27:46
1843
原创 如何在现有的 Linux 系统上添加新的磁盘
今天上午，因为练习需要，我想要装一个Oracle 12R2的数据库，软件也下载了，也上传到虚拟机了，解压的时候，发现解压失败，因为磁盘空间满了，没法解压了，但是这不能阻挡我想要装数据库的动力，所以我就想着在linux系统上添加额外的磁盘。其实这种问题，很多朋友都遇到过这样问题，自己的虚拟机用着用着，忽然发现没有空间了，但是还必须用，这怎么办呢，就必须在现有的linux系统上添加新的磁盘，所以我...
2018-03-25 14:30:55
946
转载 GI 中新的基础架构 --MDNS, gipc 和 gpnp 是如何协同工作的
最近一直有朋友来询问oracle 的集群管理软件从11.2 这个版本开始开始出现的新的组件mdns, gpic,和gpnp 是做什么的，以及他们是如何协调工作的。所以就花了时间写了这篇文章来解释一下这些新组件的基本功能和它们之间是如何协同工作的。 首先来回顾一下历史。对于10g版本的oracle 集群管理软件（CRS），当集群启动的时候，集群节点的列表和每个节点的公网地址，私网地址是可以从O
2017-08-23 12:57:45
502
转载 11gR2新特性---Gpnp守护进程
在这篇文章中，我们会对11gR2 新的守护进程（资源名称ora.gpnpd）进行介绍，其中包含的gpnp的功能，启动顺序和基本的诊断方法。我们知道，在10gR2和11gR1的版本中，当启动集群的时候，所有的配置信息都要从OCR进行读取，而OCR有存放在共享内存中，这样做实际上并不是很好，因为我们相当于把集群所有的配置信息都存放到了共享存储上，而一旦某个节点对共享存储的访问出现了问题，这
2017-08-23 12:36:42
596
转载 Oracle数据库查看执行计划
基于ORACLE的应用系统很多性能问题，是由应用系统SQL性能低劣引起的，所以，SQL的性能优化很重要，分析与优化SQL的性能我们一般通过查看该SQL的执行计划，本文就如何看懂执行计划，以及如何通过分析执行计划对SQL进行优化做相应说明。一、什么是执行计划（explain plan）执行计划：一条查询语句在ORACLE中的执行过程或访问路径的描述。二、如何查看执行计划1: 在PL/
2017-08-21 10:44:21
341
OCP 051练习数据
2017-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人