- 博客(73)
- 收藏
- 关注
RSS订阅原创 帆软报表开发之基础操作
1、查询控件2、单元格扩展3、子父格4、层次坐标5、动态格间（比较、占比、环比、逐层累计、跨层累计）6、条件统计7、主子报表8、分组报表9、自由报表10、条件属性11、超级链接12、图表入门13、参数14、多数据源报表15、交叉报表16、参数入门17、参数为空选择全部18、填报19、多sheet填报20、图表交互21、部署22、tomcat工具23、大屏24、聚合报表开发25、决策报表开发...
2021-12-21 19:46:58
1673
1原创 hive数据库的优化
hive数据库优化：1、尽可能多的过滤掉不需要的数据内容2、调整表格的存储格式3、调整表格的map数量4、调整reduce的数量5、调整数据倾斜数据倾斜发生的原因：表格的计算列中，有大量空值。key值分配不均。大小表联合查询时。对去重的结果进行统计时。6、优化开关7、处理小文件...
2021-12-02 14:48:07
1575
原创 hadoop平台的mapreduce引擎的六大过程以及shuffle的过程
hadoop平台的mapreduce引擎的六大过程以及shuffle的过程：
2021-11-26 21:29:33
436
原创 数据库的范式与表格模型 2021-11-21
数据库的范式与表格模型：第一范式：表格的每个字段都是单独的不可再拆分的数据。第二范式：要求表格一定要有主键。第三范式：表格有主键，并且其他的每个列与主键都是直接相关的关系，表格没有冗余数据。一般数据库的第二范式是最常见的。由此来看数据库中表格的模型：星型模型：从事实表中，直接拆分一层维度表，进行数据的保存。星型模型建立的表格，仍然可能存在冗余数据。雪花模型：先从一个事实表中，拆分一层维度表的数据，然后将有冗余数据存在的维度表，当成一个小的事实表，再次进行维度的拆分，一直拆分到表格没有冗余数据
2021-11-21 12:04:06
326
原创 数据库编程之动态和静态以及隐性游标 2021-11-16
数据库编程之动态和静态以及隐性游标：1、静态游标：一个游标对应一个select语句。基本结构：2、动态游标：一个游标对应多个select语句。基本结构：3、隐性游标：一般用来查看DML语句操作表格的动作有没有生效以及它操作数据范围。举例：举例2：...
2021-11-16 15:57:15
410
原创 数据库编程之打印*形三角形 2021-11-16
数据库编程之打印*形三角形：代码如下：执行结果如下：使用数据库：oracle客户端软件：PL/SQL
2021-11-16 13:10:41
190
原创 数据库编程之打印九九乘法表 2021-11-16
数据库编程之打印九九乘法表：代码如下：执行结果如下：用的数据库：oracle客户端软件：PL/SQL
2021-11-16 13:07:13
52
原创 初级大数据工程师一般要掌握什么技能 2021-11-16
初级大数据工程师一般要掌握什么技能：1、Linux操作系统2、shell脚本3、oracle数据库4、sql编程5、python脚本6、hadoop平台7、hive数据库8、kettle工具9、sqoop工具10、如果数学好懂点算法更好
2021-11-16 01:31:20
1408
原创 Linux三剑客 2021-11-14
Linux三剑客：指的是Linux系统中最重要最常用的三个命令sed ， grep ， awk1、sed：主要用来做数据的选取，替换，删除，新增。sed 选项 动作 文件名2、grep：主要用来搜索文本，可以使用正则表达式搜索文本，把匹配结果进行打印。3、awk：主要用来分析文本。awk把文件逐行进行读入，以空格和制表符作为默认分隔符将每行切片，切开的部分再进行各种处理。...
2021-11-14 17:27:56
471
原创 Linux系统的三种模式 2021-11-14
Linux系统的三种模式：1、一般模式：对文件内容进行复制，粘贴，删除，撤销，跳动，移动等操作。2、命令行模式：对文件进行保存退出操作。对行号进行操作。对数据进行查找和替换。3、编辑模式：对文件进行内容的编辑，文件类型可以多种多样。Linux系统是一个在命令行用命令操作的系统，不像Windows是图形界面，鼠标点击操作。...
2021-11-14 17:13:38
684
原创 ETL工程师 2021-11-14
ETL工程师1、ETL数据操作的过程：（1）Extract：数据的抽取PULL：主动去其他系统获取数据PUSH：其他系统将数据推送给我们（2）Transform：数据的转换（3）Load：数据的加载删除索引 添加索引 恢复索引2、三种ETL的方式：（1）全量的数据抽取（2）增量的数据抽取（3）镜像对比的数据抽取...
2021-11-14 17:01:58
393
原创 数据库之大数据分层理论 2021-11-14
数据库之大数据分层理论：一、对业务体系的系统数据进行采集。二、数据的临时存储层：ODS专门保存从业务系统里面收集和采集到的原始信息。在这里不会对数据的有效性进行筛选，只会增加数据的采集和抽取时间以及数据的来源字段。细分：1、数据贴源层：ODM2、标准数据层：SDM三、历史存储层：HDS四、数据仓库层：DW1、数据明细层：DWD2、基础数据层：FDM五、数据集市层：DM1、聚合计算层：ADM2、报表展示层：MDM/DA/APP...
2021-11-14 16:56:01
852
原创 数据库编程之函数与存储过程 2021-11-14
数据库编程之函数与存储过程：1、相同点：都是一段完成特定功能，实现特定逻辑的代码块。2、不同点：（1）存储过程可以没有参数，函数一定要有参数。（2）存储过程可以有out输出参数，函数没有。3、函数有return的返回值。4、存储过程是使用call和代码块来调用，函数是通过select或者DML来调用函数。5、函数里面不能执行DDL/TCL/DML，存储过程可以执行任何语句。...
2021-11-14 15:57:41
52
原创 数据库编程之存储过程 2021-11-14
数据库编程之存储过程：1、什么存储过程？一段有名字的代码块，这个代码块可以被反复运行，也即可以被反复使用。2、特点：存储过程只会在创建的时候被数据库编译一次，以后就不会再去编译，可以直接使用。3、作用（优势）：存储过程是可以反复调用的一段代码，当你有需要反复运行，内容又一致的逻辑，可以使用存储过程，方便快捷，效率高。4、什么时候会用到存储过程：（1）为了减少表格对服务器的访问次数，减少语句对硬盘的读写次数，将经常要用到的sql语句写到存储过程中。（2）有些固定的代码操作可以用存储过程来做，
2021-11-14 15:48:40
180
原创 浅谈数字敏感性 2021-11-14
浅谈数字敏感性：做大数据工程师一直被人说道的就是数字敏感性，如果比较准确的定义一下什么是数字敏感性，其实指的就是：当把数据放在你面前的时候，你能不能搞清楚每个字段每个表格之间的关系，然后给你一个需求，你知不知道如何运用这些关系提供结果。...
2021-11-14 14:06:16
1258
原创 oracle数据库之隐形转换 2021-11-12
oracle数据库之隐形转换：‘1.34’ + 5= ？当一个字符串是纯数字的时候，即使你不把它转化为数字，它也会在跟数字运算的时候被当成数字。这是数据库的隐性转换的作用。隐性转换很方便，但如果该数据所在字段有索引，隐性转换会导致索引失效。...
2021-11-12 12:51:38
525
原创 oracle之数据库的优化 2021-11-12
oracle之数据库的优化：通过执行计划查看语句的运行过程1、查看sql语句运行的前后顺序以及表格查询的逻辑2、查看sql语句运行过程中消耗的数据库的相对资源大小。3、查看cpu计算数据消耗的资源大小4、查看硬盘读写数据消耗的资源大小5、每个语句运行的毫秒数6、查看语句运行过程中的命中率7、查看读取数据的字节数的大小...
2021-11-12 11:21:52
34
原创 怎样进行sql语句运行的优化 2021-11-12
怎样进行sql语句运行的优化：思路：先通过执行计划查看语句运行的过程，到底是哪个步骤运行的比较慢，消耗比较多。1、表格数据量大，要给表格建分区2、字段经常要查询，可以给字段建索引3、用group by 替换distinct...
2021-11-12 10:45:01
881
原创 oracle基础之分区表索引 2021-11-11
oracle基础之分区表索引：1、全局索引：global2、本地索引：local二者的区别：第一，本地是每个分区单独进行索引的管理，所以用分区的本地索引进行字段查询时速度更快，全局索引是在整个表格中创建一个索引对所有的数据进行统一管理的。也就是说本地索引的速度比全局索引快。第二，本地索引是不能创建唯一类型的索引的。因为索引在一张表格里有唯一性，但各分区之间不知道各自的索引情况。第三，全局索引是不能创建位图类型的索引的，对全局也就是整张表来说，不管各分区字段的数据有多重复，放在整张表里来看，还是些
2021-11-11 12:50:16
433
原创 oracle基础之索引 2021-11-11
oracle基础之索引：索引：index 如果把表格看成一本书，那索引可以看成书的目录。1、主键索引：表格的字段内容不能重复，也不能为空主键索引是不能单独进行创建的，它和主键约束绑在一起，有主键约束就有主键索引，删除主键约束，那主键索引也就不存在了。2、唯一索引：表格的字段内容可以为空，但是不能重复。唯一索引可以跟着唯一约束的创建和删除而被创建和删除，也可以单独创建唯一约束。unique3、普通索引：对添加索引的字段没有要求。4、组合索引：如果在查询的时候，经常需要同时对多个字段进行
2021-11-11 12:41:19
130
原创 oracle基础之date与to_date 2021-11-10
oracle基础之date与to_date：1、共同点：两个函数都是处理时间类型的数据2、不同点：date处理的是年月日这个层级的数据，处理不了除了年月日还有时分秒的数据，时分秒的部分会被截取掉。date’2021-11-10’to_date可以处理年月日时分秒都有的数据，基本格式如下：to_date(‘2021-11-10 12:13:15’, ‘yyyy-mm-dd hh24:mi:ss’)...
2021-11-10 12:29:00
2871
原创 oracle基础之分区表 2021-11-10
oracle基础之分区表：没有分区的表格，新增数据更快，但是读取数据慢；有分区的表格，新增数据慢，但是查询速度更快。1、列表分区：对某个有大量重复数据存在的字段进行分区的类型。关键字：list例如：性别，省份，城市，部门，岗位，等级，商品分类。2、散列分区：专门去给没有数据特点的字段进行数据分区的，数据库内部有一种哈希算法，它会将每一个数据自动进行算法的转换，然后根据结果对数据进行划分。关键字：hash例如：人名，歌名，商品名3、范围分区：对金额，数值类型，时间类型的字段进行区分。关键字
2021-11-10 11:58:29
325
原创 oracle基础之中英文括号和范围分区临界值 2021-11-10
oracle基础之中英文括号和范围分区临界值：1、在oracle中，对中英文括号是不敏感的，如果不小心将英文括号敲成中文括号也没影响。2、在范围分区表中，每个分区的临界值都不包含在分区的数据的值中，如果要包含这个值，分区时，记得加1...
2021-11-10 10:51:38
40
原创 oracle基础之表空间 2021-11-09
oracle基础之分区表：1、表空间：一个逻辑上的概念，这个概念对应服务器硬盘上的N个文件，使用这些文件存储表格的结构和数据。这些文件就是数据库的数据文件（.dbf）2、创建表空间：create tablespace 空间名 datafile ‘硬盘的位置和文件的名字’ size 文件大小3、创建表并放入表空间：create table 表名（列名 数据类型）tablespace;4、新增一个存储数据的文件：alter tablespace 空间名
2021-11-09 16:55:37
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人