2 不言尘世

尚未进行身份认证

我要认证

全栈java学习

等级
TA的排名 3w+

oracle 从一个用户数据拷贝到另一个用户中

1、登录scott用户。2、给baisystem用户赋予查询emp表的权限:grant select on emp to system;3、登录system用户。4、执行以下语句:creat table emp as select * from scott.emp;亲测有效哦

2020-07-31 15:48:54

通过dblink拉去远程oracle数据到本地数据库(亲测有效)

一 在本地数据库创建dblinkcreate database link DBLINK_TEST connect to 远程数据库用户名 identified by “远程数据库用户名密码” using ‘远程数据库ip:1521/dwdb’;二 测试连接select * from 远程数据库表名@DBLINK_TEST;三 从远程数据库拉去数据到本地create table 表名 as select * from 远程数据库表名@DBLINK_TEST;...

2020-07-31 15:47:24

Cognos Framework manager 配置oracle数据源失败UDA-SQL-0532

最近在做BI Cognos报表系统,装了一下这个环境,不是很顺利,遇到了很多问题,今天来总结一下:第一个问题:因为Cognos 只支持32位的Oracle客户端,所以将64位的Oracle客户端换成32位的第二个问题:当换成32位的Oracle客户端时,报错如下:将Oracle客户端的tnsnames.oRA文件添加如下配置:最好将服务器端的相同文件默认配置即可。之前我也配过服务器端的tnsnames.oRA文件。但是还是失败的。以上就是我装Cognos遇到的问题,希望有用...

2020-07-12 22:35:15

spark submit参数调优

在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源,作业运行会极其缓慢;或者设置的资源过大,队列没有足够的资源来提供,进而导致...

2020-06-20 20:09:14

mapreduce的工作流程

MapReduce 就是将输入进行分片,交给不同的 Map 任务进行处理,然后由 Reduce 任务合并成最终的解。MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段,具体的工作流程如图 1 所示。在 Input 阶段,框架根据数据的存储位置,把数据分成多个分片(Splk),在多个结点上并行处理。Map 任务通常运行在数据存储的结点上,也就是说,框架是根据数据分片的位置来启动 Map 任务的,而不是把数据

2020-06-16 21:17:03

OLAP和OLTP的区别

当今的数据处理大致可以分成两大类**:联机事务处理 OLTP(on-line transactionprocessing)、联机分析处理 OLAP(On-Line Analytical Processing)**。OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。...

2020-06-12 20:07:48

kafka如何保证数据不丢失

Guide哥2020年03月16日阅读 4974关注面试官问我如何保证Kafka不丢失消息?我哭了!kafka如何保证不丢消息ps:这篇文章自我感觉说的很大白话了!希望你们看过了之后能有收获。不了解 Kafka 的朋友建议先看一看我的下面这几篇文章,第一篇一定要看,其他的可以按需学习。入门篇!大白话带你认识 Kafka!5分钟带你体验一把 KafkaKafka系列第三篇!10 分钟学会如何在 Spring Boot 程序中使用 Kafka 作为消息队列?生产者丢失消息的情况生产者(Prod

2020-06-10 20:46:59

hive 调优

1 1 Fetch抓取1)理论分析Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走m

2020-06-10 11:02:15

Apache Atlas安装和配置

阿里云携手百名商业领袖、技术大咖,带您一探行进中的数字新基建!>>> <p> </p> Atlas概述 Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些...

2020-06-08 10:57:17

mysql导入导出sql文件

window下1.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql2.导出一个表mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u dbuser -p dbname users> dbname_users.sql3.导出一个数据库结构mysqldump -u dbuser -p -d --add-...

2020-06-08 08:37:47

MYSQL数据库加固

收集整理比较全面的MYSQL数据库加固MYSQL数据库加固指导手册1. 数据库存放位置检查windows系统: 数据库不可以放在C盘linux系统:数据库文件不可以存放在 /,/var,/usr目录内#连上mysql数据,mysql -uroot -p --回车输入密码select @@datadir;#或show variables where variable_name=‘datadir’;加固方法#设置指定安全的路径set global datadir='路径...

2020-06-07 13:42:34

ansible命令详解

1.comand模块 (默认模块)用于在远程主机(被管理的主机)上执行某个命令注:A. 不能变量$HOME和操作等"<",">","|",";“和”&"#在默认家目录下创建一个 ansible.txt的文件[root@cdhnode1 ~]# ansible all -m command -a " touch ansible.txt "#指定切换到/home/zx目录下,再创建一个ansible.txt的文件[root@cdhnode1 ~]# ansibl

2020-06-07 12:57:07

MySQL索引与查询优化

目录About MySQLWhy MySQLMySQL IndexWhy Index索引是如何工作的如何使用创建索引查看索引删除索引索引的使用原则写操作比较频繁的列慎重加索引索引越多占用磁盘空间越大不要为输出列加索引考虑维度优势对短小的值加索引为字符串前缀加索引复合索引的左侧索引索引加锁覆盖索引聚簇索引选择合适的索引类型查询优化建议使用explain分析查询语句select_typetypeKeypossible_keysre.

2020-06-06 12:06:25

HBase之Rowkey设计总结

HBase之Rowkey设计总结及易观方舟实战篇 ...

2020-06-05 15:41:36

kafka分区分配策略

1 Range在 Kafka内部存在两种默认的分区分配策略:Range和 RoundRobin。Range是默认策略。Range是对每个Topic而言的(即一个Topic一个Topic分),首先对同一个Topic里面的分区按照序号进行排序,并对消费者按照字母顺序进行排序。然后用Partitions分区的个数除以消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽,那么前面几个消费者线程将会多消费一个分区。例如:我们有10个分区,两个消费者(C1,C2),3个消费者线程,10 / 3 = 3而且

2020-06-05 09:59:23

Hive文件格式(表stored as 的五种类型)

Hive文件格式(表stored as 的五种类型) ...

2020-05-31 16:36:58

数据仓库建模

1 ODS 层 层(1)保持数据原貌不做任何修改,起到备份数据的作用。(2)数据采用压缩,减少磁盘存储空间(例如:原始数据 100G,可以压缩到 10G 左右)(3)创建分区表,防止后续的全表扫描2 DWD 层DWD 层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。维度建模一般按照以下四个步骤:选择业务过程 → 声明粒度 → 确认维度 → 确认事实** (1 )选择业务过程**在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一

2020-05-30 20:16:54

数据仓库之维度表和事实表

1 维度表维度表:一般是对事实的 描述信息。每一张维表对应现实世界中的一个对象或者概念。例如:用户、商品、日期、地区等。维表的特征: 维表的范围很宽(具有多个属性、列比较多) 跟事实表相比,行数相对较小:通常< 10 万条 内容相对固定:编码表时间维度表:2 事实表事实表中的 每行数据代表一个业务事件(下单、支付、退款、评价等)。“事实”这个术语表示的是业务事件的 度量值(可统计次数、个数、件数、金额等),例如,订单事件中的下单金额。每一个事实表的行包括:具有可加性

2020-05-30 20:03:57

HIVE中get_json_object与json_tuple使用

HIVE中get_json_object与json_tuple使用 ...

2020-05-29 16:18:34

数据仓库之数仓理论(1)

1 范式概念1)定义范式可以理解为设计一张数据表的表结构,符合的标准级别。 规范和要求2)优点关系型数据库设计时,遵照一定的规范要求,目的在于降低数据的冗余性。为什么要降低数据冗余性?(1)十几年前,磁盘很贵,为了减少磁盘存储。(2)以前没有分布式系统,都是单机,只能增加磁盘,磁盘个数也是有限的(3)一次修改,需要修改多个表,很难保证数据一致性3)缺点范式的缺点是获取数据时,需要通过 Join 拼接出最后的数据。4)分类目前业界范式有:第一范式(1NF)、第二范式(2NF)、第三范

2020-05-28 22:30:29

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。