- 博客(80)
- 收藏
- 关注
RSS订阅翻译 CDH环境HDFS权限问题
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。1、创建用户（所有节点）useradd test2、创建用户组 （所有节点）groupadd supergroup3、将用户添加到用户组中（所有节点）usermod -a -G supergroup test...
2020-05-04 11:33:09
2628
原创 OGG同步MySQL数据
Mysql 5.6->Mysql 5.6 (linux -> win)以《installing and Configuring Oracle GoldenGate for MySQL.pdf》为准。字符集转换只能支持库级的字符集源端必须是innodb存储引擎目标库是mysql的话，replicat通过native api连接用户：要有对information_schem...
2020-03-30 16:14:35
2250
原创 Kudu安装部署
Kudu集群安装必须配置ntpd服务器。一、配置ntp服务1）修改所有节点的/etc/ntp.conf【命令】vi /etc/ntp.confrestrict 192.168.6.3 nomodify notrap nopeer noquery //当前节点IP地址restrict 192.168.6.2 mask 255.255.255.0 nomodify not...
2020-03-18 23:43:28
1150
原创 Oracle中常用动态视图
oracle哪些动态性能视图是必须掌握的？会话类：v$session v$processSQL类：v$sql v$sqlarea等待类：v$session_wait，v$system_event锁：v$locked_objects备份类：v$rman*热点：v$bh基本是所有视图我觉得都应该掌握，如果根据常用的，先参考如上所列吧。以下视图都可以了解下：1.DBA...
2020-02-19 23:35:35
650
翻译 备份与恢复
查看备份集rman target /list backup of archivelog all;删除无效的归档crosscheck archivelog all;delete expired archivelog all;查看归档list archivelog all;删除归档DELETE ARCHIVELOG ALL COMPLETED BEFORE 'SYSDATE...
2020-02-17 13:50:01
122
原创 ORACLE中DBMS_NETWORK_ACL_ADMIN用法
When you create access control lists for network connections, you should create one access control list dedicated to a group of common users, for example, users who need access to a particular applica...
2020-01-14 16:41:10
2537
原创 Solaris10运维笔记
软件包下载地址：http://mirror.opencsw.org/opencsw/testing/i386/5.10网卡配置一.激活网卡问题:VMware9安装solaris 10后,用ifconfig -a只能看到一个lo0,说明只有一个本地环回，即网卡没有启动或者系统没有识别到bash-3.2# ifconfig -alo0: flags=2001000849 mtu 823...
2020-01-09 15:04:29
418
转载 MySql学习笔记
Windows服务-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)连接与断开服务器mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW PROCESSLIST -- 显示哪些线程正在运行SHO...
2019-12-30 16:15:57
145
翻译 查看SQL执行计划
1、查询执行语句的sqlidselect * from gv$sql where sql_text like 'select * from a%';2、查看执行计划--列出特定SQL AWR里的执行计划select * from table(dbms_xplan.display_awr('&sqlid',null,'PEEKED_BINDS'))--列出特定SQL内存里的...
2019-12-30 11:50:19
1046
翻译 NFS文件共享
NFS介绍和原理 NFS 是Network File System的缩写，即网络文件系统。是一种使用于分散式文件系统的协定，功能是让客户端通过网络访问不同主机上磁盘里的数据，主要用在类Unix系统上实现文件共享的一种方法。 NFS使用RPC，即远程过程调用 (Remote ProcedureCall) ，它能使客户端执行其他系统中的程序。NFS本身是没有提供信息传输的...
2019-12-29 15:22:07
296
转载 《精品篇】如何在不影响Oracle生产库性能评估整库大小
【引言】最近碰到一个小问题：一TB级的Oracle生产库，因为要走数据迁移，需要先行评估整个库的迁移数据量大小，但又不得影响生产库运行性能。如何搞？大家都知道，expdp数据泵有两个很好用的参数ESTIMATE和ESTIMATE_ONLY，此两个参数可以保证在不真正发起逻辑备份的情况下评估整个迁移生产库的大小。这里使用$ expdp -help先看expdp的ESTIMATE和ESTIMAT...
2019-12-13 18:17:30
164
原创 Oracle运维笔记
1.修改Oracle数据库端口vi listener.ora ，修改port=11521注册监听SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (GLOBAL_DBNAME = orcl) (ORACLE_HOME = /home/oracle/app/oracle/product...
2019-11-25 14:40:47
511
原创 Redis集群安装与配置
1.创建 redis 用户 groupadd redisuseradd -g redis redispasswd redis2.安装ruby# tar -xzvf ruby-2.3.1.tar.gz# cd ruby-2.3.1# ./configure# make && make install# gem install redis可能遇到的问题...
2019-11-17 17:32:57
213
原创 Oracle中相关权限
权限安全相关的数据字典表有:ALL_TAB_PRIVSALL_TAB_PRIVS_MADEALL_TAB_PRIVS_RECDDBA_SYS_PRIVSDBA_ROLESDBA_ROLE_PRIVSROLE_ROLE_PRIVSROLE_SYS_PRIVSROLE_TAB_PRIVSSESSION_PRIVSSESSION_ROLESUSER_SYS_PRIVSUSER_...
2019-08-30 20:54:30
172
原创 安装部署zabbix以及orabbix监控Oracle数据库
参考https://blog.51cto.com/andyxu/2120362官网https://www.zabbix.com/cn/downloadzabbix简介 zabbix（[`zæbiks]）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快...
2019-08-21 22:07:05
1258
原创 Linux7配置存储服务器（targetd+iscsi）
1.LVM创建详情见https://blog.csdn.net/weixin_43241054/article/details/896803902.服务端配置首先，关闭防火墙systemctl stop firewalld.servicesystemctl disablefirewalld.service在Linux6中是scsi-target-utils-1.0.24-2...
2019-08-07 22:11:28
4410
原创 ASM磁盘配置（udev方式）
首先VMware创建共享磁盘(VMware Workstation 12)创建D:/Virtual Machines/share目录。在VMware的安装目录下有一个vmware-vdiskmanager.exe文件，在cmd窗口进入到这个文件所在目录。E:\>cd E:\Program Files\VMware\VMware Workstationvmware-vdiskm...
2019-08-05 23:26:31
3218
1
翻译 Linux常见问题汇总
1.使用Xshell连接Linux虚拟机上会出现Warning：The remote SSH server rejected X11 forwarding request由于没有安装图形界面软件，需要安装一个安装包就可以了，使用如下命令yum -y install xorg-x11-xauth2.ssh登录linux速度慢的问题(以centos7为例)解决步骤:修改文件:/et...
2019-08-04 20:36:33
297
翻译 Linux编程基础
1. EOF的用法在平时的运维工作中，我们经常会碰到这样一个场景：执行脚本的时候，需要往一个文件里自动输入N行内容。如果是少数的几行内容，还可以用echo追加方式，但如果是很多行，那么单纯用echo追加的方式就显得愚蠢之极了！这个时候，就可以使用EOF结合cat命令进行行内容的追加了。下面就对EOF的用法进行梳理：EOF是END Of File的缩写,表示自定义终止符.既然自定义,那么E...
2019-08-04 20:31:27
207
原创 Oracle RAC管理
RAC启动首先检查CRS状态： crsctl check cluster -all 查看集群crs状态 crsctl status res -tcrsctl start cluster -all （若用crsctl start crs命令，则两个节点都执行：）（新开root窗口执行/bin/dd if=/var/tmp/....
2019-08-04 20:09:06
304
原创 OGG安装配置
OGG简介（GoldenGate）OGG 是一种基于日志的结构化数据复制软件OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。OGG安装1. 使用Oracle用户，且加入oinstall用户组，GoldenGate安装在Oracle用户所在/home/oracle/app/OGG_linux/ggs目录下。2. 源...
2019-07-31 23:31:11
7566
4
原创 Oracle安装与配置(Linux)
Oracle安装与配置1. 检查内存、swap空间的配置：系统内存 Swap Space1GB~2GB 1.5*RAM2GB~16GB RAM >16GB 16GB2. 修改内核参数root用户下修改/etc/sysctl.conf文件，加上如下参数：kernel.shmmax = 42949...
2019-07-29 22:54:31
1064
原创 Kafka基础入门
Kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、...
2019-07-29 22:15:56
206
原创 Spark之Spark Streaming
Spark Streaming简介 Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：m...
2019-07-27 23:03:21
412
原创 Spark之Spark-Sql
Spark Sql简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spar...
2019-07-24 22:03:29
287
3
原创 Spark之Spark Core （RDD弹性分布式数据集）
RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含 Python、Java、S...
2019-07-20 22:34:11
488
原创 Squirrel_SQL_Client连接Hive配置
1.下载地址 https://sourceforge.net/projects/squirrel-sql/files/ http://www.squirrelsql.org/2.安装 （1）双击squirrel-sql-3.8.0-standard.jar进行安装。 （2）执行命令 java -jarsquirrel-sql-3.8.0-standard.ja...
2019-07-11 22:33:05
378
原创 Spark基础入门
Spark简介 Apache Spark是一个用于实时处理的开源集群计算框架。 它是Apache软件基金会中最成功的项目。 Spark已成为大数据处理市场的领导者。 今天，Spark被亚马逊，eBay和雅虎等主要厂商采用。 许多组织在具有数千个节点的集群上运行Spark。 MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS...
2019-07-11 00:21:33
508
原创 HUE基础入门
HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等。学习网站： http://gethue.com https://github.com/cloude...
2019-07-08 01:22:59
5472
原创 Oracle表空间的创建、扩容及管理
1. 表空间的创建、扩容--创建表空间CREATE TABLESPACE oditest DATAFILE 'D:\ORACLE\ORADATA\ORCL\ODITEST.DBF' SIZE 100M;--表空间的扩容alter tablespace oditest add datafile 'D:\ORACLE\ORADATA\ORCL\ODITEST1.DBF' size 10g ...
2019-07-02 18:59:54
2497
原创 Oozie基础入门
工作流调度框架Oozie * 工作流 import -> hive -> export 将不同的业务进行编排 * 调度 作业/任务 定时执行 事件触发执行 时间 数据集调度框架 Linux crontab 规则 * * * * * cmd 前五个字段是设...
2019-07-01 23:20:34
244
原创 Flume基础入门
Flume Cloudera开发的框架，Flume是一个非常优秀日志采集组件，类似于logstash，我们通常将Flume作为agent部署在application server上，用于收集本地的日志文件。 实时收集数据 apache/ngnix Kafka/Flume + storm/spark spark streaming Web Server -&g...
2019-06-30 23:28:22
157
原创 Sqoop1基础入门
1.数据来源与处理 RDBMS（Oracle，Mysql，DB2...) -> Sqoop (SQL to Hadoop) 文件（Apache，Nginx日志数据） -> Flume(实时抽取)2.任务调度 数据分析任务job比较多 执行时间，执行频率，job之间的相互依赖（工作流） Oozie框架执行调...
2019-06-30 00:57:22
453
原创 Mysql学习笔记（1）
1. 使用命令执行 sql 脚本文件 进入 MySQL 控制台，使用 source 命令执行Mysql>source 【sql脚本文件的路径全名】或 Mysql>\. 【sql脚本文件的路径全名】。示例： source C:\test.sql 或者 \. C:\test.sql...
2019-06-23 22:47:32
74
原创 Oracle中log file switch (checkpoint incomplete) 事件
oracle文档解释：Waiting for a log switch because the session cannot wrap into the next log. Wrapping cannot be performed because the checkpoint for that log has not completed.查看redo日志信息:select * fro...
2019-06-18 12:44:42
967
原创 Hadoop学习笔记API（2）文件读取与上传
package com.zhanbk.hadoop;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStre...
2019-06-16 15:51:44
181
原创 Hadoop学习笔记（2）
NameNode 内存 本地磁盘 fsimage edits 格式化HDFS，目的就是生成fsimage 0->format 1->fsimage 2->start namenode read fsimage 3->start datanode 注册 ...
2019-06-16 15:43:16
105
原创 Hadoop学习笔记API（1）wordcount
package com.zhangbk.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache...
2019-06-16 15:41:35
132
原创 HBase学习笔记（2）
1.文件格式tsv格式的文件，字段之间是以\t分割的csv格式的文件，字段之间是以，分割的。2.查看HBase执行MapReduce所依赖的Jar包bin/hbase mapredcp$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/$ export HADOOP_HOME=/opt/modules/cdh/h...
2019-06-16 15:32:33
205
原创 HBase学习笔记API（3）
将文件中的数据导入到HBase数据表 其实该案例的思想和HBase表数据的转移没有太大不同，思路总体还是一样的，只不过这次Mapper不是从HBase的表里读取数据了，而是从HDFS上的文件中读取数据，所以Mapper可直接继承自HDFS的Mapper。package com.zhanbk.mr2;import java.io.IOException;import org....
2019-06-13 23:57:57
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人