- 博客(46)
- 收藏
- 关注
RSS订阅原创 oracle 11g rac grid命令
ORACLE集群启动过程1.init.crsd2.init.cssd3.init.evmd[root@rac1 grid]# ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 3 Total space (kbytes) : 262120 Used space (kbytes) :...
2021-06-08 14:31:46
483
原创 centos7 搭建oracle11g rac
一、部分理论RAC，全称real application clusters， 译为“实时应用集群”，是Oracle新版数据库中采用的一项新技术，是高可用性的一-种，也是Oracle 数据库支持网格计算环境的核心技术。●VIP -虚拟IP地址(Virtual IP)。TCP协议是一种面向连接的可靠的传输层协议，它保证了数据的可靠传输，对于一些出错，超时丢包等问题TCP设计的超时与重传机制。其基本原理：在发送一个数据之后，就开启一个定时器，若是在这个时间内没有收到发送数据的ACK确认报文，则对该报文进行重
2021-06-08 14:30:10
2043
redis安装与配置
一、部分理论1.redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API2.redis是基于内存(内存使用小)，且是单线程，用于访问量大的，并发数多的计算（快）和统计。 二、安装与配置1.官网下载安装包，解压tar -xzvf redis-5.0.4.tar.gzcd redis-5.0.4make修改配置文件vi /root/red.
2021-06-07 08:13:23
279
原创 nmon安装与配置
一、安装与配置1.下载 http://nmon.sourceforge.net/pmwiki.php?n=Site.Download centos7_x86_64适合的最新nmon版本为： nmon16e_mpginc.tar.gz 3.5MB http://nmon.sourceforge.net/pmwiki.php?n=Site.Nmon-Analyser 下载分析excel工具 nmon_analyser_v61.zip2.解压 tar -zxvf nmon16e_mpginc....
2021-06-07 08:12:26
415
原创 mysql-cluster安装与配置
一、部分理论sql节点：要求建表时使用ndbcluster存储引擎，存放表结构，数据保存在内存中。访问Cluster数据的节点，客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。 通常，SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动数据节点：保存Cluster的数据，数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节...
2021-06-07 08:11:08
674
原创 haproxy安装与配置
一、部分理论 HAProxy是一个使用C语言编写的自由及开放源代码软件[1]，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。 HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或...
2021-06-07 08:10:00
237
原创 mycat的安装与配置
一、部分理财 可以解决流行数据库多节点、主从结构、读写分离 问题二、下载与安装1.解压 tar -xzvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz2.修改配置文件vi /root/mycat/conf/server.xml<?xml version="1.0" encoding="UTF-8"?><!-- - - Licensed under the Apache License, Versio...
2021-06-07 08:09:07
679
原创 powershell使用xming远程图形化linux安装软件
1.在windwos下载xming并安装：https://sourceforge.net/projects/xming/ xming属于开源，免费软件。 xmanager也很方便，但属于商业软件2.在windwos打开powershell中输入：setx DISPLAY "localhost:0.0" 。3.在windwos打开powershell中输入如下命令cd /mkdir devcd devmkdir tty上面命令是为了解决报错CreateProcessW f...
2021-06-07 08:06:13
876
原创 20210203_flink学习笔记
一、flink理论知识flink:流式处理无界和有界数据的处理引擎lambda:也是流处理，架构不同。已淘汰Storm:是无状态流处理器（即它不能定义和维护状态）trident:Spark Streaming:遇到了吞吐量和延迟性难 两全的问题Storm ==> trident ==> spark Streaming(微批次流) ==> flink(真流式) #flink 发展Dispacher:分发器jobmanager:任务及调度分配管理，人工提交任务t...
2021-06-03 15:07:32
65
原创 20210127_spark学习笔记
一、部分理论spark:由Scala语言开发的快速、通用、可扩展的基于内存的大数据分析引擎。在mapreduce上进行了优化，但没mapreduce稳定。Spark Core是spark平台的基础通用执行引擎，所有其他功能都是基于。它在外部存储系统中提供内存计算和引用数据集。spark最基础的最核心的功能Spark SQL是Spark Core之上的一个组件，它引入了一个称为SchemaRDD的新数据抽象，它为结构化和半结构化数据提供支持。Spark Streaming利用Spark Core的快
2021-06-03 15:06:58
210
原创 20210126_sqoop学习笔记
一、部分理论sqoop:实现数据从数据库的导入导出二、安装与配置1.官网下载并解压。下载 1.4.6 。 1.4.7为测试版本tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv /root/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /root/sqoop-1.4.6mv /root/sqoop-1.4.6/conf/sqoop-env-template.sh /root/sqoop-1.4.6/conf/s
2021-06-03 15:06:14
101
原创 20210121_hbase学习笔记
一、Hbase理论Hbase:一种分布式、可扩展、支持海量数据存储的Nosql(非关系型)数据库。 读比写慢name space:和数据库database一样。里面有hbase自己的default,Hbase库名region:表的切片。当表数据量太大时，把数据量切分开。类似hash分区客户号row:Hbase保留数据的行，里面有rowkey及对应其它列组成column:由列族column family和列限定符column Qualifier。time stamp:每条数据写入的时间戳。ce.
2021-06-03 15:05:41
141
原创 20210118_kafka学习笔记
一、部分理论kafka:分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域topics:主题，生产者生产主题信息提供给消费者消费producer:生产者,生产消息到主题consumer:消费者，自己从主题拉取消息。 分区数一定要大于消费者数量partitions:kafka分区是为了做负载均衡。 一个主题的分区数只能给一个消费者，如果消费者数量大于主题的分区数就会有消费者消费不到数据replication:副本数是为了高可用kafka controller:类似zookee.
2021-06-03 15:05:08
109
原创 20210114_flume学习笔记
一、部分理论作用：实时监控文件，文件夹内的变化，并将变化数据实时加载到控制台，hdfs等地方flume:启动为agent,分为三部分 source --> channel --> sinksource:负责接收数据，处理各种日志数据类型，包含如下 netcat(类似qq聊天工具), exec(linux读数据命令都可以，如tail -F。缺点是数据丢失，每次都要重读10行), spooling directory(实时监控文件夹内增加文件变化。缺点是文件...
2021-06-03 15:04:29
173
1
原创 20210113_hadoop_ha高可用学习笔记
一、hadoop集群的安装与配置，全部按照hadoop基础学习笔记中先配置高可用没有了secondarynamenode，使用JournalNodes来替代，且必须要有三台机器有JournalNodes新增加了一个namenode（standby）,以前namenode还是namenode（active）新增加了一个resourcemanager（standby）,以前resourcemanager还是resourcemanager（active）二、hadoop高可用参数修改配置 ...
2021-06-03 15:03:54
140
原创 20210109_hive学习笔记
一、hive安装与配置 1.下载hive apache-hive-3.1.2-bin.tar.gz 需要先安装hadoop和mysql，且启动服务2.sftp上传到linux,tar -xzvf apache-hive-3.1.2-bin.tar.gz解压3.修改配置文件mv /root/apache-hive-3.1.2-bin /root/hive-3.1.2mv /root/hive-3.1.2/conf/hive-env.sh.template /root/hive-3.1.2/...
2021-06-03 15:03:12
307
原创 20210106_zookeeper学习笔记
一、zookeeper 下载安装 1.官网下载，下载带bin的已编译的包，不然不能执行 2.上传到服务器 192.168.100.101 3.tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz mv apache-zookeeper-3.6.2-bin zookeeper-3.6.2 mv /root/zookeeper-3.6.2/conf/zoo_sample.cfg /root/zookeeper-3.6.2/conf/zoo.cfg 4...
2021-06-03 15:02:35
101
原创 20201216_hadoop高级学习笔记
一、部分理论知识，架构图 hadoop是用java写的1.resource manager:处理客户端请求;监控nodemanager;启动或监控application master;资源分配或调度2.node manager:管理单个节点上资源;处理来自resource manager命令;处理来自application master命令3.application master:负责数据切分;为单个job任务申请资源;任务的监控和容错4.container:封装管理内存、cpu、磁盘、网络等资源.
2021-06-03 15:01:51
182
原创 mysql 8.0.22安装linux及主从搭建
一、软件下载与安装1.mysql官网下载二进制文件，上传服务器，解压2.参考官网安装手册 docshell> groupadd mysqlshell> useradd -r -g mysql -s /bin/false mysqlshell> cd /usr/localshell> tar xvf /path/to/mysql-VERSION-OS.tar.xzshell> ln -s full-path-to-mysql-VERSION-OS mysql #此.
2020-12-16 15:57:12
509
1
原创 mysql 8.0.22安装windows及基础
一、mysql 8.0.22安装windows1.官网下载mysql免安装版软件， 解压.2.管理员运行CMD ,执行命令：mysqld --install3.初始化数据库 mysqld --initialize --console 会产生随机密码4.启动mysql服务 net start mysql5.修改密码 mysql -h localhost -P 3306 -u root -p 输入随机密码后修改新密码 alter user 'root'@'localhost' identified..
2020-12-16 15:56:24
231
原创 20200909_hadoop基础学习笔记
hadoop安装一、环境配置1.ip地址确定,修改文件/etc/sysconfig/network-script/ifcfg-ens332.主机名确定hostnamectl set-hostname master3.hosts文件修改192.168.100.101 master192.168.100.102 s1192.168.100.103 s24.防火墙关闭systemctl stop firewalld.servicesystemctl disable firewalld.
2020-11-25 16:46:23
196
转载 linux本地yum源配置
1.放入Centos6.4的镜像光盘或找到镜像文件mount –o loop –t iso9660 CentOS-6.0-i386-bin-DVD.isomount /dev/cdrom /media/cdrom2.编辑自己的repo文件：（文件位置/etc/yum.repos.d/，后缀一定是.repo结束.为了使用自己搭建的yum源我这里删除了自带的（rm –f .
2016-04-07 17:53:00
303
转载 windows批处理命令大全
1 echo 和 @@ #关闭单行回显echo off #从下一行开始关闭回显@echo off #从本行开始关闭回显。一般批处理第一行都是这个echo on #从下一行开始打开回显echo #显示当前是 echo off 状态
2016-04-07 17:51:49
2121
转载 datastage dsjob命令
dsjob解释一ETL调度中不乏要用shell脚本来运行DATASTAGE中的JOB,现测试一下DSJOB的用法然后总结一下（边测试边总结）dsjob -run [-mode ] PROJECT_NAME JOB_NAME-mode为选择运行模式，NORMAL表示正常运行，此时和不写-mode是一样的；RESET表示重置，当job在中止状态时要先RESET，
2016-04-07 17:50:50
1644
原创 Linux命令全称及目录结果
FilesystemHierarchyStandard(FHS)/：根目录，所有的目录、文件、设备都在/之下，/就是Linux文件系统的组织者，也是最上级的领导者。 /bin：bin就是二进制（binary）英文缩写。在一般的系统当中，都可以在这个目录下找到linux常用的命令。系统所需要的那些命令位于此目录。 /boot：Linux的内核及引导系统程序所需要
2016-04-07 17:49:12
1758
原创 2010 work Summary
1.Win2003 取消开机Ctrl+Alt+Delete的操作步骤：打开[控制面板]的[管理工具]再打开[本地安全策略]是一个标题为[本地安全设置]的窗体，点左边[安全设置]里的[本地策略]，再点开里面的[安全选项]，然后找到[禁用按CTRL+ALT+DEL进行登录的设置]双击这一条，就可以看到启用和停用，选启用后，再点击确认，就ok了！2.关闭系统事件跟
2016-04-07 17:48:16
561
原创 SUGA常用语句
--请求组：Request Group 字段SELECT distinct c.REQUEST_GROUP_NAME--SELECT c.REQUEST_GROUP_NAMEFROM FND_CONCURRENT_PROGRAMS A, fnd_request_group_units b,fnd_request_groups c,fnd_application d,FN
2016-04-07 17:46:47
545
转载 CentOS 6.3(x32)下安装Oracle 10g R2
CentOS 6.3(x32)下安装Oracle 10g R2一、硬件要求1、内存 & swapMinimum: 1 GB of RAMRecommended: 2 GB of RAM or more检查内存情况# grep MemTotal /proc/meminfo# grep SwapTotal /proc/memi
2016-04-07 17:45:27
350
原创 rman恢复Oracle数据库
一：恢复到上一次备份时1.恢复spfile$:sqlplus "/as sysdba"sql:shutdownsql:startup---error 设置环境变量$:export ORACLE_SID=orcl寻找安装数据库时产生的pfile文件,一般在如下文件夹下$:cd /u01/app/oracle/admin/or
2016-04-07 17:42:27
238
原创 oracle dbms_logmnr
分析数据库日志变化execute dbms_logmnr.add_logfile(logfilename=>'/oracle/opt/oracle/flash_recovery_area/ORCL/archivelog/2012_12_20/o1_mf_1_3_8f5tk1b6_.arc',options=>dbms_logmnr.new);/execute dbms_logm
2016-04-07 17:39:36
364
原创 LINUX 学习篇
一、用man查看指令用法时，最上面有指令使用的权限标示数字 1 用户在shell环境中可以操作的挃令戒可执行文件 2 系统核心可呼叫的凼数不工具等 3 一些常用的凼数(function)不凼式库(library)，大部分为C的凼式库(libc) 4 装置档案的说明，通常在/dev下的档案 5 配置文件戒者是某些档案的格式 6 游戏(games
2016-04-07 17:37:11
257
原创 ORACLE常用SQL语句
一、查询锁及原因并解锁--查找锁：select o.object_name as 对象名称, s.username, s.sid,s.serial#, p.spid as 系统进程号, s.logon_timefrom v$locked_object l , dba_objects o , v$session s ,
2016-04-07 17:35:35
283
原创 DBA索引优化 与 sqlldr使用
一、分析索引1.概念：1、高基数：简单理解就是表中列的不同值多。 2、低基数：建单理解就是表中的列的不同值少3、已删除的叶节点数量：指得是数据行的delete操作从逻辑上删除的索引节点 的数量，要记住oracle在删除数据行后，将 “ 死 “ 节点保留在索引中，这样做可以加快sql删除操作的速度，因此oracle删除数据行后可以不必重新平衡索引4、索引高度：
2016-04-07 17:34:12
638
原创 Oracle物化视图
CREATE MATERIALIZED VIEW WM_MATERIALIZED01TABLESPACE USERBUILD DEFERRED --/IMMEDIATE/NO PREBUILD TABLE/REFRESH FORCE --/FAST/COMPLETE/NEVER/ON DEMAND --/COMMIT/START WITH SYSDATE
2016-04-07 17:33:18
209
原创 Oracle UTL_SMTP邮件发送
CREATE OR REPLACE PROCEDURE send_mail(p_recipient VARCHAR2, -- 邮件接收人 p_subject VARCHAR2, -- 邮件标题 p_message V
2016-04-07 17:31:12
2613
转载 SQLPLUS中设置参数
SQL>set colsep' '; //-域输出分隔符SQL>set echo off; //显示start启动的脚本中的每个sql命令，缺省为onSQL> set echo on //设置运行命令是是否显示语句SQL> set feedback on; //设置显示“已选择XX行”SQL>set feedb
2016-04-07 17:30:00
2273
原创 Linux常用命令整理
1、tar ：解压或压缩文件 -j 以.tar.bz2压缩或解压 -z 以.tar.gz压缩或解压 -c 创建打包文件 -x 解除打包文件 -v 显示执行过程 -f 后跟文件名，一般必须有 -t 显示打包文件中的内容 -p ：使用原文件的原来
2016-04-07 17:29:22
249
转载 正则表达式（适用于oracle及linux）
\ ：本身无意义，引用下一个字符* ：匹配多次或0次出现 >=0+ ：匹配多次出现 >=1? ：匹配一次或0次出现| ：指定其它匹配的运算符^ ：匹配行的开始字符$ ：匹配行的介绍字符. ：匹配除null以外的受支持的字符集中的任何字符[] ：指定匹配列表
2016-04-07 17:27:03
223
原创 oracle锁概念 与 v$parameter字段介绍
TM:table level lockTX:row level lockRS:row shareRX:row exclusiveS:shareSRX:share row exclusiveX:exclusiveSSX:share row exclusive table lock(主外键时存在）SS:row share table lo
2016-04-07 17:26:28
623
原创 oracle RAC搭建过程
1、系统安装 linux2.6.18 ，所有节点执行 略2、增加组，所有节点执行 groupadd-g oinstall groupadd -g asmadmin groupadd -g dba groupadd -g asmdba groupadd -g asmoper3、增加用户，并设置其密码，
2016-04-07 17:24:29
599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人