qichangjian-CSDN博客

原创大数据博客目录整理

Hadoop大数据平台简介-CDH,HDPHadoop-1-生态圈的组件大体介绍Hadoop-2-hadoop的HA搭建hdfsHadoop-HDFS基本概念介绍(设计思路，架构，优缺点)Hadoop-HDFS四大机制和两大核心以及元数据合并Hadoop-HDFS-读写流程详解Hadoop-HDFS的shell操作mapreduceHadoop-Mapreduce的框架组成和运...

2019-03-22 17:54:00 509

转载 informatica学习1-数据仓库,ETL,数据仓库工具Informatica介绍

文章目录一、数据仓库（ETL）二、为什么用Informatica工具一、数据仓库（ETL）数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision-Support）【将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节】。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数

2020-07-28 09:26:45 3352

原创解决PLSQL提示中文乱码问题：Oracle服务端和plsql客户端字符集统一修改为ZHS16GBK

文章目录1.问题：2.分析原因：3.解决思路：4.操作步骤4.1修改Oracle服务端为ZHS16GBK4.2修改plsql为ZHS16GBK1.问题：新电脑在安装是错误提示窗口报错信息为乱码。2.分析原因：Oracle服务端和plsql字符集不相同3.解决思路：更改客户端的字符集与服务器中的一致即可,这里统一修改为ZHS16GBK// 注意：都同时改为utf8还是报错原因：是数据库不支持中文，查询后发现中文的字符编码应该是SIMPLIFIED CHINESE_CHINA.ZHS16GBK

2020-07-22 09:35:51 3351

原创 java类博客目录整理

java基础面向过程和面向对象在什么情况下Java比C++快？Java中==和equals比较解析java中三种移位运算符String、StringBuffer、StringBuidler区别？Java中比较器的实现方法Java中 compareable 内部比较器和comparator 外部比较器Java中异常Cookie和Session是什么？它们的区别是什么？Java中f...

2020-07-21 09:52:36 383

原创 cdsn自动添加目录

首先需要有目录// 在写文档的时候自己加入一级或者二级目录# 一级目录## 二级目录### 三级目录然后加入下边代码，自动生成// 在需要加入目录的位置添加下边代码@[TOC](文章目录)

2020-07-08 09:27:46 259

原创 Linux下常用的ftp操作命令

文章目录1.登陆ftp服务器2.ftp子命令2.1.帮助命令2.2.查看ftp中的文件列表（ls和dir都可以查看）2.3.切换ftp的目录2.4.查询linux系统信息1）查询系统中的文件列表(ls)2）切换linux中的工作目录(lcd)2.5.下载上传文件或目录1）创建(mkdir)和删除(rmdir)ftp目录2）下载ftp的文件下载单个文件（get）下载多个文件(mget)3）上传文件3.1）上传单个文件(put)创建测试文件上传3.2）上传多个文件(mput)2.6.ftp文件目录操作1）修改

2020-07-08 09:23:02 4459 2

原创 shell脚本推送每日文件到ftp服务器日期目录下

需求需求：本地每日日期文件夹下的后缀名为.ok文件推送到ftp服务器，在ftp上创建每日文件夹，并把当日ok文件推送到创建的文件夹下ftp方式#!/bin/shv_date=$1echo $v_date#如果传入时间则时间是传入时间，如果没有传入时间参数默认是昨天if [ -z "$v_date" ]; then v_date=`date -d yesterday +'%Y%m%d'` echo "时间参数为空" echo $v_datee

2020-07-08 09:04:31 891

原创 flink学习报错：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

报错内容：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(C

2020-06-06 22:47:28 2125

原创 Oracle之CUBE与ROLLUP分析函数

1.建表并插入数据--建立测试表CREATE TABLE GROUP_TEST( ID NUMBER, NAME VARCHAR2(10), VALUE NUMBER, REMARKS VARCHAR2(255)) SEGMENT CREATION IMMEDIATE; --表注释（加注释是因为我对加注释的语句不熟悉。练习一下）COMMENT ON TABLE GROUP_TEST IS '为了测试CUBE,ROLLUP,GROUPING,GROUPING_ID的

2020-05-09 10:50:35 357

原创 Oracle中序列(sequence)初始值从2开始的解决方法

为什么用Oracle11g创建序列后插入数据的初始值老是从2开始？Oracle新表使用序列(sequence)作为插入值，初始值不是第一个，即当我们创建了新的表(table)和序列(sequence)，在插入(insert)语句时，序列会跳过第一个值(1)。所以结果是插入的序列值从 2(序列的第二个值) 开始，而不是 1开始。测试代码:--建立测试表CREATE TABLE GROUP_TEST( ID NUMBER, NAME VARCHAR2(10), VALUE

2020-05-09 10:16:28 2198

原创 Oracle忘记密码，密码修改

对于粗心的人来说，各种密码没有记录，有时候会忘记，所以需要修改密码解决。1. 打开cmd，输入 sqlplus /nolog2.进入控制台，输入 conn /as sysdba;以DBA角色进入3.连接成功后，输入select username from dba_users; 查看用户列表注意要加分号后回车4.然后修改某一个用户密码 alter user 用户名 identif...

2020-01-19 09:38:03 863

原创 Oracle行转列和列转行的方法汇总

行转列方法一：Oracle中的Pivot函数说明：pivot（聚合函数 for 列名 in（类型）），其中 in(‘’) 中可以指定别名，in中还可以指定子查询，比如 select distinct ranking from tempSELECT * FROM [StudentScores] /*数据源*/AS PPIVOT ( SUM(Score/*行转列后列的值*/) F...

2020-01-10 10:55:15 11323

原创 oracle sign函数解决大于小于的decode写法

1.sign函数select sign(1-2) from dual; -- -1select sign(1-1) from dual; -- 0select sign(2-1) from dual; -- 1sign函数返回-1 , 0 , 1分别标识小于 , 等于 , 大于。2.decode函数与case when 语句效果类似select d...

2020-01-09 11:00:52 3199

原创 Oracle存储过程，函数执行记录日志方式

1.步骤一：创建一个序列,用于标识[存储过程,函数,触发器]执行先后顺序--步骤一：创建一个序列,用于标识[存储过程,函数,触发器]执行先后顺序CREATE SEQUENCE SEQ_PROGRAM_EXECUTE_LOGMINVALUE 1MAXVALUE 1000000000000START WITH 1INCREMENT BY 1CACHE 100CYCLEORDER;...

2019-12-30 17:59:04 2051

原创 Oracle中日期处理用到的函数整理

1.trunc函数1.1处理日期/**************日期********************/1.select trunc(sysdate) from dual --2013-01-06 今天的日期为2013-01-062.select trunc(sysdate, 'mm') from dual --2013-01-01 返回当月第一天.3.select trunc(sy...

2019-12-30 17:33:18 353

原创 shell几种字符串加密解密的方法

第一种：〔 Python 与 Bash Shell 的结合〕这个命令会让你输入一个字符串，然后会再输出一串加密了的数字。加密代码[照直输入]:python -c 'print reduce(lambda a,b: a*256+ord(b), raw_input("string: "), 0)'解密代码[数字后+P]：dc -e 输出的数字P第二种：〔应该是纯 Bash Shel...

2019-12-30 17:09:28 3644

原创 Oracle 查看索引状态信息以及索引重建

1，查询索引状态1.1 查询user_indexes表select status,T.* from user_indexes T where table_name='表名'状态列STATUS说明： valid:当前索引有效 N/A :分区索引有效 unusable:索引失效1.2 查询分区索引-user_ind_partitions表select in...

2019-12-30 16:46:26 5882 1

原创 ORACLE删除表分区和数据

查询分区select * from user_tab_partitions where table_name=upper(‘表名’) and partition_name=‘分区名称’删除分区,数据也自动删除alter table 表名 DROP PARTITION 表中分区的名称; 删除表中分区和数据后，会造成索引失效，建议删除分区之后删除表中所有索引在次重新建立索引只删除数据...

2019-10-24 17:21:17 4905

原创 awk命令之NF和$NF区别用法

NF(number of field)：域的个数$NF ：最后一个Field(列)1F ：第一个Field(列)/tmp/test>ll a-rw-rw-r-- 1 admin admin 0 8月 11 10:58 a/tmp/test>ll a |awk '{print NF}' 9/tmp/test>ll a |awk '{print $NF}'a/tm...

2019-09-27 14:42:53 3815

原创 Oracle存储过程循环判断并插入数据，今天是周几

在表中插入一年年初到年末的日期（YYYY-MM-DD）并判断是什么标志（标志：工作日[周一到周四]. 周五 .周末）.1.创建表create table test_day( v_day varchar2(20) not null, -- 日期格式：YYYY-MM-DD v_day2 varchar2(20) not null -- 标志：工作日（周一到周四） ...

2019-07-04 09:36:45 2145

原创 Oracle 记录[存储过程,函数,触发器]日志

项目中存储过程运行时记录出错日志方法。步骤一：创建一个序列,用于标识[存储过程,函数,触发器]执行先后顺序CREATE SEQUENCE SEQ_PROGRAM_EXECUTE_LOGMINVALUE 1MAXVALUE 1000000000000START WITH 1INCREMENT BY 1CACHE 100CYCLEORDER;-- 删除序列--DROP SEQU...

2019-07-04 09:28:54 1996

原创 java给定起始时间段和所需日期号获取符合条件日期集合

需求：每个月可能跑批，要求给定开始时间和结束时间以及每月多少号进行跑批，在该时间段内找到符合条件的日期，如果是29，30，31这几天个别月份可能没有，可以赋值为当月最后一天。代码实现package com.qcj;import com.sun.org.apache.xerces.internal.impl.xpath.regex.ParseException;import java.t...

2019-06-22 19:37:09 913

原创在Oracle里，表的别名不能用as,列的别名可以用as

在Oracle里，表的别名不能用as,列的别名可以用as列的别名也可以不用as，如：select t.a xxx from table t在Oracle数据库中，数据表别名是不能加as的，例如： select a.appname from appinfo a;-- 正确 select a.appname from appinfo as a;-- 错误注释：这可能是为了防止和Ora...

2019-06-10 16:07:40 3716

原创 sqlplus一闪而过怎样解决

可能因为忘记配置ORACLE_HOME变量,我的变量值是C:\app\Administrator\product\11.2.0\dbhome_1

2019-05-22 17:30:49 11308 4

原创 PLSQL Developer导出文件

步骤一：执行SELECT语句select * from 表名;步骤二：查询结果后，单击如图所示按钮，并选择文件类型步骤三：在接下来弹出的对话框中选择存储路径和文件名，最后单击保存即可...

2019-05-22 17:18:13 1944

原创 oracle查询表空间的位置

查询语句：SELECT * FROM Dba_Data_Files ddf WHERE ddf.tablespace_name = 'QICHANGJIAN_DATA';注意：1.tablespace_name为要查询的表空间的名称2.表空间名称要全部大写

2019-05-22 17:13:25 1620

原创 Flink场景练习-DataStream应用程序

1.场景说明假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：1.实时统计总计网购时间超过2个小时的女性网民信息。2.周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。2.测试文件样式：log1.txt：周六网民停留日志。该日志文件在该样例程序中的data目录下...

2019-04-16 17:34:31 679

原创 PyCharm报错CreateProcess error=193, %1 不是有效的 Win32 应用程序或者已经安装插件成功但是报错没有找到该模块

问题：今天用pycharm打开自己编写的python程序但是报错显示Error running '04-get请求1': Cannot run program "C:\Users\Administrator\PycharmProjects\python_pc\day1\venv\Scripts\python.exe" (in directory "C:\Users\Administrator...

2019-04-11 09:41:19 12431 1

原创 Flink批处理和流处理两种方式实现WordCount代码示例

使用scala实现批处理和流处理的wordcount示例编写scala版本批处理wordcount1.新建maven项目2.导入pom坐标<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-scala_2.11</art...

2019-04-09 16:03:58 2557 1

原创利用 druid 的 sql parser 模块解析 sql 语句获得表名

druid 是阿里开源在 github 上面的数据库连接池，里面有一个专门解析 sql 语句的模块。源码位置SQL Parser 模块的介绍相关 APIdruid 使用说明：druid 现在已经直接发布到了 maven 仓库中，可以直接引用。1、新建一个 maven 工程并命名2、在 pom.xml 文件中加入如下配置，当前最新使用 1.0.19<dependency>...

2019-04-09 15:35:08 11785 4

原创 DB2常用sql总结

--创建数据库create database Etp;--连接数据库connect to Etp;--断开连接disconnect Etp;--查看当前数据库下有哪些表list tables;--建表create table studentInfo(stuno char(5) not null,stuname varchar(8),stubirth date...

2019-04-03 16:51:42 472

原创 DB2中服务器，实例，数据库，表空间|缓冲池|日志文件，表的关系

DB2中服务器，实例，数据库，表空间|缓冲池|日志文件，表的关系图如下：1.DB2服务器所有的 DB2 服务器版本都包含相同的核心组件；用户可根据各自所需来选择不同价格的组件配置。图 1.1 图示了 DB2 产品的不同版本所有 DB2 服务器拥有相同的核心组件，如果您愿意，您可以将 DB2 Express-C 升级到任何 DB2 服务器版本。这也意味着基于某一 DB2版本的应用程序可以无...

2019-04-03 16:03:53 629

原创 DB2工作中常用sql函数场景与示例整理

需求11.项目中经常会遇到order by,但是字段却是varchar类型的,排序就会出现问题,把字段转为int类型的进行排序order by CAST(rank as int)补充:CAST是db2或oracle中强制类型转换函数语法: CAST ( expression AS data_type )需求22.项目要求全省和天府新区的要排在最后面展示order by case wh...

2019-04-03 15:27:28 389

原创 Oracle中decode函数用法解析以及常用场景

1.decode函数的两种形式第一种形式含义解释：decode(条件,值1,返回值1,值2,返回值2,…值n,返回值n,缺省值)该函数的含义如下：IF 条件=值1 THEN　　　　RETURN(翻译值1)ELSIF 条件=值2 THEN　　　　RETURN(翻译值2)　　　　......ELSIF 条件=值n THEN　　　　RETURN(翻译值n)ELSE　　　　RET...

2019-04-02 16:41:04 143985 3

原创函数-COALESCE()函数处理空值

1.Coalesce()函数介绍这个函数主要用来进行空值处理，其参数格式如下： COALESCE ( expression,value1,value2……,valuen) COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个数不定。COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果expression不为空...

2019-04-01 15:28:35 3126

原创 DB2学习1_推荐书籍以及下载地址

DB2学习资料书籍推荐整理《DB2 Express-C 快速入门》《DB2 Express-C 快速入门》并不是一本十分容易的书（如果有sql基础，大概两天左右可以看完）侧重于理论和底层。阅读本书可以：ƒ 了解关于DB2 Express-C的所有信息ƒ 理解DB2 体系结构、工具、安全性ƒ 学习如何管理DB2数据库ƒ 编写SQL、XQuery、存储过程ƒ 使用DB2开发数据库应...

2019-04-01 14:29:31 767

原创 Oracle和DB2在编写sql时的区别总结

1.创建类似表语法Oracle : create table a as select * from b;DB2 : create table a like b; (8版本有效，9版本无效) create table new_a as select col1,col2... from a definition only2.快速清空大表语法Oracle : tr...

2019-04-01 14:24:07 1145

原创 Oracle分层查询（递归查询）：start with...connect by prior 以及 level关键字

前期准备分层查询（递归查询）语句： start with…connect by priorstart with 指定层次的根部行，就是从哪里开始解析，对于真正的层次查询，（通俗解释：子句定义树查询的初始起点）这个子句是必需要有的。connect by prior 解释父子之间的关系（通俗解析：子句定义表中的数据是如何相互联系的）prior 用于实现递...

2019-04-01 13:54:49 2768 1

原创 linux博客目录整理

linux整理-linux常见发行版本linux整理-GUN讲解， GPL LGPL BSD等各种开源协议许可证的区分linux整理-CentOS的目录结构以及每个目录的简单介绍linux整理-Vmware中通信三种网络方式(Bridged,NAT,Host-Only)以及NAT模式配置linux上传出错以及错误原因linux整理-1-linux介绍（发展史，特点，操作系统架构，内核，以...

2019-03-22 18:07:11 255

原创数据库博客目录整理

mysql整理1-DB,DBMS等概念以及DBMS有哪些？mysql整理2-MySQL数据类型以及char与varchar的区别mysql整理3-SQL的分类(DDL,DML,DCL,DDL)以及详解mysql整理4-数据库数据完整性约束讲解mysql整理5-运算符分类mysql整理6-函数分类整理mysql整理7-高级查询分类整理mysql整理8-事务transactionmys...

2019-03-22 18:06:39 218