- 博客(40)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive不同存储格式占空间比较
2.47G大小结构化文件2642845690分别在hive上建表 （默认压缩算法）在HDFS上对应目录如下图：将这个文件load进stored as textfile 的表里stored as textfile 在HDFS上占空间和linux上一样2642845690 约2.47Gstored as orc 从textfile表插入数据花费Time taken: 72.333 seconds在HDFS上占空间585377591约0.55Gstored as .
2021-08-30 09:55:26
772
原创 XManager5连接CentOS7
1.安装源# yum install epel-release -y2.安装lightdm# yum install lightdm -y3.编写配置文件# vi /etc/lightdm/lightdm.conf[XDMCPServer]enabled=trueport=1774.设置默认显示为lightdm# systemctl disable gdm ; systemctl enable l...
2021-08-30 09:48:52
308
原创 启动和测试oracle是否安装成功
测试步骤1：请执行操作系统级的命令：tnsping orcl测试步骤2：请执行操作系统级的命令：sqlplus system/password@orcl安装完oracle后要启动oracle服务，后监听1 su - oracle2 sqlplus /nolog3 sql> conn / as sysdba4 sql> startup (一般不需要加参数，只要设...
2021-08-30 09:48:03
1063
原创 postgresql 数据库倍频数据函数
CREATE OR REPLACE FUNCTION fun_addrow_index(index NUMERIC,o_rate NUMERIC,t_rate NUMERIC)RETURNS VARCHAR AS $$DECLARE result_list VARCHAR; res_gbs NUMERIC; max int ; times int; max_index NUMERIC; min_index NUMERIC;BEGIN--先计...
2021-04-14 15:03:12
144
原创 postgresql创建函数
/*在编写GreenPlum函数的过程中，遇到要判断字符串是否是数字和日期格式的情况，基于GreenPlum和postgresql的亲缘关系，找到了下面两个函数。*/--1.判断字符串是否是数字CREATE OR REPLACE FUNCTION isnumeric(txtStr VARCHAR) RETURNS BOOLEAN AS $$ BEGIN RETURN txtStr ~ '^([0-9]+[.]?[0-9]*|[.][0-9]+)$'; E.
2020-08-06 10:28:39
1492
转载 数组、链表、Hash
转载链接：数组、链表、Hash在程序中，存放指定的数据最常用的数据结构有两种：数组和链表。 数组和链表的区别： 1、数组是将元素在内存中连续存放。 链表中的元素在内存中不是顺序存储的，而是通过存在元素中的指针联系到一起。 2、数组必须事先定义固定的长度，不能适应数据动态地增减的情况。当数据增加时，可能超出原先定义的元素个数；当数据减少时，造成内存浪费。 链表动态地进行存储分配，可以适应数据动态地增减的情况。...
2020-06-16 10:18:43
287
原创 VS2013编译调试postgresql10.3
由于之前编译过，想着再来一次应该很容易没想到。。。。好啦 ，为了下次不犯错，记录一下吧首先要装vc2013和MinGW然后确认电脑已经安装好perl、diff、flex、bison，可以在目录C:\MinGW\msys\1.0\bin里面确认是否有相关执行文件，并把这个目录加到path里。再将C:\Program Files (x86)\MSBuild\12.0\Bin加入到path(这块我迷惑，电脑里有好多版本的MSBuild，在C:\Windows\Microsoft.NET目录里边的其
2020-06-10 13:12:16
765
转载 如何理解python装饰器
装饰器函数其实是一个接口约束，它必须接受一个callable对象作为参数，然后返回一个callable对象。在python中，一般callable对象都是函数，但是也有例外。比如只要某个对象重写了call方法，那么这个对象就是callable的。
2019-05-09 18:36:58
156
原创 可视化代码在内存的执行过程
http://www.pythontutor.com/visualize.htmlhttp://www.pythontutor.com/visualize.html#mode=edit
2019-04-23 19:22:24
398
原创 linux下informatica服务安装和配置
1.安装前准备 介质名称 版本信息 描述 Informatica Powercenter 9.6.1 for Linux 64 bit 必须 Java Jdk 1.8for Linux 64 bit 可选，如果...
2019-04-10 11:44:45
2216
原创 oracle dump文件
1.创建逻辑目录，该命令不会在操作系统创建真正的目录，最好以system等管理员创建create directory dpdata1 as '/opt/oracle/admin/orcl/dpdump/infa_rep';2.查看管理理员目录（同时查看操作系统是否存在，因为Oracle并不关心该目录是否存在，如果不存在，则出错）这里必须保证有infa_rep这个目录存在。select ...
2019-04-10 10:59:55
1265
原创 Linux管理命令
1.查看有多少用户和组查看用户：cut -d : -f 1 /etc/passwd 查看用户组：cut -d : -f 1 /etc/group2.使用shell脚本找出linux的每个group都有哪些用户#!/bin/bash for line in $(cat /etc/group)do gid1=$(echo $line | awk -F: '{print $...
2019-04-04 18:19:13
114
转载 启动和测试oracle是否安装成功
安装完oracle后要启动oracle服务，后监听1 su - oracle2 sqlplus /nolog3 sql> conn / as sysdba4 sql> startup (一般不需要加参数，只要设置好环境变量）启动oracle服务5 sql> quit (退出sql模式)6 lsnrctl start (启动监听器）7 lsnrctl sto...
2019-04-03 16:36:34
267
原创 深刻理解scala模拟电路
abstract class Simulation{ type Action = () =>Unit case class WorkItem(time:Int,action:Action) private var curtime=0 def currentTime:Int=curtime private var agenda:List[WorkItem]=List() ...
2019-03-21 16:19:04
148
转载 Scala学习笔记
样本类和模式匹配样本类（case class）和模式匹配（pattern matching）。简单的例子假设要建立一个操作数学表达式的库，就要先定义输入的数据。为了简单，现在只关注由变量、数字、一元及二元操作符组成的数学表达式上：样本类 1 2 3 4 5 6 abstract class Expr c...
2019-03-19 19:20:05
500
原创 scala操作List函数
1.定义反转函数def rev[T](xs:List[T])=(List[T]() /:xs){(ys,y)=>y::ys}2.列表排序：List[T] stor(_<_)3.列表归并排序：原理：首先如果列表长度为零或仅有一个元素，它就已经排好序的，因此可以不加改变的返回。长列表可以拆成两个子列表，每个包含大概一半的原表元素。每个子列表采用堆排序函数的递归调...
2019-03-19 11:14:14
527
转载 深刻理解数据库原理（强烈推荐）
一提到关系型数据库，我禁不住想：有些东西被忽视了。关系型数据库无处不在，而且种类繁多，从小巧实用的 SQLite 到强大的 Teradata 。但很少有文章讲解数据库是如何工作的。你可以自己谷歌/百度一下『关系型数据库原理』，看看结果多么的稀少【译者注：百度为您找到相关结果约1,850,000个…】 ，而且找到的那些文章都很短。现在如果你查找最近时髦的技术（大数据、NoSQL或JavaScript...
2018-12-26 18:03:55
4291
1
转载 Java中的String，StringBuilder，StringBuffer三者的区别
最近在学习Java的时候，遇到了这样一个问题，就是String,StringBuilder以及StringBuffer这三个类之间有什么区别呢，自己从网上搜索了一些资料，有所了解了之后在这里整理一下，便于大家观看，也便于加深自己学习过程中对这些知识点的记忆，如果哪里有误，恳请指正。 这三个类之间的区别主要是在两个方面，即运行速度和线程安全这两方面。首先说运行速度，或者说是执行速度，在这方...
2018-10-16 16:42:23
90
原创 Hadoop2.7.5高可用zookeeper搭建
集群规划hadoop HA集群的搭建依赖zookeeper，所以选取三台当作zookeeper集群，这次准备了4台主机，分别是hadoopm,hadoopsm,slave1,slave2,其中hadoopm和hadoopsm做namenode的主备切换，slave1，slave2做resourcemanager的主备切换集群规划 hadoop'm hadoop's'm ...
2018-09-17 20:47:30
845
原创 Centos7 修改硬件时间和系统时间（有彩蛋——）
要是用root哦查看系统时间[root@localhost ~]# date2018年 08月 04日 星期六 14:54:50 CST 查看硬件时间[root@localhost ~]# hwclock --show2018年08月04日 星期六 14时55分29秒 -0.928452 秒假如系统时间和硬件时间都不准确更新系统年月日[root@localhos...
2018-08-03 15:07:16
3915
转载 oracle查询中文数据为乱码
乱码的问题，都知道是字符集的问题，需要查看数据库服务器的字符集和客户端的字符集 oracle数据库的字符集更改 A、oracle server 端 字符集查询 select userenv('language') from dual 其中NLS_CHARACTERSET 为server端字符集 NLS_LANGUAGE 为 server端字符显示形式 B、查询oracl...
2018-08-02 11:22:32
7974
原创 Oracle 创建用户 及赋权限
create temporary tablespace test_temp tempfile '/opt/oracle/oradata/orcl/pelt01.dbf'size 6000M autoextend on next 500M maxsize 10000M extent management local; create tablespace test_data log...
2018-08-02 10:03:00
2014
转载 oracle10g在win10上的安装
一、下载 官网下载地址: https://www.oracle.com/downloads/index.html#menu-downloads或者：链接：http://pan.baidu.com/s/1cGr3PW密码：oz8n 下载解压后得到： 三个安装包: PL/SQL DeveloperPL/SQL Developer是一个集成开发环...
2018-08-01 18:54:37
2351
1
原创 Teradata时间戳做差返回秒
--创建函数REPLACE FUNCTION timestampdiff_char19(endtime VARCHAR(19),starttime VARCHAR(19))RETURNS INTLANGUAGE SQLCONTAINS SQLDETERMINISTICSQL SECURITY DEFINERCOLLATION INVOKERINLINE TYPE 1RETURN...
2018-08-01 13:07:17
3150
原创 java 实现递归算法 任务调度依赖表
import java.sql.SQLException;import java.util.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.*;import java.util.Iterator;...
2018-07-23 10:22:36
957
原创 JAVA 连数据库一般操作
主类import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.List;public class Main{ public static void main(Strin...
2018-07-13 18:43:14
286
原创 ORACLE10g和11递归写法
WITH T(etl_job, dependency_job,the_level,path,top_manager) AS ( SELECT etl_job, dependency_job,1 AS the_level,'->'etl_job,etl_job as top_manager FROM etl_job_dependency WHERE etl_Job =upper('...
2018-07-03 17:34:42
309
原创 Centos7 yum 安装mysql数据库
1.需要检测系统是否自带安装mysql# yum list installed | grep mysql2.如果发现有系统自带mysql，果断这么干# yum -y remove mysql-libs.x86_643.随便在你存放文件的目录下执行，这里解释一下，由于这个mysql的yum源服务器在国外，所以下载速度会比较慢，还好mysql5.6只有79M大，而mysql5.7就有182M了，所...
2018-06-28 15:52:39
135
原创 navicat 连接oracle数据库报错：ORA-28547:connection to server failed,probable Oracle Net admin error
用Navicat连接Oracle数据库时出现如下错误上网一查原来是oci.dll版本不对。因为Navicat是通过Oracle客户端连接Oracle服务器的，Oracle的客户端分为两种，一种是标准版，一种是简洁版，即Oracle Install Client。而我们用Navicat时通常会在自己的安装路径下包含多个版本的OCI，如果使用Navicat连接Oracle服务器出现ORA-28547错...
2018-06-27 21:33:53
157
原创 java连接Oracle数据库
1.先在Oracle数据库中创建一个student表:1 create table student2 (3 id number(11) not null primary key,4 stu_name varchar(16) not null,5 gender number(11) default null,6 age number(...
2018-06-27 18:56:59
161
转载 Centos7添加用户和用户组的方法
在使用 Centos 之前用的更多是Ubuntu，所以在 useradd 和 adduser 两条命令出现歧义，在Ubuntu系统上这是两条命令，而在Centos上则是同一条命令，adduser 是链接的形式存在?123# ll /usr/sbin/ | grep user lrwxrwxrwx. 1 root root 7 10月 30 17:09 adduser -> useradd-...
2018-06-27 09:43:44
22849
原创 CentOS7安装Oracle 11gR2 图文详解
最近要运维一个项目，准备在家办公，公司无远程作业环境，个人本本不喜欢别人碰，第一次在CentOS上安装，本案留以后使用，毕竟不是经常安装。注：Oracle11gR2 X64安装一、环境准备安装包：1.VMware-workstation-full-11.1.0-2496824.exe2.CentOS-7-x86_64-DVD-1511.iso3.linux.x64_11gR2_database...
2018-06-26 14:30:55
567
转载 XManager6连接CentOS7
XManager5连接CentOS6的方法已经行不通了，那么如何用XManager5连接CentOS7从Xmanger官网博客得知： “Gnome in CentOS 7 tries to use local hardware acceleration and this becomes a problem when trying to connect remotely using XDMCP. T...
2018-06-26 13:41:34
3863
转载 centos7 增加swap分区大小
安装oracle11虚拟机swap空间不够了1.添加swap分区 dd if=/dev/zero of=/var/swapfile bs=1024 count=8096k //添加交换文件并设置其大小为2G2.执行完毕，对交换文件格式化并转换为swap分区： mkswap /var/swapfile3.挂载并激活分区： swapon /var/swapfile4 赋权限 chmod -R 060...
2018-06-26 09:44:09
8487
转载 VMware虚拟机中CentOS 7的硬盘空间扩容
最近在搭一些集群，虚拟机上centos7虚拟机上的空间越发不可用了，决定对它扩空间在网上找了个案例，亲自操作可以成功查看centos7系统挂载点信息扩展VMWare-centos7硬盘空间对新增加的硬盘进行分区、格式化添加新LVM到已有的LVM组，实现扩容1.查看centos7系统挂载点信息df -h查看挂载点信息2.扩展VMWare-c...
2018-06-25 18:50:09
2410
2
原创 centOS7下安装GUI图形界面
1、如何在centOS7下安装GUI图形界面 当你安装centOS7服务器版本的时候，系统默认是不会安装GUI的图形界面程序，这个需要手动安装CentOS7 Gnome GUI包。122、在系统下使用命令安装gnome图形界面程序 在安装Gnome包之前，需要检查一下是否安装GUI图形界面程序检查一下我们已经安装的软件以及可以安装的软件，用命令yum grouplist 回车检查安装源(y...
2018-06-25 14:23:08
2889
原创 Hadoop 2.7.5 + HBase 1.2.6 + ZooKeeper 3.4.10 配置
下载hbase: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar.gz解压到目录/home/hadoop/hbase-1.2.6HBase本身就内置Zookeeper以支持HA，在配置时可选择内部自带的Zookeeper或者选择外部独立安装的Zookeeper，对于存储可选择HDFS为底层分布...
2018-06-22 15:25:50
1173
原创 Hadoop集群下配置Hive元数据库为PostgreSQL
1下载hive下载地址：http://hive.apache.org/downloads.html点击上图的Download release now!如图： 点击上图的某个下载地址，我点击的是国内的这个地址：http://mirror.bit.edu.cn/apache/hive/如图： 点击进入：...
2018-06-21 21:28:51
3887
原创 centos7下安装postgresql-10数据库
第一步：准备阶段获取必需软件包：CentOS中查看是否安装了某个软件的命令：rpm -qa | grep 软件名。which命令可查看某个软件的安装路径。使用 yum install 包名 来安装软件包。1.GNU make的版本3.80以上[root@hadoop-m postgresql-10.3]# rpm -qa | grep makemake-3.81-20.el6.x86_64[roo...
2018-06-21 16:58:02
1856
原创 centos7下perl的升级安装
1.访问http://www.cpan.org/authors/id/S/SH/SHAY/ 下载perl版本2.将下载下来的安装包放到你的目录里边# 解包 tar -zxvf perl-5.26.1.tar.gz # 进入文件目录 cd perl-5.26.1 进入解压目录执行./Configure --help查看过后，使用这个指令来设置源码./Configure -des -Dprefix=...
2018-06-21 14:34:29
4903
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人