2 全能小孩

尚未进行身份认证

我要认证

站在数据的云端对你微笑.

等级
TA的排名 24w+

between的应用

between在不同的SQL中,范围是不同的,下面分别介绍一下:between and在hive中:包头又包尾select * from a.rrr where id between 1 and 5;返回值是1,2,3,4,5未完待续

2019-12-28 11:10:51

distinct的优化

如果要对select语句中的字段进行distinct,比较优化的做法如下:selectdistinct t.* from (select aaa,bbb,ccc from rrr) t

2019-12-25 17:53:39

distinct的位置,开窗函数,限制小数点取值位数,not exists运用实例

select distinct t.* from --<---distinct的位置 (select a.fperiod ,a.matnr ,round((a.sum_cost/(count(1) over(partition by a.fperiod,a.matnr)* b.peinh)),15) as ...

2019-12-05 16:02:22

时间戳,处理时间戳concat,substr,from_unixtime,unix_timestamp,to_date,add_months,trunc,current_timestamp,unix

截取a.rrr字段的前4位,和从第6位开始的2位,拼接,取名位uuuconcat(substr(a.rrr,1,4),substr(a.form_no,6,2)) as uuu

2019-11-13 16:58:41

给为0或者null或者nan的字段赋值

当rrr字段没有值或者null或者nan时赋值为0,否者现实rrr本身,case when length(cast (t.rrr as string))=0 or t.rrr is null or cast(t.rrr as string)=‘nan’ then 0 else round(t.rrr,15) end rrr...

2019-11-13 16:39:26

删除表中数据,并重新查询插入

删除表中数据truncate table 数据库.表名;重新插入查询到的数据insert overwrite table 数据库.表名select …

2019-11-13 16:33:55

impala中转换字段类型,类型强转

cast(字段名 as 要转换为的类型)例如:要将student表中的age字段(原本是int类型)转成string类型,如下:cast(student.age as string) as age --年龄

2019-10-30 12:10:17

hive切分字段,hive函数:正则函数regexp_replace

SELECTcase when length(split_part(regexp_replace(txtlg,’’,’-’),’-’,4))>0 then split_part(regexp_replace(txtlg,’’,’-’),’-’,4)when length(split_part(regexp_replace(txtlg,’’,’-’),’-’,3))>0 then s...

2019-09-26 18:01:06

impala取小数点后6位

round((sum(pvp)/count(matnr)),6) as cost

2019-09-17 17:57:53

hive截取当前系统时间

指截取系统时间的年和系统时间的月,作为时间字段concat(substr(from_unixtime(unix_timestamp()),1,4),substr(from_unixtime(unix_timestamp()),6,2)) as fperiod

2019-09-17 17:40:45

hive查看数据库表中字段是否唯一

查看ods.ods_prj_phasedate表中project_id字段是否唯一:select project_id,count() from ods.ods_prj_phasedate group by project_id having count() >1;

2019-08-30 10:32:22

impalasql和hivesql的窗口函数和根据月份时间增量取数

窗口函数今天跟大家分享一下窗口函数举个例子:假设当前环境为impala,drop table if exists dw.stu;----dw库中的stu表-------------------create table dw.stu(fperiod string comment’年月’,name string comment’姓名’,age int ...

2019-08-28 18:03:36

SQL Union作用

SQL Union作用动态构造一个SQL语句然后执行,构造动态语句的查询语句如下SELECT REPLACE(WMSYS.WM_CONCAT(STR),’,’,’ UNION ') FROM(SELECT 'SELECT class_no,stu_name,sex,age FROM ’ || TABLE_NAME STR FROM USER_TABLES)Union因为要进行重复值扫描,所...

2019-07-18 22:35:26

Impala 技术点梳理

1.优点1.1 快!主节点生成执行计划树并分发执行计划至各节点并行执行的拉式获取数据(MR:推式获取数据)计算的中间结果不写入磁盘1.2 便利提供SQL语义,可以方便的进行复杂的数据分析任务2.缺点2.1 啃内存对于内存的依赖过于严重,内存溢出直接导致技术任务的失败2.2 SQL支持度低不支持UDF,不支持UPDATE/DELTE操作,不支持同一SELECT中多个DISTIN...

2019-07-18 22:20:35

Linux关闭防火墙命令:即时关闭和永久关闭

即时生效,重启后复原开:service iptables start关:service iptables stop永久性生效,重启后不会复原开:chkconfig iptables on关:chkconfig iptables off运行状态下永远关闭(组合着用)service iptables stopchkconfig iptables off...

2019-05-07 19:52:03

zookeeper一键启动脚本内容及使用

zookeeper一键启动脚本内容及使用之前和大家说道zookeeper的启动埋下了这个伏笔,我说我有一键启动的脚本.现在我就来填这个坑,把我的zookeeper一键启动脚本内容分享给大家.zookeeper一键启动脚本内容说明1.我的脚本名字叫zkmanage.sh,2.我搭建了3台机器,分别取名为node-1, node-2, node-3,3.我使用的zookeeper是这个版本...

2019-04-14 11:03:41

搭建集群如何时间同步?

搭建集群如何时间同步?查看Linux时间输入:date 回车,即可查看时间时间同步的操作时间同步的重要性,我想大家都很了解,其实解决也很简单:输入:ntpdate -u 0.uk.pool.ntp.org然后再输入date检查一下吧...

2019-04-13 21:59:51

Hadoop集群启动,zookeeper,hive,kafka和flume等相关工具启动

Hadoop集群启动,zookeeper,hive和flume等相关工具启动Hadoop集群启动zookeeper服务的启动启动mysql启动hiveflume agent启动配置文件Hadoop集群启动进入Hadoop的sbin目录下,输入:start-all.sh 即可启动你所搭建的集群.当你看到下列画面时,就成功了(我搭了三个node供参考).zookeeper服务的启动首先进入...

2019-03-31 20:04:51

解决向MySQL中插入中文显示乱码和报错的问题

解决向MySQL中插入中文显示乱码和报错的问题MySQL中文乱码产生的原因首先查看数据库中与字符集相关参数修改MySQL数据库中的客户端如何更改MySQL数据库服务器中客户端部分的字符集重新启动MySQL数据库服务器重新记录MySQL数据库MySQL中文乱码产生的原因 因为我们使用的系统中(客户端命令)默认为gbk编译,而MySQL数据库默认为utf8编译.也就是说MySQL数据库听不懂我们对...

2019-03-04 14:13:00

修改maven 本地仓库的位置

修改maven 本地仓库的位置maven安装后本地仓库的位置maven本地仓库设置在其他磁盘下的方法朋友前几天告诉我他突然忘记怎么修改maven中本地仓库的位置了,我回忆了一下,哈哈哈…这种细节有时很容易被遗忘.于是写篇小博客吧,给朋友也和大家分享一下:maven安装后本地仓库的位置maven安装后的默认位置在C:\Users\Administrator.m2文件.因为本地仓库里放着我们满...

2019-02-21 18:52:33

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。