4 RayfunC

尚未进行身份认证

一个懂艺术, 会写文的攻城狮

等级
TA的排名 7w+

Hive 删除行, 表 ,清空表

删除行A表数据如下id(String)name(String)----------------------------1aaa2bbb3ccc-----------------------------要求删除2...

2019-06-28 09:55:31

正则表达式的贪婪和非贪婪匹配

贪婪匹配:正则表达式一般趋向于最大长度匹配。非贪婪匹配:匹配到结果就好。默认是贪婪模式。在量词后面直接加一个问号?就是非贪婪模式。量词:{m.n}:m到n个*:任意多个(表示匹配0-无穷)+:一个到多个(表示匹配1-无穷)?:0或一个.表示除\n之外的任意字符(?=Expression)顺序环视,(?=\\()就是匹配正括号eg:...

2019-06-14 13:03:40

RegexBuddy 正则表达式辅助工具使用指南

1下载RegexBuddy并安装安装后的界面如下:2切换布局点击右上角的彩色格子图标,选择SidebySideLayout:这种布局的好处是,Create面板与Test面板同时被展示,方便比对:3界面说明4选择编程语言左上角的下拉框可以指定需要的编程语言:5解...

2019-06-14 12:48:58

Hive 分析函数与混合函数

函数分类HIVECLI命令显示当前会话有多少函数可用SHOWFUNCTIONS;显示函数的描述信息DESCFUNCTIONconcat;显示函数的扩展描述信息DESCFUNCTIONEXTENDEDconcat;简单函数函...

2019-06-07 12:01:45

cume_dist () 和 percent_rank () 使用

SQL>createtablecume(2idinteger,3valuenumber(8,2),4namevarchar2(30));Tablecreated.SQL>SQL>select*fromcume;IDVALUENAME---------------------...

2019-06-07 11:58:03

Hive 贪婪匹配和非贪婪匹配 .* 和 .*?

贪婪匹配和非贪婪匹配的区别 .* 和 .*?举例如下: 从字符串"888|666|544"中提取最后一个竖线|后面的内容,但是在这个字符串中,竖线的个数不是固定的 。 使用hive中的regexp_extract函数实现如下:hive>selectregexp_extract('888|666|544...

2019-06-06 17:25:13

Idea 阿里代码规约插件安装设置

在MAC系统中设置为例,其他系统相差不多风.fox阿里巴巴Java开发规约插件安装MACPreferences->Plugins->BrowserepositoriesWINDOWSettings->Plugins-...

2019-05-31 18:12:13

Hive 更新增量表

insertoverwritetableerp.tsor_BKPF--要更新此表SELECTtd.*FROM(selectta.*fromerp.tsor_BKPFta--先要把原来中未更新的数据捞出来leftjoin(selecttc.MANDT,tc.BUKRS,t...

2019-05-27 09:41:13

将 Hive 空值统一为 \N

Hive在使用过程中不可避免需要对NULL、’’(空字符串)进行判断和识别。Hive默认情况下底层存储空值跟其他传统数据库有所不同。1、hive默认存储空值的规则(1)不同数据类型对空值的存储规则Int与String类型,NULL底层默认存储为\N,查询...

2019-05-27 09:24:02

Hive Select 选择语句排除一列或多列

有时候我们需要几乎所有的列,但是不包括分区列或其中的某些列,比如分区列要放最后,我们要在之前插入新列并插入新的数据,这时候排除一列或者多列的select语句就十分有用了排除num列sethive.support.quoted.identifiers=none;select`(num)?+.+`from(selectrow_number()over(p...

2019-05-22 08:43:16

Hive select 语句大量技巧

hive查询操作:1、列匹配正则表达式select查询列使用正则表达式匹配列,hive0.13版本之前直接用。0.13及后续版本需要开设置hive的属性sethive.support.quoted.identifiers=none;...

2019-05-19 16:23:07

Hive 全部函数示例

目录关系运算1、等值比较:=2、不等值比较:<>3、小于比较:<4、小于等于比较:<=5、大于比较:>6、大于等于比较:>=7、空值判断:ISNULL8、非空判断:ISNOTNULL9、LIKE比较:LIKE10、JAVA的LIKE操作:RLIKE11、REGEXP操作:REGEXP...

2019-05-17 08:29:34

理解 o(1), o(n), o(logn), o(nlogn)

在描述算法复杂度时,经常用到o(1),o(n),o(logn),o(nlogn)来表示对应算法的时间复杂度,这里进行归纳一下它们代表的含义:这是算法的时空复杂度的表示。不仅仅用于表示时间复杂度,也用于表示空间复杂度。O后面的括号中有一个函数,指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据的量。比如时间复杂度为O(n),就代表数据...

2019-04-29 07:37:24

Kafka 本地策略 LocationStragies:PreferConsistent

创建Direct方式的Stream注意导入的包名称以及版本是org.apache.spark.streaming.kafka010Scala代码:importorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.serialization.StringDeserial...

2019-04-27 19:49:48

Spark 中 reduceByKey 和 countByKey 的区别

相同点:两者都会根据key来分组不同点:reduceByKey:Transormation类算子,根据用户传入的聚合逻辑对数组内的数据进行聚合,懒策略,延迟计算countByKey:Action类算子,不需要用户传入聚合逻辑,直接对数组内的数据进行统计记录数,触发计算data.countByKey()相当于data.reduceByKey(_+_...

2019-04-26 20:39:51

Windows 使用 virtualenv 安装 Jupyter notebook

如果图方便可以直接下载Anaconda平台,包含机器学习的常用工具包如果想要简洁可以使用Miniconda,这里介绍这种:1.首先安装Miniconda进入官网,下载windows对应版本https://docs.conda.io/en/latest/miniconda.html2.安装virtualenv打开创建一个自定义文件,使用dir查看当...

2019-04-22 09:42:48

Ubuntu 更换国内安装源

1.备份原来的源sudocp/etc/apt/sources.list/etc/apt/sources_init.list以防以后用到2.更换源sudovim/etc/apt/sources.list使用vim打开文档,将下边的阿里源复制进去,覆盖或将原来的注释掉,然后点击保存关闭。阿里源debhttp://mirrors.aliyun.com/...

2019-04-20 19:51:46

Thread.currentThread().getContextClassLoader().getResourceAsStream

打个简单的比方,你一个WEB程序,发布到Tomcat里面运行。首先是执行Tomcatorg.apache.catalina.startup.Bootstrap类,这时候的类加载器是ClassLoader.getSystemClassLoader()。而我们后面的WEB程序,里面的jar、resources都是由Tomcat内部来加载的,所以你在代码中动态加载ja...

2019-04-19 08:55:17

Spark 函数 updateStateByKey 解析

updateStateByKey操作允许您在使用新的信息持续更新时保持任意状态1、定义状态-状态可以是任意数据类型。2、定义状态更新功能-使用函数指定例如以DStream中的数据进行按key做reduce操作,然后对各个批次的数据进行累加对于有状态操作,要不断的把当前和历史的时间切片的RDD累加计算,随着时间的流逝⌛,计算的数据规模会变得越来越大upda...

2019-04-15 19:11:42

理解栈帧和栈的运行原理

栈中的数据都是以栈帧(StackFrame)的格式存在,栈帧是一个内存区块,是一个数据集,是一个有关方法(Method)和运行期数据的数据集,当一个方法A被调用时就产生了一个栈帧F1,并被压入到栈中,A方法又调用了B方法,于是产生栈帧F2也被压入栈,B方法又调用了C方法,于是产生栈帧F3也被压入栈,……执行完毕后,先弹出F3栈帧,再弹出F2栈帧,再弹出F1...

2019-04-08 19:53:07

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。