2 fanlying

尚未进行身份认证

暂无相关描述

等级
TA的排名 11w+

增量抽取到hive过程中的监控

前提:分区字段统一为ds,适用于常规增量抽取,通过创建和更新时间抽取。#!/bin/bash#适用于常规增量抽取,通过创建和更新时间抽取#手工填写以下参数:#分区表达式,hive语法:pt_expr#主键字段,联合主键写id1,id2,id3:pk#非分区表增量数据量阈值,分区表不用管:inc_cntset-etimer_start=`date"+%Y-...

2019-07-08 17:53:41

hive列转行,指定字段顺序,实现转置

建测试表createtabletest_k_v(kstring,vdouble)rowformatdelimitedfieldsterminatedby',';插入测试数据insertoverwritetabletest_k_vselect'day',1.3unionallselect'week',3.8uniona...

2019-03-26 10:59:10

shell脚本处理周相关的日期计算

#!/bin/bashtimer_start=`date"+%Y-%m-%d%H:%M:%S"`#计时器timediff(){duration=$(($(date+%s-d"${3}${4}")-$(date+%s-d"${1}${2}")))echo"开始时间:${1}${2}"echo"结束时间:${3}${4}"...

2019-03-13 14:55:02

hive取年周

按照习惯,跨年的周中的在哪一年的天数多就算哪一年的周,可以通过以下sql判断跨年的周属于哪一年,实现得到前一天所在的年周selectyear(date_sub(next_day(date_sub(current_date,1),'MO'),4))*100+weekofyear(date_sub(current_date,1));例如:今天是2019-03-02,前一天是2019-0...

2019-03-02 17:42:31

shell脚本实现根据离散日期划分日期区间

笔者在工作中需要动态传入日期参数执行脚本,但是将多个日期一个一个传入会降低执行效率,故根据一定时间段将日期聚合划分成区间段可以减少传参执行的次数。此例子以7天为范围聚合日期到区间段,可以根据实际需要改进。案例中的日期文件date.txt中的日期如下:2018-01-022018-07-012018-07-112018-07-152018-07-172018-07-132017...

2018-07-19 16:48:23

查看hdfs文件夹大小

例如查看ods库大小:hadoopfs-du-s-h/user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。

2018-06-19 16:26:11

Python接口实现

使用POS方法传入一个参数返回MySQL查询结果fromflaskimportFlask,jsonifyfromflaskimportabortfromflaskimportmake_responsefromflaskimportrequestimportpymysqlapp=Flask(__name__)@app.route('/report/...

2018-05-23 16:34:33

sublime text 3 个性化设置、常用快捷键和插件

修改用户设置:修改路径Preferences>Settings>Preferences.sublime-settings--User"default_line_ending":"unix",//换行符默认跟随系统,换为Unix的'\n'换行符"draw_white_space":"all", //显示所有空格,包括空格和制表符"font_size":11,     

2018-05-23 11:36:57

hive命令行显示当前数据库

在hive命令行不知道当前数据库有时会带来麻烦。1、可以在hive命令行执行以下语句显示当前数据库:selectcurrent_database();2、可以设置hive属性在命令行显示当前数据库:sethive.cli.print.current.db=true;...

2018-05-16 17:10:20

Python3读取kafka消息写入HBASE

kafka消息格式为(None,[json串])利用Python有以下2种方式实现sparkstreaming将kafka消息的往HBASE写入1、使用spark的方法直接将RDD往HBASE写:2、取出RDD数据往HBASE写:#!/usr/bin/envpython3frompysparkimportSparkConf,SparkContextfrompyspark.stre...

2018-05-11 18:02:35

sublime text 3编写shell脚本执行报$'\r': command not found

在sublimetext3编写好shell脚本后执行报$'\r':commandnotfound但是Ctrl+F通过正则表达式搜索发现结尾只有换行符并没有回车符但是通过notepad打开的确能看到有'\r'由于默认设置换行符跟随系统,在Windows中换行符是'\r\n',所以在Preferences->Setting->Setting-User中更改配置为"default_...

2018-03-29 15:23:15

centos7安装MySQL

1、安装执行命令sudoyuminstallmysql-server(Ubuntu用apt-get替换yum来安装)但是无效,显示Nopackagemysql-serveravailable.查了下,说是CentOS7带有MariaDB而不是MySQL,可以执行以下命令sudorpm-Uvhhttp://dev.mysql.com/get/mysql-comm

2017-12-28 14:10:46

Hive报错SemanticException Error in parsing

遇到了逗号导致Hive报错SemanticExceptionErrorinparsing在hql中别名后面的.不小心写成了,导致报错。例如下面第一个字段别名后误写成了逗号。selectt,col1,t.col2fromtablet

2017-12-12 10:26:20

批量删除hive表分区

执行shell脚本批量删除hive表分区执行命令:shdelete_partitions.shschema.table_name2017-11-012017-12-01 delete_partitions.sh脚本如下: #!/bin/shif[$#==3];thenbegin_date=`date-d"+0day$2"+%Y-...

2017-12-01 16:28:26

在Oracle、MySQL中执行sql脚本生成hive建表语句

生成hive建表语句的首尾只需拼接,主要通过数据库元数据读取字段类型转换为hive中的类型。在MySQL中生成hive建表语句:SELECTCONCAT('createtable',@tbl_name,'(')UNIONALLSELECTCONCAT(COLUMN_NAME,'',CASE...

2017-12-01 10:49:52
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取