- 博客(20)
- 收藏
- 关注
RSS订阅原创 sparksql转换unix毫秒时间戳保留毫秒
背景：一般unix时间戳是10位精度到秒，但是有时需要13位精确到毫秒。对于13位长度需要转换成可读格式并保留毫秒，在sparksql中没有找到直接的转换方式。方案：select concat(from_unixtime(1559461463324/1000,'yyyy-MM-dd HH:mm:ss.'), 1559461463324%1000) as c1 ,to_timestamp(concat(from_unixtime(1559461463324/1000,'yyyy-MM-dd
2022-01-12 11:23:49
2507
原创 macOS配置mysql连接通过终端命令行快捷登录
自从使用了macOS后一切还在熟悉中，对于我来说只是在各业务mysql中进行一些简单的查询或者看下表结构，navicat也不好找破解版，所以想着应该可以像navicat等数据库管理工具一样通过配置数据库连接来在终端中快捷登录。查了很久通过Google找到官网的介绍：关于mysql配置文件：https://dev.mysql.com/doc/refman/8.0/en/option-files.html关于其中一个配置文件~/.mylogin.cnf要用的工具mysql_config_editor
2021-01-12 21:15:31
502
原创 macOS配置ssh快捷登录服务器
macOS终端对于熟悉Linux命令的小伙伴比较友好，但是相较于以前使用xshell配置机器连接来说，我也需要找到一个类似的配置方法以免每次输入IP端口等信息。最常用的场景是我们经常要登录的跳板机或者堡垒机，把它配置上就方便很多了。这里我个人使用就在我的用户目录下创建一个文件～/.ssh/config，并输入以下内容Host * # SendEnv LANG LC_* # ControlMaster auto # ControlPath ~/.ssh/%h-%p-%r
2021-01-12 20:21:25
2021
原创 调用datax抽取的shell脚本和对应JSON
一、全量抽取#!/bin/bashset -e#取出当前执行文件名,既表名file_name=`basename $0 .sh`#json文件名json_name=${file_name}.json#当前目录路径dir_path=`dirname $0`cd ${dir_path}hive -e "truncate table bigdata_ods.${file_na...
2019-10-31 14:39:04
3612
原创 hive接入多数据源
目录一、接入JSON格式文件二、接入mongodb数据一、接入JSON格式文件经常会有接口返回json格式数据，或者json格式日志文件需要接入到hive中导入相应jar包来序列反序列化(SerDe)来解析json格式add jar hive-hcatalog-core-0.13.0.jarCREATE external TABLE IF NOT EXISTS sch...
2019-10-31 11:34:43
1323
原创 增量抽取到hive过程中的监控
前提：分区字段统一为ds，适用于常规增量抽取，通过创建和更新时间抽取。#!/bin/bash# 适用于常规增量抽取，通过创建和更新时间抽取# 手工填写以下参数:# 分区表达式，hive语法：pt_expr# 主键字段，联合主键写id1,id2,id3：pk# 非分区表增量数据量阈值，分区表不用管:inc_cntset -e timer_start=`date "+%Y-...
2019-07-08 17:53:41
834
原创 hive列转行，指定字段顺序，实现转置
建测试表create table test_k_v (k string , v double) row format delimited fields terminated by ',';插入测试数据insert overwrite table test_k_v select 'day',1.3 union all select 'week',3.8 union a...
2019-03-26 10:59:10
10823
原创 shell脚本处理周相关的日期计算
#!/bin/bashtimer_start=`date "+%Y-%m-%d %H:%M:%S"`# 计时器timediff(){ duration=$(($(date +%s -d "${3} ${4}") - $(date +%s -d "${1} ${2}"))) echo "开始时间：${1} ${2}" echo "结束时间：${3} ${4}" ...
2019-03-13 14:55:02
1780
1
原创 hive根据日期算哪一年的第几周（年周）以及算周几星期几
按照习惯，跨年的周中的在哪一年的天数多就算哪一年的周，可以通过以下sql判断跨年的周属于哪一年，实现得到前一天所在的年周select year(date_sub(next_day(date_sub(current_date,1),'MO'),4))*100+weekofyear(date_sub(current_date,1));例如：今天是2019-03-02，前一天是2019-0...
2019-03-02 17:42:31
15317
4
原创 shell脚本实现根据离散日期划分日期区间
笔者在工作中需要动态传入日期参数执行脚本，但是将多个日期一个一个传入会降低执行效率，故根据一定时间段将日期聚合划分成区间段可以减少传参执行的次数。此例子以7天为范围聚合日期到区间段，可以根据实际需要改进。案例中的日期文件date.txt中的日期如下：2018-01-022018-07-012018-07-112018-07-152018-07-172018-07-132017...
2018-07-19 16:48:23
713
原创 查看hdfs文件夹大小
例如查看ods库大小：hadoop fs -du -s -h /user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。
2018-06-19 16:26:11
35696
原创 Python接口实现
使用POS方法传入一个参数返回MySQL查询结果from flask import Flask, jsonifyfrom flask import abortfrom flask import make_responsefrom flask import requestimport pymysqlapp = Flask(__name__)@app.route('/report/...
2018-05-23 16:34:33
1368
原创 sublime text 3 个性化设置、常用快捷键和插件
修改用户设置：修改路径Preferences>Settings>Preferences.sublime-settings--User"default_line_ending": "unix", //换行符默认跟随系统,换为Unix的'\n'换行符"draw_white_space": "all", //显示所有空格，包括空格和制表符"font_size": 11,
2018-05-23 11:36:57
2094
原创 hive命令行显示当前数据库
在 hive命令行不知道当前数据库有时会带来麻烦。1、可以在hive命令行执行以下语句显示当前数据库：select current_database();2、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=true;...
2018-05-16 17:10:20
18765
1
原创 Python3读取kafka消息写入HBASE
kafka消息格式为(None,[json串])利用Python有以下2种方式实现sparkstreaming将kafka消息的往HBASE写入1、使用spark的方法直接将RDD往HBASE写：2、取出RDD数据往HBASE写：#!/usr/bin/env python3from pyspark import SparkConf, SparkContextfrom pyspark.stre...
2018-05-11 18:02:35
3592
原创 sublime text 3编写shell脚本执行报$'\r': command not found
在sublime text 3编写好shell脚本后执行报$'\r': command not found但是Ctrl+F通过正则表达式搜索发现结尾只有换行符并没有回车符但是通过notepad打开的确能看到有'\r'由于默认设置换行符跟随系统，在Windows中换行符是'\r\n'，所以在Preferences->Setting->Setting-User中更改配置为"default_...
2018-03-29 15:23:15
3637
原创 centos7安装MySQL
1、安装执行命令sudo yum install mysql-server(Ubuntu用apt-get替换yum来安装)但是无效，显示No package mysql-server available.查了下，说是CentOS7带有MariaDB而不是MySQL，可以执行以下命令sudo rpm -Uvh http://dev.mysql.com/get/mysql-comm
2017-12-28 14:10:46
4995
1
原创 Hive报错SemanticException Error in parsing
遇到了逗号导致Hive报错SemanticException Error in parsing在hql中别名后面的.不小心写成了,导致报错。例如下面第一个字段别名后误写成了逗号。select t,col1,t.col2from table t
2017-12-12 10:26:20
45798
4
原创 批量删除hive表分区
执行shell脚本批量删除hive表分区执行命令： sh delete_partitions.sh schema.table_name 2017-11-01 2017-12-01delete_partitions.sh脚本如下：#!/bin/shif [ $# == 3 ]; then begin_date=`date -d "+0 day $2" +%Y-...
2017-12-01 16:28:26
19237
1
原创 在Oracle、MySQL中执行sql脚本生成hive建表语句
生成hive建表语句的首尾只需拼接，主要通过数据库元数据读取字段类型转换为hive中的类型。在MySQL中生成hive建表语句：SELECT CONCAT('create table ',@tbl_name,'(')UNION ALLSELECT CONCAT( COLUMN_NAME, ' ', CASE ...
2017-12-01 10:49:52
3719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人