DT匠人的博客

原创 Redis简介及热点面试题

Redis简介及热点面试题Redis1.Redis是什么1.1Redis和关系型数据库的区别2.Redis的同类产品2.1缓存类同类产品2.11Redis和Memcached详细对比2.2消息队列类同类产品3.Redis出现的原因4.Redis的作用5.Redis的优点6.Redis的缺点7.Redis的应用场景8.Redis在项目中遇到的问题和常见面试题8.1缓存穿透问题8.2缓存雪崩问题8.3...

原创 Python小例题

一个小案例，记录一下输出样式如下：代码如下：flag = Truenamelists = list()while flag: print('='*30) print('名片关系系统 V8.6') print('1:添加一个新的名片') print('2:删除一个名片') print('3:修改一个名片') print('4:查询一个名片'...

原创 运行hsql报错记录

运行了一个简简单单的分区表的sql，结果报错，百度谷歌都不管用，特此记录一下。sql如下：insert overwrite table dwd_nshop.dwd_nshop_actlog_launch partition (bdp_day='20191102')selectcustomer_id,device_num,device_type,os,os_version,manu...

原创 Spark解析Json案例

最近常常和Json打交道，记录一下Spark解析Json案例，数据有点长，在最后面代码用了三种数据结构，就是想看看有什么算子的用法区别，然而其实本质上都是map形式的并没什么区别package comimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.spark.rdd.RDDimport org.apache...

原创 一道 Hive题

某个学习群发出的一道SQL题，标记下，常用的方法，但是偶尔会短路题目如下：建表语句：--表tab1,由于这张表不能用,分开，这里特意用了\tcreate table tab1(Tags string)row format delimited fields terminated by '\t';--表tab2create table tab2(id string,lab ...

原创 Spark Core &Spark SQL & Spark DSL示例

Spark SQL 语法& Spark DSL风格语法示例数据样例需求说明代码数据样例以下为json样例，数据文件为：“JsonTest02.json”{"openid":"opEu45VAwuzCsDr6iGIf4qhnUZUI","phoneNum":"18334832972","money":"30","date":"2018-09-13T02:15:16.054Z","lat...

原创 Scala例题集

Scala例题集单分支双分支单分支双分支*自己做的，有错误请帮忙指正，3q~!*持续更新题目1：两Int类型相加，大于50输出hello world 否则输出error//两Int类型相加，大于50输出hello world 否则输出errorobject Hello { def main(args: Array[String]): Unit = { var a : Int ...

原创 No.2 Scala运算符

No.2 Scala运算符1.运算符算数运算符关系运算符逻辑运算符赋值运算符位运算符2.运算符说明3.运算符优先级运算符是一种特殊的符号，用来表示数据的运算,赋值，比较等1.运算符算数运算符+ 正号 - 负号 + 加 - 减 * 乘 /除 % 取模 + 字符串相加① %的公式 a%b = a - a/b * b②.formatted("%.2f")的用法var r : Double...

原创 Shell一览图

原创 Linux操作命令一览图

Linux操作简介及操作命令一览图

原创 No.1 Scala变量

Scala数据类型图关系

原创 Shell脚本之sed清洗数据

数据此次数据是用来导入HIVE表中，但是由于数据不规范，需要做清洗，下面的数据不仅有空出一行，并且每个需要录入的字段都有空格。| 1 | 2 | 2016-06-03 || 1 | 3 | 2016-06-08 || 2 | 3 | 2016-06-08 || 3 | 4 | 2016-06-09 |清洗方法此次咱用shell的sed方法来做清洗，代码如下：#!/bin/...

原创 Hive解析Json格式用户日志

清洗json格式数据Json数据HIVE清洗第一种方式第二种方式string类型的数组形式的列转行拆分Json数据第一次写博客，mark一下 ——20191025下面是一条json数据，导入hive中类型为string{ "user_id": "u0001", "view_params": "order_condition=03&order_type=1&key=华为手...