- 博客(19)
- 收藏
- 关注
RSS订阅
原创 hive笔记
一.什么是hive?是一种基于hadoop的数据仓库工具,可以让用户使用SQL语言查询HDFS中的结构化数据.二.hive的工作原理?即:将数据存储在HDFS中;通过mapreduce处理和运算数据;向用户提供SQL语言的接口.三.建表...
2020-10-12 20:13:30
309
原创 mysql核心语法
MySQL核心语法2.1 数据类型数据类型描述CHARACTER(n)字符/字符串。固定长度 n。VARCHAR(n) 或 CHARACTER VARYING(n)字符/字符串。可变长度。最大长度 n。BINARY(n)二进制串。固定长度 n。BOOLEAN存储 TRUE 或 FALSE 值VARBINARY(n) 或 BINARY VARYING(n)二进制串。可变长度。最大长度 n。INTEGER§整数值（没有小数点）。精度 p。S
2020-08-31 15:49:45
218
原创 hadoop环境搭建和基本设置
一.linux网络设置1、创建一个虚拟机（母机），并安装好centos（minimal）系统2、从母机克隆出另外3台虚拟机3、启动这4台虚拟机，登录进去修改网卡名、ip地址配置、主机名、域名映射改主机名： vi /etc/sysconfig/network改网卡名：mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1改IP地址配置：vi /etc/sysconfig/ne
2020-08-26 21:25:48
531
原创 Maxcompute数据同步时emoji表情过滤
文章目录QAQ工作中遇到ODPS数据同步至RDS的场景，数据中有emoji表情，同步任务（DataX）会把emoji表情标记为脏数据，然后跳过这条数据。如何将完整的数据同步完成？A1.更改rds数据库的字符集为utf8mb4：我们的rds就是utf8mb4，但还是同步不过去。2.更改同步脚本的encoding：查看文档发现polarDB writer是通过jdbc链接rds for mysql 的，于是尝试更改jdbc的编码格式，但没有效果。也可能是语法格式问题，之前并不了解dataX脚本的语
2021-06-28 14:02:53
634
原创 Dataworks常见错误记录
文章目录一、Semantic analysis exception - column xxx cannot be resolved二、Semantic analysis exception - column reference @cte_1621825676877.id is ambiguous一、Semantic analysis exception - column xxx cannot be resolved该列无法解析。意思就是源表中找不到对应的字段。二、Semantic analysis e
2021-05-24 16:22:45
7320
原创 toB企业数据仓库搭建流程记录
目录一、背景介绍二、建设大纲1、数据调研业务调研需求分析2、数据域划分分析业务过程划分数据域定义维度构建一致性维表3、构建总线矩阵4、明确分析指标5、规范定义6、明细模型设计事实表维度表7、汇总模型设计构建公用汇总模型（DWS）构建应用汇总模型（ADS）8、代码开发9、部署运维三、技术细节四、问题记录一、背景介绍公司已发展到一定阶段，需要搭建数据中台来整合各条业务线的数据。一方面，当前的报表数据皆是从业务数据库计算得到，OLTP数据库基于业务系统而生，并不适合进行分析计算，常常需要join很多表，效率低
2021-05-12 18:59:37
564
原创 SQL常用时间处理函数
求本周第一天select date_sub(curdate(),INTERVAL WEEKDAY(curdate()) DAY)
2021-04-19 17:58:14
2887
原创 用java实现简易斗地主逻辑程序
随意敲的,做之前没有考虑的很多,导致有很多不合理的地方.在这里把代码记录一下,只有如果有时间再细化优化(大概率没时间).package item.doudizhu;import java.util.*;/** * 斗地主 */public class DoudizhuDemo1 { public static void main(String[] args) { //建立三个玩家对象.一个牌库 Player yang = new Player("yan
2020-11-19 11:14:21
873
原创 数仓项目实战(二):GPS坐标位置维表构建
文章目录1. 为什么要构建一个地理位置维表（字典）2. 地理位置维表的设计模型是什么？3. geohash地理位置字典构建的流程你能描述一下吗？4. geohah编码的算法思想能够描述一下？1. 为什么要构建一个地理位置维表（字典）2. 地理位置维表的设计模型是什么？3. geohash地理位置字典构建的流程你能描述一下吗？4. geohah编码的算法思想能够描述一下？...
2020-11-16 14:40:18
223
2原创 数据库的ACID
事务具有4个特征，分别是原子性、一致性、隔离性和持久性，简称事务的ACID特性；一、原子性（atomicity)一个事务要么全部提交成功，要么全部失败回滚，不能只执行其中的一部分操作，这就是事务的原子性二、一致性（consistency)事务的执行不能破坏数据库数据的完整性和一致性，一个事务在执行之前和执行之后，数据库都必须处于一致性状态。如果数据库系统在运行过程中发生故障，有些事务尚未完成就被迫中断，这些未完成的事务对数据库所作的修改有一部分已写入物理数据库，这是数据库就处于一种不正确的
2020-10-23 22:20:14
76
原创 NameNode和DataNode笔记
NameNode用于储存元数据以及管理DateNode,DataNode负责存储用户真正存入的数据.元数据可以分为两类.一类是虚拟路径与数据块实际存储路径的映射关系,一类是数据块的相关信息,例如存储位置,块id等.当客户端请求向HDFS系统中存储数据时,首先向namenode发送存储请求和要存储到的虚拟路径,namenode收到后返回同意存储请求,客户端接着传回文件的第一块数据块,并告知namenode要备份几份.之后namenode告知客户端要传给哪几个datenode,然后分配全局唯一的块id.最后
2020-09-19 22:45:44
177
原创 关于Comparator的使用细节
Cmparator比较器将集合中的元素两两比较,参数列表o1代表前者,o2代表后者.比较的依据是两者的权重.权重大的向后排.而权重大小的制定规则可通过逻辑代码自定义.返回值有三种情况:0,正,负返回值为正: 前者(也就是o1)权重大,o1向后排返回值为负: 后者(也就是o2)权重大,o2向后排返回值为0: 权重相等,不交换我们常用的写法 例如: public int compare(TxtLog o1, TxtLog o2) { return o1.getTs(
2020-09-08 17:28:04
650
原创 hadoop学习笔记 day02 hadoop Java环境的API
package day1;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.FileSystem;import org.junit.Before;import org.junit.Test;import java.io.*;import java.util.HashMap;import java.util.Map;public cl
2020-09-03 22:24:25
94
原创 mysql JDBC Q&A
1.使用JDBC连接MySql时出现：The server time zone value ‘�й���ʱ��’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configuration 在连接字符串后面加上?serverTimezone=UTC其中UTC是统一标准世界时间。完整的连接字符
2020-09-01 11:16:40
95
转载 遍历hashmap 的四种方法
遍历hashmap 的四种方法以下列出四种方法public static void main(String[] args) {Map<String,String> map=new HashMap<String,String>();map.put(“1”, “value1”);map.put(“2”, “value2”);map.put(“3”, “value3”);map.put(“4”, “value4”);//第一种：普通使用，二次取值(性能差)System.o
2020-08-13 15:07:40
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人