1 清平の乐

尚未进行身份认证

目前在公司担任分析师岗位,主要从事金融量化和数据分析工作,欢迎大家一起探讨BI、人工智能等技术问题。相互学习,共同进步,一起为这个社会和时代做一点贡献!

等级
TA的排名 1w+

hive和mysql的区别

1.查询语言不同:hive是hql语言,mysql是sql语句;2.数据存储位置不同:hive是把数据存储在hdfs上,而mysql数据是存储在自己的系统中;3.数据格式:hive数据格式可以用户自定义,mysql有自己的系统定义格式;4.数据更新:hive不支持数据更新,只可以读,不可以写,而sql支持数据更新;5.索引:hive没有索引,因此查询数据的时候是通过mapreduce很暴力...

2019-10-19 11:13:04

mysql的utf8和utf8_mb4区别

1.mysql5.7的utf8是utf8mb3的别名,MySQL在5.5.3之后增加了这个utf8mb4的编码,mb4就是mostbytes4的意思,专门用来兼容四字节的unicode。2、好在utf8mb4是utf8的超集,除了将编码改为utf8mb4外不需要做其他转换。当然,为了节省空间,一般情况下使用utf8也就够了。mysql支持的utf8编码最大字符长度为3字节,如果...

2019-10-14 15:56:53

Linux下的部署kettle

一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。一.配置jdk环境[root~]#java-versionjavaversion"1.8.0_151...

2019-10-11 09:34:15

Linux安装软件的路径

Linux的软件安装目录是也是有讲究的,理解这一点,在对系统管理是有益的/usr:系统级的目录,可以理解为C:/Windows/,/usr/lib理解为C:/Windows/System32。/usr/local:用户级的程序目录,可以理解为C:/ProgremFiles/。用户自己编译的软件默认会安装到这个目录下。/opt:用户级的程序目录,可以理解为D:/Software,opt有可...

2019-10-11 10:51:11

kettle进阶01_kettle效率提升

kettle效率提升Kettle作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法:1)数据库端创建索引。对需要进行查询的数据库端字段,创建索引,可以在很大程度上提升查询的效率,最多的时候,我不创建索引,一秒钟平均查询4条记录,创建索引之后,一秒钟查询1300条记录。2)数据库查询和流查询注意使用环境。因为数据库查询为数据输入...

2019-10-07 16:00:42

电商的SPU、SKU、ID

电商时代,数据为王。所以电商人入门要懂的第一课,我们通常会培训基础理论,涉及到各种常用名词,UV、PV、GMV、CPC、CPS、CPA、CPM等等,这里对比一下几个常见的产品名词,SPU、SKU、ID,它们都是什么意思,三者又有什么区别和联系呢?首先,无论是哪一个电商平台,都是有spu和sku的,只是叫法会不同,以淘宝和京东为例,商品,淘宝叫item,京东叫product。所以淘宝我们虽然看不...

2019-10-07 09:05:39

FineReport实现远程文件本地另存

1.切换远程目录文件–>切换工作目录,填写主机名、端口号和数据库相关信息就可以实现本地和远程的切换【例如】2.本地模板另存为切换到相应的远程目录,将远程模板打开,再切换到本地目录即可实现远程文件在本地的另存为操作了...

2019-10-05 15:35:16

同比和环比的计算方式

一、同比了方便理解,我们使用2018年和2017年的数据来进行说明。同比的概念。我们可以理解为:今年同期和去年同期的对比。例如:2018年1月与2017年1月的数据对比。计算公式(2018年1月数据-2017年1月数据)/2017年1月数据*100%但是,计算的结果是小数位的。我们可以先选中计算结果所在区域,然后使用Ctrl+1组合快捷键设置单元格格式为"百分比",小数位数设置为...

2019-10-05 11:05:53

FR大屏操作笔记

一、准备工作1.切换远程目录2.本地模板另存为二、布局1.新建决策报表2.调整缩放布局方式3.调整自适应属性4.拖拽空白快三、放置背景图片四、设置标题1.设置标题连接函数image2.设置标题名拖拽报表块–>覆盖原来报表块A1输入五、设置第二行标题1.填写数字设置列宽设置小数设置单元格对齐(不是上面,是右面)2.填写名称设置单元格对齐注意:对齐...

2019-09-28 16:35:56

SQL实现占比、同比、环比指标分析

一、数据准备工作表信息和表字段二、占比基本思路:求出分组、汇总–>笛卡尔积连接–>相除1.品类销量占比(mysql和oracle两个版本)--mysql版本SELECTNAMEAS 品类名称, numAS销售量,concat( format(num/total*100,2),'%')占比FROM (SELECT *FROM...

2019-09-27 14:29:15

测试知识笔记

测试过程类型:新建产品、运维产品测试过程:测试计划、测试用例、单元测试、集成测试、系统测试、验收测试、线上验证系统测试人员:测试工程师、需求分析师、运维工程师工具:ITMP验收测试人员:用户(需要测试和需求人员准备验收测试用例)线上测试性能测试性能测试修复和优化...

2019-09-18 09:19:54

char,varchar,vachar2区别

1.CHAR的长度是固定的,而VARCHAR2的长度是可以变化的,比如,存储字符串“abc",对于CHAR(20),表示你存储的字符将占20个字节(包括17个空字符),而同样的VARCHAR2(20)则只占用3个字节的长度,20只是最大值,当你存储的字符小于20时,按实际长度存储。2.CHAR的效率比VARCHAR2的效率稍高。3.目前VARCHAR是VARCHAR2的同义词。工业标准的...

2019-09-12 10:30:34

宽表和窄表

宽表:从字面意义上讲就是字段比较多的数据库表。通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表。由于把不同的内容都放在同一张表存储,宽表已经不符合三范式的模型设计规范,随之带来的主要坏处就是数据的大量冗余,与之相对应的好处就是查询性能的提高与便捷。这种宽表的设计广泛应用于数据挖掘模型训练前的数据准备,通过把相关字段放在同一张表中,可以大大提高数据挖掘模型训练过程中迭代计算时的效率问...

2019-09-10 13:14:02

CentOS7 常用命令集合

文件与目录操作命令解析cd/home进入‘/home’目录cd…返回上一级目录cd…/…返回上两级目录cd-返回上次所在目录cpfile1file2将file1复制为file2cp-adir1dir2复制一个目录cp-a/tmp/dir1.复制一个目录到当前工作目录(.代表当前目录)ls查看...

2019-09-09 16:51:17

hive课程笔记

1.hive架构hive通过mr(mapreduce)进行计算,通过hdfs进行存储。2.hive与数据库比较hive采用了类SQL的查询语言HQL,(1)查询:查询语言类似(2)存储位置:hive存储在hdfs,mysql存储在本地文件系统(3)数据更新由于hive是针对数据仓库设计的,而数仓的内容是读多写少的,因此hive中不建议对数据进改写,所有的数据都是在加载的时候确定好了...

2019-09-08 16:44:51

MySQL批量更新数据

mysql更新语句很简单,更新一条数据的某个字段,一般这样写:UPDATEmytableSETmyfield='value'WHEREother_field='other_value';如果更新同一字段为同一个值,mysql也很简单,修改下where即可:UPDATEmytableSETmyfield='value'WHEREother_fieldin...

2019-09-06 15:34:11

Node.js和vue.js的安装详解

一、Node.js的安装本机环境:Windows10专业版x641、下载安装包Node.js官方网站下载:https://nodejs.org/en/选择操作系统对应的包:下载完成,安装包如下:2、安装打开安装,傻瓜式下一步即可:选择安装位置,我这里装在D盘下:安装成功,文件夹结构如下,并在上面安装过程中已自动配置了环境变量和安装好了npm包,此时可以执行...

2019-09-06 13:54:33

Hive教程09_查询

1.whereHive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。SELECT语句用来从表中检索的数据。WHERE子句中的工作原理类似于一个条件。2.orderbyORDERBY子句用于检索基于一列的细节并设置排序结果按升序或降序排列。语法下面给出的是ORDERBY子句的语法:SEL...

2019-09-06 13:38:05

Hive教程08_视图和索引

根据用户的需求创建视图。可以将任何结果集数据保存为一个视图。视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。1.视图【示例】举个例子来看。假设employee表拥有如下字段:Id,Name,Salary,Designation和Dept。生成一个查询检索工资超过30000卢比的员工详细信息,我们把结果存储在一个名为视图e...

2019-09-06 13:35:34

Hive教程07_内置函数

hive的内置函数看起来非常类似于SQL的函数,但是他们的使用有点不一样。Hive支持以下内置函数:返回类型签名描述BIGINTround(doublea)返回BIGINT最近的double值。BIGINTfloor(doublea)返回最大BIGINT值等于或小于double。BIGINTceil(doublea)它返回最小BIGINT值等...

2019-09-06 13:34:05

查看更多

勋章 我的勋章
  • 新人勋章
    新人勋章
    用户发布第一条Blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周上午根据用户上周周三的博文发布情况由系统自动颁发。