- 博客(13)
- 收藏
- 关注
RSS订阅转载 SQL(hive也适用)中条件放在on后与where后的区别
数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。 在使用left jion时，on和where条件的区别如下：1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须...
2019-06-04 22:33:46
1486
1
转载 数据倾斜整理(转)
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据...
2019-06-04 21:11:47
200
原创 记一次zookeeper安装失败过程
下图所示，执行zkServer.sh start 时提示已经启动成功，但是查询status的时候提示没有运行，解决过程：1，在排查了防火墙、端口占用（我重启了服务器）、data文件和log文件创建、data/myid的文件等问题将问题定位在zoo.cfg上。2，同时查看了zookeeper.out日志文件后仔细查看了zoo.cfg，发现几点可疑：在zoo.cfg文件中，有一...
2019-04-25 22:05:01
646
转载 azkaban启动时出现azkaban-users.xml doesn't exist问题解决
问题详情[hadoop@master azkaban]$ lltotal 12drwxrwxr-x 2 hadoop hadoop 4096 May 1 12:04 azkaban-2.5.0drwxrwxr-x 10 hadoop hadoop 4096 May 1 15:43 azkaban-executor-2.5.0drwxrwxr-x 9 ...
2019-04-20 21:35:48
892
原创 安装Azkaban常遇的问题
1.文件不存在解决办法：切换目录到server的conf下，然后执行：vi azkaban.properties ，将文件路径设置成绝对路径即可2.Keystore was tampered with, or password was incorrect问题：解决办法：和1的问题类似，都要配置绝对路径，和1在同一个文件中修改即可...
2019-04-20 21:33:09
265
原创 Linux使用sftp上传文件:系统找不到指定的文件。
今天重新部署了一个Linux，结果在使用sftp上传文件的时候出现下面的问题：系统找不到指定的文件。之前使用最简化的centos时可以直接拖拉文件到SFTP上，现在这个界面的cento无法上传。解决：把文件路径换成英文的即可上传文件...
2019-04-06 20:30:45
4674
原创 英语学习和程序员
最近博主花重金去报名了英语培训，想利用业余时间提高自己的口语和书面英语的能力，但是博主很多朋友不太理解这种花钱找罪受的行为。于是博主经常在思考，作为程序猿，英语真的不重要了吗？还是说只要懂了工作中用到的英语单词就行了？没必要再“花钱找罪受”了？当然，愿不愿意“找罪受”，而且还是花钱的？那就把博主的想法当做一部“哈姆雷特”剧，希望能给在英语学习路上的你有些启发。 ...
2018-08-22 15:00:06
1844
1
转载 GitHub的注册与使用
首先,你需要注册一个 github账号,最好取一个有意义的名字，比如姓名全拼，昵称全拼，如果被占用，可以加上有意义的数字.本文中假设用户名为 chuaaqiCSDN(我的博客名的全拼)一、gihub账号注册与仓库创建1. 注册账号:地址: https://github.com/输入账号、邮箱、密...
2018-03-16 11:28:29
13425
1
转载 GitHub 简单入门到使用熟练
一、git和github的区别git是一种版本控制系统。跟svn、cvs是同级的概念。 github是一个网站，给用户提供git服务。这样你就不用自己部署git系统，直接用注册个账号，用他们提供的git服务就可以。 那是不是只有一个提供可以git服务的网站呢，答案是否定的，除了那个全世界最大的代码网站（github），还有一些小众的gitcafe、gitlab…等等，以及受国内开发者欢迎的osch...
2018-03-16 10:54:45
260
转载 maven实现ssm框架的整合DEMO
springmvc /mybatis /maven /ssm整合 1.首先是建立一个Maven-project，具体操作请参考我的另一篇文章 点击这里 2. 然后导入maven依赖，这里将我的依赖列出如下[html] view plain copy<proj...
2018-03-02 09:29:48
3342
1
转载 使用maven搭建web项目
eclipse使用maven搭建web项目 1.选择建立maven project项目点击 new——other——maven project，点击next。2.选择项目路径，使用默认的路径：Use default Workspace and loc...
2018-03-02 09:26:57
159
转载 Maven工程创建轻松入门
目录概念 Maven是什么 Maven的生命周期 Maven的标准工程结构 Maven的"约定优于配置" Maven的版本规范 groudId artifactId version packaging SNAPSHOT LATEST RELEASE安装 官网下载地址 配置环境变量 本地仓储配置第一个Maven工程 在Eclipse中...
2018-02-27 11:05:31
232
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人