- 博客(8)
- 收藏
- 关注
RSS订阅翻译 谷歌mapreduce中文版
摘要mapreduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个map函数处理一个基于key/value的数据集合，输出中间的基于key/value pair的数据集合，然后再创建一个Reduce函数用来合并素有的具有相同key值的中间value值。现实世界有很多满足上述处理模型的例子，本论文讲详细描述这个模型。mapreduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割数据，在大量计算机组成的集群上的调度，集群中计算
2020-06-18 10:19:05
231
原创 什么是Scala语言？
Scala的初步认识Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。Scala 是 Scalable Language 的简写，是一门多范式(范式/编程方式[面向对象/函数式编程])的编程语言联邦理工学院洛桑（EPFL）的Martin Odersky于2001年开始设计Scala...
2020-03-08 18:45:01
463
1
原创 Mysql什么时候用子查询及注意事项
当我们需要对一次查询的结果进行重新加工的话，就需要用到子查询！使用子查询注意事项：1、在子查询中一般需要给子查询的结果起一个表的别名，用于外查询的区分。2、在子查询中命名的字段别名可以给外查询使用。...
2020-03-08 18:19:44
2560
原创 关闭hadoop的namenodeSecondary，只开启namenode
关闭hadoop的namenodeSecondary摘要：因为电脑的性能比较差，需要关闭namenodeSecondary来获得更大的内存！提高资源的利用率，关闭namenodeSecondary实测效率高了一半不止！不知道namenodeSecondary为什么这么耗损资源步骤：1、修改hdfs-siye.xml;取消namenodeSecondary的开启！2、使用单节点开启nam...
2020-03-08 18:01:07
1490
原创 Mysql采用子查询优化查询语句，提高查询效率
Msql采用子查询优化**摘要：**Mysql的优化方式有很多，这里我先介绍一种，就是在使用连接查询中的优化。案例：比如我要查询100万条数据中id小于100的数据，A表和B表有相同的字段id，那么id就可以成为连接查询的条件。如下所示：select *from A joinB on A.id = B.idwhere id <100;这样做的话，会产生严重的弊端，在执行...
2020-03-08 17:52:05
788
原创 Mysql查询语句的执行顺序，你知道from是第一个执行的了吗？select什么时候执行？
Mysql语句的执行顺序****摘要：****Mysql语句的执行顺序，作为一个mysql的初学者，很有必要掌握mysql语句的执行顺序，这样你才能更好的掌握别名的用法，因为在mysql的查询语句的使用当中，我们会大量的使用fromjoin onwheregroup byselecthavingorder bylimit看到这条执行阶梯了没，这就是mysql的执行顺序，lim...
2020-03-08 17:05:19
213
原创 hadoop集群添加xcall脚本注意事项，否者hadoop相关指令执行不了，例如jps指令
首先将xcall脚本添加到用户的bin目录下#!/bin/bash#验证参数if(($#==0))then echo 请传入要执行的命令! exit;fiecho "要执行的命令是:$@"#批量执行for((i=102;i<=104;i++))do echo -----------------------hadoop$...
2020-03-08 11:06:29
232
转载 root用户和sudo使用root权限的区别
-功能： 以root的身分执行命令-语法： sudo 其他指令-用户： 被root加入『/etc/sudoers』文件中的用户1.root的密码除了root本人知道外，不需被其他需要用到root权限用户知道，因为使用sudo时，要求输入的密码是『该位用户自己的密码』。2．把所有可执行sudo指令的用户都规范在『/etc/sudoers』这个文件中，root可以很容易地掌控整个系统。执行s...
2020-02-17 22:58:33
871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人