- 博客(4)
- 收藏
- 关注
RSS订阅原创 hive的基本搭建以及期间遇到的问题
一、hive官方给出的定义是数据仓库 主要包含解释器、编译器、优化器、执行器、在运行的时候hive会将hdfs文件系统上的文件转换为关系型数据库（这里我们用mysql,因为自带的关系型数据库很不稳定），hive主要是类sql脚本二、mysql 1、下载https://cdn.mysql.com//Downloads/MySQL-5.5/mysql-5.5.60-linux-glibc...
2018-06-26 17:42:19
308
原创 hadoop2.x搭建和部署以及遇到的问题
一、hadoop2.0解决了什么： 1、1.0中NameNode单点故障问题，难以应用于在线场景 2、NameNode压力过大，内存受限，影响系统扩展性 3、解决了支持除了mapReduce之外的计算框架，比如Spark、Strom等 4、对于1.0的api仍可以使用二、这里我们设计分布图做如下 1 表示存在于此机器上 ...
2018-06-19 16:47:48
203
原创 hadoop-小案例实现qq好友推荐
一、本文主要是hadoop hdfs文件系统和mapReduce离线计算框架整合小案例二、前提是读者已经部署了hadoop的namenode、datanode、secodaynamenode三、分析需求： 1、好友列表一个人有多个好友，那么如何实现好友推荐呢？简单的二度关系这里是使用 2、我的好友的好友有可能是我认识的人，所以将来进行好友推荐的时候就可以将这些人推荐给我（这里只是简单的...
2018-06-15 16:28:59
1634
原创 SpringCloud服务注册、发现与调用
本文主要是springcloud入门提现分布式服务架构一、这里主要有三个角色：服务注册中心、服务提供者、服务消费者二、主要的功能为两个模块分布在不同的机器上服务消费者进行调用服务提供者，这里不涉及业务逻辑和crud操作三、博主亲测可跑，如有问题可以联系博主QQ372445135，话不啰嗦上代码四、工程创建： 1、首先创建一个maven、springboot工程用于作为服务注册中心（功...
2018-06-14 18:32:53
2471
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人