- 博客(76)
- 收藏
- 关注
RSS订阅原创 Hadoop集群完全分布式模式部署
配置网络1.修改主机名master: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=master slave1 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=slave1 slav...
2018-08-31 16:03:42
281
原创 看大数据平台从0到一的回顾
大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何去克服、修复它，让平台更好满足用户需求，这就是本次主题的重点。下面是本次分享的内容章节，首先讲一下架构1.0与2.0，两者分别是怎么样的，从1.0到2.0遇到了哪些问题；第二部分讲一下数据平台，都有哪些数据平台，这些数据平台都解决什么问题；第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题；...
2018-08-31 10:56:28
165
转载 学习大数据
随着我国城市化发展进程的加速，城市交通拥堵、交通污染日益严重，交通事故频繁发生。这些都是各大城市亟待解决的问题。众所周知，智能交通成为改善城市交通的关键策略。为了缓解城市交通中的各种问题，很多城市都采取各多种手段，比如建设一系列信号控制、视频监控、交通诱导等业务系统，一定程度上缓解了交通问题，无法从根本上实现城市交通的智慧化管理。全面提升交通管理部门的实时监测、全面布局、整体协调能力，要从多个...
2018-08-31 10:52:40
257
原创 hbase与hdfs之间的数据转换
MapReduce功能实现系列：MapReduce功能实现一---Hbase和Hdfs之间数据相互转换MapReduce功能实现二---排序MapReduce功能实现三---Top NMapReduce功能实现四---小综合(从hbase中读取数据统计并在hdfs中降序输出Top 3)MapReduce功能实现五---去重(Distinct)、计数(Count)Map...
2018-08-31 10:04:30
824
原创 springboot详解，你需要掌握的知识都在这里
一、注解(annotations)列表 @SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让Spring Boot扫描到Configuration类并把它加入到程序上下文。yxxy1717 @Configur...
2018-08-30 15:41:22
2417
1
原创 springboot整合资源搭建实时平台
elk 简介 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 E...
2018-08-30 14:25:21
1001
原创 ssm 整合，一起来学习
配置内容■ solr.properties:主要配置solr的core目录、超时时间参数,可根据业务需求进行添加设置。有需要的联系我2317384986 yxxy1717solr.baseUrl=http://localhost:8081/solr/collection1 solr.connectionTimeout=3000 ■ applicationContex...
2018-08-30 10:15:25
112
原创 kibana Logstash Logstash 你要学习吗？
1.1 kibana概述1.1.1 什么是kibanakibana是一款数据可视化的工具1.1.2 kibana特点1.灵活的分析和可视化平台2.实时总结和流数据的图表3. 为不同的用户显示直观的界面4. 即时分享和嵌入的仪表板1.2 部署Kibana1.安装kibana～] # rpm –ivh kibana-4.5.2-1.x86_64.rpm2. 修...
2018-08-30 09:54:33
121
原创 spark——blockmanager原理与源码分析
BlockManager定义 BlockManager是Spark的分布式存储系统，与我们平常说的分布式存储系统是有区别的，区别就是这个分布式存储系统只会管理Block块数据，它运行在所有节点上。BlockManager的结构是Maser-Slave架构，Master就是Driver上的BlockManagerMaster，Slave就是每个Executor上的BlockManager。...
2018-08-29 22:24:37
317
原创 kafka的集群搭建，一起来学习吧!
启动zookeeper在本地2181端口启动ZK。zookeeper集群启动参考 https://blog.csdn.net/qiushisoftware/article/details/79043379bin/zookeeper-server-start.sh config/zookeeper.properties1如果你需要对zookeeper开启SASL认证，请在配置文件中加...
2018-08-29 16:23:39
175
原创 在别人嘲笑中，证明当初的选择是对的
一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:大数据工程师 数据分析师 大数据科学家 其他（数据挖掘等）二、大数据工程师的技能要求附上大数据工程师技能图：必须掌握的技能11条Java高级(虚拟机、并发) Linux 基本操作 Hadoop（HDFS+MapReduce+Yarn ） HBase（JavaAPI操作+Phoenix ） Hiv...
2018-08-29 14:59:38
210
原创 docker 核心配置与概念
使用docker 拉取镜像时，可能遇到速度慢，或超时的情况，这时可以配置加速器。常用加速器：Docker 官方的中国镜像加速器：从2017年6月9日起，Docker 官方提供了在中国的加速器，以解决墙的问题。不用注册，直接使用加速器地址：https://registry.docker-cn.com 即可。 中国科技大学的镜像加速器：中科大的加速器不用注册，直接使用地址 https://d...
2018-08-29 14:52:40
176
原创 为什么要学习springboot？
Spring诞生时是Java企业版（Java Enterprise Edition，JEE，也称J2EE）的轻量级代替品。无需开发重量级的Enterprise JavaBean（EJB），Spring为企业级Java开发提供了一种相对简单的方法，通过依赖注入和面向切面编程，用简单的Java对象（Plain Old Java Object，POJO）实现了EJB的功能。 虽然Spring...
2018-08-27 16:58:32
272
原创 Hadoop文件配置及作用
目录1 . slaves2 . core-site.xml3 . hdfs-site.xml4 . mapred-site.xml:（注意要将mapred-site.xml.template重命名为 .xml的文件）5.Yarn-Site.xml6 . hadoop-env.sh1 . slaves把所有从节点的主机名写到这儿就可以，这是告诉hadoop进程哪些机器...
2018-08-27 16:17:14
185
原创 大数据-hadoop入门学习
Hadoop由于apache版本的Hadoop存在一些BUG，这里使用cdh5.3.6版本的Hadoop简介Hadoop是一个可靠的、可扩展的、开源的、高可用的分布式并行计算框架主要模块Hadoop Common:为其他Hadoop模块提供基础设施 Hadoop HDFS:一个高可靠的、高吞吐量的分布式文件存储系统 Hadoop MapReduce:一个分布式的离线并行计算框架 ...
2018-08-27 14:01:58
164
原创 kuernetes资源管理，你需要知道
系统资源可分为两类：可抢占资源（CPU）和不可抢占资源（memory、storage）。可抢占资源比如CPU在系统满负荷时会划分时间片分时运行进程，系统整体会变慢（一般不会导致太大的问题）。但不可抢占资源如Memory在系统满负荷时，除了会导致系统变慢，还会进一步导致系统OOM，最终导致某些进程被Linux系统的OOM killer机制杀掉。在Kubernetes平台，默认情况下Pod能够使用...
2018-08-27 11:20:59
209
原创 Linuxx虚拟实现上网
Host-only模式实现联网得考虑如下配置过程：1、安装VMware-Workstation，安装虚拟机Linux（centos、ubuntu等）完毕。2、设置虚拟机上网方式是Host-only，然后确认如下全部ip设置：（1）配置VMware Network Adapter VMnet1（即，主机的虚拟网卡，用来跟虚拟机通信的）查看主机的网络连接设置，找到如图示两个连接。如...
2018-08-27 10:36:40
354
原创 docker镜像你需要了解的
）docker commit方法定义 每一次commit都是往版本控制系统里提交一次变更（软件安装和修改）。 步骤 （1）启动容器：docker run container_old； （2）进入容器：docker exec -it -d container_old /bin/bash； （3）自定义镜像内容； （4）commit镜像：docker commit conta...
2018-08-27 10:15:35
162
原创 大数据，你需要学习的
Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required...于是开始问度娘应该怎样安装，看了几篇博客，虽然和我的问题不十分相同，但是也受到了启发，知道应该怎样解决我的问题了。解决问题的过程总结如下：1、直接使用pip install scrapy安装不成功可以安装whl格式的包首先下载scrap...
2018-08-27 10:08:38
225
原创 spring让你喜欢上他
秒杀系统的架构设计秒杀系统，是典型的短时大量突发访问类问题。对这类问题，有三种优化性能的思路： 写入内存而不是写入硬盘 异步处理而不是同步处理 分布式处理 用上这三招，不论秒杀时负载多大，都能轻松应对。更好的是，Redis能够满足上述三点。因此，用Redis就能轻松实现秒杀系统。 用我这个方案，无论是电商平台特价秒杀，12306火车票秒杀，都不是事:)下面介绍一下为什么上述三种性能优化...
2018-08-26 13:58:52
124
原创 从入门到实践——docker
有需要的联系我2317384986 yxxy1717获取镜像 从 Docker 镜像仓库获取镜像的命令是 docker pull 。其命令格式为： docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]具体的选项可以通过 docker pull --help 命令看到，这里我们说一下镜像名称的格式。Docker...
2018-08-26 13:44:31
100
原创 初识Hadoop
一.从起源开始聊起hadoop的起源也就是谷歌著名的三大论文，或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个：HDFS，Hadoop MapReduce，HBase，分别是谷歌的GFS，Google MapReduce和BigTable的开源实现。另外，有趣的是，Hadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命...
2018-08-26 13:24:30
117
原创 docker常用命令
一、帮助命令1、查看版本<span style="color:#000000"><code>docker version</code></span>1 2317384986 yxxy1717 2、查看命令帮助信息<span style="color:#000000"><code&
2018-08-24 14:14:54
76
原创 spark——你要知道的小知识
在我们介绍Executor执行Task之前，先看一个重要的类，它就是CoarseGrainedExecutorBackend类 它创建这个进程的时候会调用onStart方法 它是ExecutorBackend粗粒度进程， 它负责向Driver发送Executor的注册请求 它是一个通信的进程，它可以与Driver相互通信 它是Executor所在的一个进程名称，Execut...
2018-08-24 14:09:37
189
原创 Linux下的安装和部署
ElasticSearch@(数据库)[搜索, ES] ElasticSearch linux下ES的安装 elasticsearch.yml配置文件的修改 IK分词器的下载与安装 es启动失败的问题处理 插件工具的下载与安装 Kabana安装与汉化 es_head x-pack linux下ES...
2018-08-24 13:59:52
213
原创 这样的HBASE你知道吗
将下载好的Hbase上传到Centos。2. 解压（这里就懒得改这个版本名称了。。）tar –zxvf hbase-0.99.2-bin.tar.gz13. 重命名mv hbase-0.99.2 hbase14. 修改环境变量1、 在master机器上执行下面命令： su – rootvi/etc/profile1添加内容：ex...
2018-08-23 14:07:49
111
原创 spark就应该这么玩
有需要的 Spark DataFrame 写入 OrientDB val spark = SparkSession.builder().appName("SparkOrientDB").getOrCreate() import spark.implicits._ import spark.sql // Vertex DataFrame spark....
2018-08-23 13:58:48
174
原创 深入浅出的——docker命令详解
前戏准备 一些操作都需要root权限操作，从用户角色转换到root角色命令：sudo su 启动docker服务：service docker start （docker所有的操作，都是基于启动docker服务，不然会报：Cannot connect to the Docker daemon. Is the docker daemon running on this ...
2018-08-22 22:04:45
142
原创 学习是一种快乐，而不是一种乐趣
如何进入服务容器内部**##################################################################使用exec命令进入[root@foundation15 ~]# docker run -d --name vm1 nginx41a0572cdd0e3b70e09ac9f74dcfc341c21ceef2c07dee...
2018-08-22 15:46:35
515
原创 之前有人问我web是什么？懂得的人和不懂得的区别在于你是否看了下面的内容
什么是HTTP协议 HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。 HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, ...
2018-08-22 14:31:43
170
原创 这样的大数据HDFS,你不喜欢吗？
1、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？解释：safemode是namenode的一种状态（active/standby/safemode安全模式）namenode进入安全模式的原理： a、namenode发现集群中的block丢失率达到一定比例时（0.01%），namenode就会进入安全模式，...
2018-08-22 13:36:34
105
原创 Hadoop的知识——大数据你就是太受欢迎
资源准备资源下载：hadoop官网下载链接 至于安装什么版本，看自己需求 jdk官网下载链接注意事项：注意hadoop,jdk,centos都应该是64位或者32位的，以免出现无法预料的错误建议使用64位的linux 虚拟机配置系统配置：虚拟机：一个master(Master.Hadoop),两个slave(Slave1.Hadoop, Slave2.Hadoop) 网...
2018-08-19 20:45:17
84
原创 别把task不当回事，他可能会阻止你学Python
资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用的资源量超过该值...
2018-08-19 13:37:01
446
原创 这样的 DOCKER你总说不会，现在就在你面前，你还不赶快努力起来
开始安装：由于国内的源比较卡，所以我们推荐使用daocloud的方式，注册安装即可：[root@localhost ~]# curl -sSL https://get.daocloud.io/docker | sh1为了快速拉取镜像，还要接daocloud.因为在国内通常拉取Docker hub的镜像都是被墙的。[root@localhost ~]# curl -sS...
2018-08-19 13:33:56
179
原创 zookeeper 是什么？
第一步 创建docker网段在centos窗口中，执行如下命令：docker network create --subnet=172.20.0.0/16 net71*注：172.20.0.0 网段（读者可以自定义自己所需的网段） 16 子网掩码 net7 网段名称 （读者可以自定义自己所需的网段名称） 说明：在此步创建网段，是为了合理规范便于治理，读者可自行选择是否创建...
2018-08-17 10:52:33
95
原创 都要说大数据很火，但是你知道他中的Hadoop是什么吗
大数据解决四大核心问题：1、数据的存储（Big Data Storage），海量数据需要处理和分析，但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备，并且用一个路径去管理不同平台上的数据。2、数据的计算（Data Calculation），在数据有效存储的基础上，对数据的统计和分析本质上就是数据的计算。在大数据领域...
2018-08-17 10:22:16
359
转载 说了这么多，这就叫hive
Hive是什么：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能；其本质是将HQL转化成MapReduce程序。 构建在Hadoop之上的数据仓库： 使用HQL作为查询接口 使用HDFS存储 使用MapReduce计算 灵活性和扩展性比较好：支持UDF，自定义存储格式等： 适合离线数据处理 H...
2018-08-16 13:46:18
162
原创 HBASE学习是一种乐趣
参考文档：http://blog.csdn.net/it_taojingzhan/article/details/51789739http://blog.csdn.net/blackenn/article/details/52234420http://blog.csdn.net/wtq1993/article/details/53088968Hbase版本http://apache...
2018-08-16 10:51:31
418
原创 spark中的hive
import java.io.File; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSessio...
2018-08-16 10:17:54
170
原创 电梯中的学问，你知道了吗？程序员-
不管你是在北上广还是在港澳台，甚至三四线城市，凡是有规模的地区，高楼比比皆是。不管是写字楼还是大型商城，让你最头痛的就是乘电梯，尤其是在赶时间的时候。每天早上，那些差 5 分钟就迟到的程序员，在等电梯时，一般会做两件事：第一，在心里骂电梯慢；第二，在心里暗算着电梯调度如何优化；前者可能是写字楼里上班族惯有的精神类疾病，但后者肯定是程序员的职业病。本文对“骂电梯”不给予任何指...
2018-08-16 10:10:51
212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人