- 博客(152)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 WampServer中MySQL服务一直无法开启，几种解决方式！（之前已安装过MySQL）
wampserver三个服务（apache+php+MySQL）中唯独MySQL服务开启不了，以下分享几种解决方式： 由于之前已安装过MySQL，这次安装不会覆盖它，但是开启MySQL服务是开启之前的MySQL 1.可以通过设置环境变量改变开启MySQL服务： MYSQL_HOME::添加路径...
2018-11-08 16:09:13
22253
10
原创 WampServer中phpmyadmin不能登陆数据库(之前已安装过MySQL)
安装wampserver之后，它不会覆盖之前的MySQL，所以你的机器上会有两个MySQL，（两个默认端口号都是3306） 那么会存在3306的端口冲突，也就是说你以前的MySQL会正常运行，而新装的会自动被停止，如果你想两个MySQL 都使用，那么需要设置新装的MySQL端口和phpmyAdmin连接到MySQL的端口配置就可以；（或者把之前的卸载掉）...
2018-11-07 21:13:49
6392
2
转载 PHP简介2--PHP是什么
目录PHP 是什么？PHP 文件是什么？PHP 能做什么？为什么使用 PHP？ PHP 是什么？PHP（全称：PHP：Hypertext Preprocessor，即"PHP：超文本预处理器"）是一种通用开源脚本语言。 PHP 脚本在服务器上执行。 PHP 可免费下载使用。 PHP 对初学者而言简单易学。 PHP 也为专业的程序员提供了许多先进的...
2018-11-04 16:36:44
599
原创 PHP简介--开发工具的选择
PHP 是一种创建动态交互性站点的强有力的服务器端脚本语言。PHP 是免费的，并且使用非常广泛。同时，对于像微软 ASP 这样的竞争者来说，PHP 无疑是另一种高效率的选项。PHP 脚本在服务器上执行。您应当具备的基础知识 在继续学习之前，您需要对下面的知识有基本的了解：HTML CSS JavaScript PHP开发工具其实包括以下两个：PHP服务器组件。 ...
2018-11-04 15:56:35
454
原创 Eclipse报错：could not open ....\amd64\jvm.cfg
今天打开Eclipse报错： 显示： could not open jdk的路径下的 jvm.cfg， 然后在终端也不好使： 运行java -version 报错：解决办法： C:\Program Files ...
2018-11-04 15:30:37
2421
3
原创 利用Spark对文件里的数字进行排序并输出（附例子）
说明：Sort3File文件夹有三个txt文件，现在对里面的数字进行升序输出工具：IDEA，Spark编写object SortFile { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("sort"); v...
2018-09-04 11:01:51
2387
原创 Hadoop对于读流程和写流程的图解和解释
Hadoop的读流程和写流程究竟是怎么回事呢？看下面：一、读流程 解释：1、客户端向NameNode发起请求，需要获取名字为x的数据块 2、NameNode中保存了该数据块存储的位置，将DataNode的信息返回给客户端 3、客户端就近的方式去从DataNode获取数据 4、如果某个DataNode无法访问 5、从另一个DataNode中去获取数据 总结：向namenode...
2018-09-02 18:59:00
1190
原创 Spark的概念、集群管理器、存储层次
本文让我们来聊一聊Spark是什么，以及涉及到的相关概念 1.1 Spark是什么 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模 式，包括交互式查询和流处理。 Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上 进行的复杂...
2018-08-29 22:52:27
434
原创 Spark在Linux安装的单机--集群的不同安装模式步骤
本文包含三种模式安装：单机、Standalone、Yarn等一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装： $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...
2018-08-27 21:29:26
321
原创 Scala在IDEA上的安装步骤--简单
Scala 是一门多范式（multi-paradigm）的编程语言， 设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序如何安装Scala??? 1.scala是面向对象的、面向函数的基于静态类型的编程语言。 2.安装Scala，版本选型2.11.8。原因：spar...
2018-08-23 17:57:55
1069
原创 注意区分HBase与Hive之间的定义和区别
HBase 官方定义： Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。 当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™，Apache HBase是一个开源的，分布式的， 版本化的非关系...
2018-08-16 13:33:41
968
原创 Hive的静态分区 的案例操作
hive中的分区针对{表组织}进行规划的；【静态分区】： 创建静态分区 hive>create table logs(st bigint,line string) >partitioned by (dt string,country string) >row format delimited fields ter...
2018-08-11 15:00:55
324
原创 Hive装载数据 、导出数据
Hive 数据操作 装载数据 既然Hive没有行级数据插入、数据更新和删除操作，那么就使用一种大量数据装载操作； hive>load data 【local】 inpath 'hdfs://data/employees.txt' overwrite into table employees partition ...
2018-08-11 14:40:36
841
原创 Hive对数据库database的创建、修改
前言：Hive中对database的创建、查询、location、修改、删除等操作，作了简单描述1.创建数据库 hive>create database myhive; hive>create database if not exists myhive;2.查询数据库和表 hive>show databases; ...
2018-08-11 13:48:37
25318
1
原创 Hive中相关核心概念与定义
1.什么是Hive? Apache Hive 数据仓库软件便于读,写,和管理大型数据集驻留在分布式存储(Hadoop)使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver 注意：Hive实质就是客户端，不存在主从...
2018-08-10 23:03:37
469
原创 开启hiveserver2服务的时候，For compliance with existing applications not using SSL the verifyServerCertifica
前言：执行hiveserver2服务是时候报错：如下 $>hiveserver2 (或者hive --service hiveserver2 &) 18/08/09 16:36:19 WARN conf.HiveConf: HiveConf of name hive.server2.thrift.client.use...
2018-08-09 17:06:32
1330
原创 Hadoop上手动安装MySQL的方法和步骤
前言：Hadoop的基础上安装MySQL,有两种方式：在线安装和手动安装。 本文介绍：手动安装在线安装（https://blog.csdn.net/xiaozelulu/article/details/81513285）1. 手动安装 手动安装MySQL---------------------------------- 1.验证Centos是否安装MySQL ...
2018-08-08 18:55:01
5653
原创 Hadoop上在线安装MySQL的方法和步骤
前言：Hadoop的基础上安装MySQL,有两种方式：在线安装和手动安装。 本文介绍：在线安装 1. 在线安装 在线安装(MySQL)--------------------------------------------- 1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除M...
2018-08-08 18:25:51
3407
1
原创 Hadoop上安装Hive的步骤--易安装
Hive 1.定义： Apache Hive 数据仓库软件便于读,写,和管理大型数据集驻留在分布式存储(Hadoop)使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver 注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念； 2.搭建Hiv...
2018-08-07 09:08:42
805
原创 HBase在MyEclipse常用的创建，删除，插入数据的Java代码--API
HBase在MyEclispe上执行各种API的操作 如：命名空间的创建，删除，和查询表空间 表的创建，插入数据（分为单行和多行），删除，查询（分为单行和多行，和区间查询）， 切分：分为regionname 和table 过滤：过滤满足条件的数据项目环境： ...
2018-08-06 19:08:28
596
原创 HBase的介绍 表结构 常用命令
HBase的表结构：这些名词的具体含义如下：1、Row Key与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：通过单个row key访问 通过row key的range 全表扫描Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hba...
2018-08-05 20:50:52
12716
原创 HBase shell 的常用命令及语法
HBase shell 1.进入Hbase shell命令 $>hbase shell 2.建议参照“help”命令 $>help 3.shell命令 ...
2018-08-05 09:58:59
2408
原创 Hadoop搭建HBase的方法和步骤--完全分布式
HBase数据库----------------------------- 1.Hbase是在HDFS上面向列的分布式的数据库； HBase首先是数据库，分布式的，面向列的，<首选在HDFS基础上>； Google发布三篇论文：GFS、Ma...
2018-07-30 18:57:55
476
原创 Hadoop搭建HBase的步骤--伪分布
HBase数据库----------------------------- 1.Hbase是在HDFS上面向列的分布式的数据库； HBase首先是数据库，分布式的，面向列的，<首选在HDFS基础上>； Google发布三篇论文：GFS、Ma...
2018-07-30 18:26:58
572
原创 Hadoop在Zookeeper、HA的条件下配置HBase的步骤--单机模式
前提： 本文在Hadoop已配置好zookeeper和HA的组件的条件下，去配置HBase组件，单机模式， 是在master主机上配置。 软件： hbase-1.3.1.tar.gz 步骤：安装Hbase（本地存储） 1.下载hbase-1.3.1版...
2018-07-30 17:51:39
553
原创 配置Zookeeper组件的步骤和讲解-- 集群模式
本文主要是在Zookeeper单机的条件下，去部署配置集群的zookeeper， 单机模式的配置是在： 【https://blog.csdn.net/xiaozelulu/article/details/81211258】博客下完成。自动容灾（自动故障转移）：需要在HDFS部署环境中配置两个组件： 1.Zookeeper集群 2.ZK...
2018-07-29 14:16:28
697
原创 Hadoop搭建HA的时候，开启NameNode服务的时候总有其中一个挂掉的原因及解决方法
搭建HA的情况下，开启start-dfs.sh 服务的时候， master和slave1两个NameNode服务总有一个挂掉，原因：start-dfs.sh的时候，首先开启的是 master：NameNode 后是 s...
2018-07-27 23:04:39
2532
原创 Hadoop搭建HA的步骤与讲解--详细
前提: 已经有搭建过hadoop集群了，本文章主要是在Hadoop条件下搭建HA， 现在让我们先在主节点master搭建HA,并测试：搭建HA的步骤：（要保证各master，slave1，slave2三个可以互相ssh无密登陆） 1. 创建软链接： ln -s hadoop_cluster_ha ...
2018-07-27 22:29:22
1435
原创 Hadoop搭建Zookeeper的详细步骤与讲解 --单机模式
Zookeeper作用： Apache ZooKeeper是一种高可用性服务，用于维护少量协调数据，通知客户端该数据的更改以及监视客户端的故障。自动HDFS故障转移的实现依赖于ZooKeeper来实现以下功能： a.故障检测：集群中的每个NameNode计算机都在ZooKeeper中维护一个持久会话。如果计算机崩溃，ZooKeeper会话将过...
2018-07-25 23:40:52
1762
原创 MapReduce计算同一个订单ID的最大金额数--加深group的印象
需求：在输入文件中，求出每一个订单Id花费金额的最大值！！输入文件：GoodsMaxID.txt 订单ID 商品ID 金额Order_0000001 Pdt_01 222.8Order_0000001 Pdt_05 25.8Order_0000002 Pdt_05 325.8Order_0000002 Pdt_03 522.8Order_000...
2018-07-24 20:29:17
1119
3
原创 MapReduce之单表关联Join输出祖父母、孙子---(附例子)
需求：一个文件，有子女和对应的父母，要求输出 祖父母 孙子，文件如下：单表关联 结果：child parent grand childTom Lucy Alice TomTom Jack Jesse TomJon...
2018-07-24 16:56:58
1778
原创 Mapreduce之多表关联Join---（附例子)
需求： address.txt: 1 Beijing2 Guangzhou3 Shenzhen4 Xian factory.txt:Beijing Red Star 1Shenzhen Thunder 3Guangzhou Honda 2Beijing Rising 1Guangzhou Development ...
2018-07-24 16:05:48
3253
1
原创 Mapreduce提交job到队列，报错Failed to submit application
需求：提交job到集群中的某个队列，此时我们把default 队列改为Flow ，order，然后会报下述的错：Exception in thread "main" java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1532225489052...
2018-07-22 11:57:40
10682
1
原创 利用MapReduce解决用户的上、下限流量，并求和问题--附例子
要求:需要统计手机用户流量日志，日志内容实例： 手机号 上行流量 下行流量 13726230501 200 1100 1...
2018-07-19 22:17:49
494
原创 利用MapReduce进行二次排序--附例子
首先先来明确几个概念： 1.分区-partition 1）分区（partition）： 默认采取散列值进行分区，但此方法容易造成 “ 数据倾斜 ” （大部分数据分到同一个reducer中，影响运行效率）； 所以需要自定义partition; ...
2018-07-19 21:35:59
3147
1
原创 MapReduce之倒排索引的讲解--例子
1.需求：将以下三个文件进行倒排。 【word1.txt】 MapReduce is simple 【word2.txt】 ...
2018-07-19 19:29:57
1478
原创 利用MapReduce计算学生的平均成绩--(附例子)
要求：利用MapReduce计算学生的平均成绩？？？分析： Mapper阶段 将学生的name和grade成绩context.write(name,grade), 实现<k1,v1>---> <k2,v2>的转换； Reduce阶段 计算每个学生的平均成绩；【这个阶段实现了...
2018-07-17 22:38:58
13382
1
原创 MapReduce对 file1.txt , file2.txt里面的内容进行去重，排序，并输出结果
题目：利用MapReduce对 file1.txt和 file2.txt里面对里面的内容进行去重，排序，并输出结果。。。1.Mapper阶段： 主要是对<k1,v1>进行排序，排序之后<k2,v2>作为Map的输出；public class DistinctMapper extends Mapper<LongWritable,...
2018-07-16 23:02:43
892
原创 工程名出现一个红色感叹号，及其出现的一些Errors
要是Eclipse创建的工程名出现一个醒目的红色感叹号，则说明bulid path导入的jar包出错；解决： 1.右键该项目----》build path----》configure build path 2.在弹出的窗口里，找到libraries，点击。会发现有无用的jar包，这些jar包前会有红色错号。 3.选中这些jar包，...
2018-07-14 10:16:26
1041
原创 MapReduce程序计算多个文件，对里面的数字进行排序，并输出（附例子）
MapReduce计算的案例，如下： 数据排序sortDemo： 将sortfile1.txt、sortfile2.txt、sortfile3.txt中的记录整合排序后，输出到一个文件中，包含行号。 编写MapReduce程序，实现上述内容： 分析：利用MR的sort能力，必须进行shuffle，一定实现reduce； 1.编写mappe...
2018-07-12 17:59:56
5531
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人