- 博客(23)
- 收藏
- 关注
RSS订阅原创 Spark的常见问题解析
1.输入这句话可以成功：①scala> val lines = sc.textFile("file:///home/hyxy/README.md")但是输入：②scala> lines.count 为什么会报错抛异常呢？Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md doe...
2018-08-27 22:00:11
376
原创 Hive和Spark设置队列的方法
Hive和Spark设置队列的方法Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。 方法一： 在Hive中，所有的默认配置都在${HIVE_HO...
2018-08-27 19:19:37
12513
原创 Spark简介以及Spark standalone的搭建
Spark 介绍------------------------------- 1.spark处理大数据的统一分析计算引擎； a.速度：在迭代循环的计算模型下，spark比Hadoop快100倍； b.易用性：spark提供多种语言的API，如Java、Python、Scala、R、SQL等 c.扩展性：在spark RDD基础上，提供一整套的分...
2018-08-27 14:33:41
369
原创 新手！scala基础和注意事项
Scala简介------------------------------ 1.scala是面向对象的、面向函数的基于静态类型的编程语言。 2.安装Scala，版本选型2.11.8。原因：spark版本选型为2.1.2（最好是x.x.2版本），由scala2.11.8版本编译的 注意：a.安装目录不能有“ ”(空格)出现，否则抛：主类找不到..... ...
2018-08-22 22:37:54
335
原创 之前有jdk1.7想安装jdk1.8的正确步骤
一、首先安装jdk1.81）安装jdk应该没什么说的，值得注意的是，安装jdk1.8时需要填写两个安装路径，此时别慌，第一次是放jdk的，第二次是放jre的2）环境变量配置如下：下载JDK网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html按照对应系统的版本的位数，下载对应的版本的JDK环境...
2018-08-22 13:07:01
2617
原创 python常用命令干货（讲解+代码）
#定义列表，列表像数组一样，cast 为标识符（没有类型） cast = ["chinese","English","math","Music"]#像数组一样下标从0开始 print (cast[1])#len()输出列表的元素个数 print len(cast)#在末尾添加新元素 cast.append("History")#删除末尾的元素 cast.po...
2018-08-14 15:41:26
8734
原创 集合框架
1.什么是集合？用来存储一堆数据的容器，不需要考虑容量问题，会自动扩容 2. Collection：集合的父类型，是一个接口。 其中有两个子接口： List：有序可重复 ...
2018-08-12 13:15:52
163
原创 Hive的用法
hive 命令行-------------------------------- 1.定义变量： $>hive -d name=hyxy; //进入到客户端，并定义了变量为name，值为hyxy；作用域在hivevar下 查看设置后的属性值： hive> set name; hive> set hive...
2018-08-08 06:29:46
1435
原创 Hive出现的问题汇总
1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常；java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...
2018-08-08 06:20:57
2698
原创 需掌握的java的熟悉操作
需掌握的java的熟悉操作jdk工作空间的配置：(一般用自己安装的jdk,系统自带的环境可能太大，有第三方插件） 在Myeclipce中点击window-->Preferences-->java,在Java中会有两个配置 ①先配置，点击Installed JREs-->add-->...
2018-06-12 07:23:35
264
原创 搭建hadoop集群（先搭伪分，再搭全部）
搭建hadoop集群（先搭伪分，再搭全部）hadoop伪分布搭建流程（都是在普通用户下）---------------------------- 一）关闭防火墙： chkconfig iptables off service ip...
2018-05-28 11:36:05
534
原创 存在的疑惑
1.ArrayList和LinkedList有什么区别？ 答：1.ArrayList是实现了基于动态数组的数据结构，LinkedList基于链表的数据结构。 2.对于随机访问get和set，ArrayList觉得优于LinkedList，因为LinkedList要移动指针。 3.对于新增和删除操作add和remove，LinedList比较占优势，因为...
2018-05-24 19:04:01
281
原创 学习笔记
hadoop伪分布搭建流程---------------------------- 1.通过挂在上传软件至/home/hyxy/soft $>cp jdk1.8.XXX.tar.gz ~/soft $>cp hadoop.2.7.3.tar.gz ~/soft 2.解压相关软件 $>tar -zxvf jdk1.8.XXX.tar.gz...
2018-05-21 16:09:02
201
原创 详细教你搭建伪分布式hadoop集群
详细教你搭建伪分布式hadoop集群 1. Apache™Hadoop®项目为可靠的(hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。)，可扩展的，分布式计算开发...
2018-05-19 17:23:29
403
原创 详细教你在Centos中搭hadoop2.7.3、jdk集群（新手必看），按照教程，就可以轻松搭成
详细教你在Centos中搭hadoop2.7.3、jdk集群前提准备：三台创建好的Centos6.5服务器，主机名和ip地址分别为：master：192.168.152.137 ...
2018-05-17 17:22:01
476
1
原创 Shell编程
Shell编程Shell环境Linux的Shell种类众多，常见的有：人们并不区分前两个所以/bin/sh可以写成/bin/bash Bourne Shell(/usr/bin/sh或/bin/sh) Bourne Again Shell(/bin/bash) C Shell(/...
2018-05-06 07:14:04
192
原创 在Centos中配置环境的方法步骤和安装软件得两种方法，yum/rpm
在Centos中配置jdk环境和安装tomcat的方法步骤配置前的准备 在配置环境之前安装好SSH Secure File Transfer Client（传输文件）和SSH Secure Shell Client（远程控制服务器）。具体配置步骤 ①首先需要建立连接，将此软件连接到服务器上 ②用将tomcat压...
2018-05-04 20:37:10
315
原创 文本编辑器Vim/Vi
文本编辑器Vim/ViVim/Vi简介 Vim/Vi是一个功能强大的全屏幕文本编辑器，是Linux/Unix 上最常用的文本编辑器，它的作用是建立、编辑、显示文本文件。(Vim/Vi没有菜单，只有命令) ...
2018-05-02 15:35:28
607
原创 Linux的基础常用命令
Linux的基础常用命令 文件命名规则 1）最好不要用特殊字符 2）Linux区分大小写（这一点和windows不同，windows不区分大小写）格式命令 1）命令格式：命令 -选项 参数 ex:ls -la /etc ...
2018-04-21 22:32:24
679
1
原创 如何在VMware中安装CentOS 6.5版
如何在VMware中安装CentOS 6.5版1. 点击创建新的虚拟机：2. 选择典型，再点击下一步3. 选择稍后安装操作系统，点击下一步4. 客户操作系统选择Linux，版本选择CentOS 64位，并点击下一步5. 给虚拟机起个名字，和添加安装路径点击...
2018-04-19 21:34:09
1265
原创 使用jdbc出现的异常汇总
一、使用jdbc出现的异常： 1.ClassNotFoundException: No Suitable Driver Found..... 原因：没有导入第三方jar包 2.invalid username/password 无效的用户名/密码 3. IO 错误: The Network Adapter co...
2018-03-30 10:04:09
5293
原创 Oracle在Java中的语句使用和执行
在Oracle数据库中一些建表，插入或删除数据我们都会很快的操作，那么在Java中如何操作呢？一、介绍先加载驱动、连接数据库Connection之后，再创建一个sql语句的编译器：Statement stat = conn.createStatement();Java中Oracle语句的处理结果集有三个分别是：execute()、executeUpdate()、executeQuery();(作用...
2018-03-29 15:41:20
2185
原创 JDBC链接数据库的五种方法
1.用JDBC连接Oracle数据库，在连接数据库之前要把Oracle数据库的服务都开启、还有在所在工程中加载驱动jar包，有两种方法：1)用DBUtil来编写工具类 2）用properties文件来编写连接参数 3）用dbcp连接池连接数据库2.①先介绍一下DBUtil来编写的方法，其实很简单就是我们最常用连接方式，简单来说就是将各种添加驱动的参数都直接填写到函数中；具体操作如下。我没写测试...
2018-03-29 09:26:36
1341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人