3 大数据学习之路

尚未进行身份认证

新的一天加油!

等级
TA的排名 7w+

在学习Spark-Streaming时遇到一个很低级的错误

报错如下:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext at SparkStreaming.Demo01$.main(Demo01.scala:10) at SparkStreaming.Demo01.main(Demo01.s...

2020-02-15 23:34:20

Linux简单配置安装SVN

最好使用root权限,如果是普通用户命令前加:sudo1.首先yum安装svnyum install subversion2.准备一个文件夹,作为仓库repository,以下是我的存放目录mkdir /home/hadoop/svnsvnadmin create /home/hadoop/svn3.此时查看svn目录会见到如下配置信息:4.进入conf文件夹,...

2020-01-17 11:05:29

运行spark-shell出现:WARN NativeCodeLoader: Unable to load native-hadoop library for your platform

在运行spark-shell时,会出现以下警告,但是不影响正常运行:WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法:修改spark/conf/spark-env.sh文件,添...

2020-01-15 10:01:35

在使用spark时,碰到内存不足问题

在使用spark时,默认内存的分配为1GB,但是由于学习环境有限,服务器内存太小不能满足最小内存(1GB)。当在启动spark-shell后,可能过会儿就被kill掉了,比如:scala> bin/spark-shell: line 44: 9896 Killed "${SPARK_HOME}"/bin/spark-submit --class org...

2020-01-14 16:55:58

java判断linux或window环境打开文件

poublic void openFile(String filePath){ if (osName.equals("Linux")) { try { Runtime.getRuntime().exec("gedit " + filePath); } catch (IOExceptio...

2019-12-25 16:00:46

对一个列数据,按照需求进行分组

假如有一个需求:有288个点的值,转化为24个的值思路为每十二点求一次平均值,作为转化后24的一个点的值难点: 要求,为零的参数不假如算平均值,比如1-12,12对应的值为0,此时对应的24点的某一个值为:sum()/11表结构大概如下: ...

2019-12-09 04:15:51

对于n个数获取不同的组合

需求如下:假如有三个数获取不同的组合1、2、3不同的组合有1231、22、31、31、2、3Java代码实现:public<E> List<List<E>> arrangeSelect(List<E> data ) { int nCnt = data.size(); int nB...

2019-12-09 03:58:02

购买服务器学习BigData遇到的困扰.........

十月初,在腾讯云购买了3台云服务器学习大数据,辛辛苦苦废了半天的功夫把集群(zookeeper、hadoop、hive、spark等)搭建好,但是晚上再使用的时候,反应特别慢。最后使用top命令查看cpu的使用情况发现cpu将近100%,此时意识到自己的服务器被植入了病毒!由于自己也是初次使用云服务,第一次被病毒困扰,不知道怎么应对这种事情,开始只知道重装系统,后来干脆直接把服务器都退掉了,赔...

2019-11-15 20:12:20

Spark非高可靠集群的安装

spark的版本为:2.1.2下载地址:https://archive.apache.org/dist/spark/spark-2.1.2/分配如下:hadoop101 hadoop102 hadoop103 hadop104 master worker worker worker worker 1.首先...

2019-11-13 11:14:43

在cenOS7中安装mysql遇到:Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/

启动mysql时,报如下异常:Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/VM_0_17_centos.pid).原因是没有初始化数据库执行命令:mysql_install_db --user=mysql --ldata=/var/lib/mysql/...

2019-10-14 14:42:49

在安装mysql时,遇到缺少perl-Module问题

在centos7中安装mysql时可能会遇到缺少如下模块问题,此时使用yum安装这个模块即可!FATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db:命令:yum install -y perl-Module-Install.noarch...

2019-10-14 14:21:11

在centOS7中安装mysql遇到冲突

报错如下:Preparing... ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el6.x86_64 conflicts with file from ...

2019-10-14 14:04:10

如何租用多台便宜的云服务器用来学习大数据?(腾讯云为例)

最近在腾讯云会有很多的活动,如果不是学生党或者对配置无要求的学生党可以租用一核1GB套餐,资金不足并且对配置没什么要求可以选择这个套餐:如果是未满25周岁的用户,可以租用1核2GB的校园套餐,无需进行学生认证,每月仅需10元如果仅需要一台机器,那么注册购买即可使用,如果需要多个机器可以注册多个新用户进行购买比如需要三台便宜机器,可以注册三个新用户,注册购买。多账号购买,节...

2019-10-14 09:46:55

spark-shell --master yarn-client启动遇到的

在启动是遇到如下错误:19/10/01 01:32:51 ERROR spark.SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to l...

2019-10-08 09:58:09

在使用sqoop向mysql导出数据时,map运行100%,但是reduce一直不动

19/08/31 14:49:26 INFO mapreduce.Job: map 100% reduce 0%在使用sqoop向mysql导出数据时,map运行100%,但是reduce一直不动,此时成旭也不报错,在查看map的log时发现是由于mysql中设置字符长度不够导致的错误,但是错误只能在日志中看到。2019-08-31 14:49:19,803 ERROR [Thread...

2019-08-31 14:58:48

在运行mr时遇到的一个大坑

卡在如下状态不动:19/08/31 14:22:59 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy t...

2019-08-31 14:45:51

hive中的参数配置方式

1.查看当前所有的配置信息hive>set;2.参数的配置三种方式 (1)配置文件方式默认配置文件:hive-default.xml用户自定义配置文件:hive-site.xml 注意:用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。...

2019-08-24 11:38:38

hive中数据仓库位置的配置

1.数据库的默认配置路径为:/user/hive/warehouse2.修改数据仓库的原始位置只需在hive-site.xml文件中配置如下信息即可:<property><name>hive.metastore.warehouse.dir</name><value>目录</value><description&g...

2019-08-24 11:11:37

liunx中安装mySql +为hive配置mysql

1.首先准备安装包2.首先检查liux中是否安装mysqlrpm -qa | grep mysql3.如果存在,则按照显示的名称进行删除rpm -e --nodeps 名称4.安装myslq 服务器1.安装mysql 服务器rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm2.查看产生的随机密码cat /root/.m...

2019-08-24 10:28:34

NameNode故障处理

NameNode故障后,可以采用如下两种方法恢复数据。方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;1. kill-9 NameNode进程2.删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)rm -rf /opt/module/hadoop-2.7.2/data...

2019-08-18 12:15:38

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。