- 博客(100)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 根据条件导出某个表的insert sql脚本（mysql）
目的：通过mysqldump命令从数据库中按照条件导出某个表的数据的insert语句脚本。语句：mysqldump -h【服务器IP】 -P【端口号】 -u【用户名称】 -p【密码】 【数据库】 【表名】 --no-create-db=TRUE --no-create-info=TRUE --add-drop-table=FALSE -w "限制条件" > 【文件名】.sql其中：--no-create-db=TRUE 代表：只导出数据，而不添加CREATE DATABASE 语句。
2022-03-31 20:54:26
2246
原创 Maven项目使用SystemPath引用jar包报错：ClassNotFind
最近在做给word、ppt等加水印的一个需求，由于项目环境问题不能正常加载maven依赖，所以选择使用<systemPath>引入jar包,如下:pom中配置：<!--免费版spire，用于加水印--> <dependency> <groupId>e-iceblue</groupId> <artifactId>spire.doc.free<...
2022-02-08 22:50:41
4136
原创 Mac版VB使用NAT模式时，使用端口转发访问虚拟机
在使用mac版VB时，在NAT模式下，宿主机无法访问虚拟机。此时可以使用端口转发，实现对虚拟机的访问。1.在全局设定中，选中网络选项2.选中添加的NatNetwork,修改属性3.选中端口转发，在端口转发中配置主机IP、主机端口、子系统IP、子系统端口主机IP：为宿主机的IP主机端口：在宿主机选一个没被占用的端口号子系统IP：虚拟机的IP子系统端口：需要访问的端口，比如：22访问虚拟机命令：ssh -p 9999 [email protected]...
2021-04-25 22:52:35
1173
原创 Unable to determine input streams from QJM to [192.168.98.166:8485, 192.168.98.167:8485, 192.168.98.
2021-03-11 21:16:30,478 WARN org.apache.hadoop.hdfs.server.namenode.FSEditLog: Unable to determine input streams from QJM to [192.168.98.166:8485, 192.168.98.167:8485, 192.168.98.168:8485]. Skipping.java.io.IOException: Timed out waiting 20000ms for a qu.
2021-03-12 20:44:06
1016
转载 使用外网访问hdfs时遇到的坑
问题，在使用外网访问hdfs时，只能获取到目录信息，在读取文件的内容时，一直处于阻塞状态。开始以为是用户名的问题，于是配置了：System.setProperty("HADOOP_USER_NAME","hadoop");但是还是不行，于是百度了好多地方：https://blog.csdn.net/weixin_41350766/article/details/811113091.可以在hdfs-site.xml中配置，但是不建议，因为仅仅是测试使用。2.在使用时，添加如下代码..
2020-07-23 17:40:23
511
原创 批量爬取图片资源（以程序中的网址为例）
直接上代码吧，复制到pycharm中，install相关的库就可以直接运行！有个问题就是当我爬取了1.2GB多资源的时候，后面的图片就全部重复了不知道是为什么，也许是这个网站的资源有限！import requestsfrom bs4 import BeautifulSoupimport osimport urllib.request############批量爬取手机图片资...
2020-03-17 22:40:31
463
原创 判断一个字符串是不是数字
/** * 判断字符串是不是数字 * * @param str * @return */ public boolean isNUM(String str) { Pattern pattern = Pattern.compile("-?[0-9]+(\\.[0-9]+)?"); return pattern...
2020-03-03 16:29:16
412
原创 sql不能处理全角空格问题
空格分为全角空格和半角空格，对于全角空格sql是不能被处理的，如果sql中存在全角空格，sql将会执行失败，一般半角与全角之间的切换使用快捷键：shift+空格。写了很久的sql，第一次遇到这个坑，一直报错，被坑坏了......
2020-02-29 22:27:41
1206
原创 使用springboot遇到的问题？
在启动时报如下错误：org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWe...
2020-02-28 23:13:28
1117
1
原创 在学习Spark-Streaming时遇到一个很低级的错误
报错如下：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext at SparkStreaming.Demo01$.main(Demo01.scala:10) at SparkStreaming.Demo01.main(Demo01.s...
2020-02-15 23:34:20
269
翻译 Linux简单配置安装SVN
最好使用root权限，如果是普通用户命令前加：sudo1.首先yum安装svnyum install subversion2.准备一个文件夹，作为仓库repository,以下是我的存放目录mkdir /home/hadoop/svnsvnadmin create /home/hadoop/svn3.此时查看svn目录会见到如下配置信息：4.进入conf文件夹，...
2020-01-17 11:05:29
130
原创 运行spark-shell出现：WARN NativeCodeLoader: Unable to load native-hadoop library for your platform
在运行spark-shell时，会出现以下警告，但是不影响正常运行：WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法：修改spark/conf/spark-env.sh文件，添...
2020-01-15 10:01:35
1314
原创 在使用spark时，碰到内存不足问题
在使用spark时，默认内存的分配为1GB，但是由于学习环境有限，服务器内存太小不能满足最小内存（1GB）。当在启动spark-shell后，可能过会儿就被kill掉了，比如:scala> bin/spark-shell: line 44: 9896 Killed "${SPARK_HOME}"/bin/spark-submit --class org...
2020-01-14 16:55:58
4601
2
原创 java判断linux或window环境打开文件
poublic void openFile(String filePath){ if (osName.equals("Linux")) { try { Runtime.getRuntime().exec("gedit " + filePath); } catch (IOExceptio...
2019-12-25 16:00:46
339
原创 对一个列数据，按照需求进行分组
假如有一个需求：有288个点的值，转化为24个的值思路为每十二点求一次平均值，作为转化后24的一个点的值难点： 要求，为零的参数不假如算平均值，比如1-12，12对应的值为0，此时对应的24点的某一个值为：sum()/11表结构大概如下： ...
2019-12-09 04:15:51
490
翻译 对于n个数获取不同的组合
需求如下：假如有三个数获取不同的组合1、2、3不同的组合有1231、22、31、31、2、3Java代码实现：public<E> List<List<E>> arrangeSelect(List<E> data ) { int nCnt = data.size(); int nB...
2019-12-09 03:58:02
529
原创 购买服务器学习BigData遇到的困扰.........
十月初，在腾讯云购买了3台云服务器学习大数据，辛辛苦苦废了半天的功夫把集群（zookeeper、hadoop、hive、spark等）搭建好，但是晚上再使用的时候，反应特别慢。最后使用top命令查看cpu的使用情况发现cpu将近100%，此时意识到自己的服务器被植入了病毒！由于自己也是初次使用云服务，第一次被病毒困扰，不知道怎么应对这种事情，开始只知道重装系统，后来干脆直接把服务器都退掉了，赔...
2019-11-15 20:26:23
349
原创 Spark非高可靠集群的安装
spark的版本为：2.1.2下载地址：https://archive.apache.org/dist/spark/spark-2.1.2/分配如下：hadoop101 hadoop102 hadoop103 hadop104 master worker worker worker worker 1.首先...
2019-11-13 11:27:48
101
原创 在cenOS7中安装mysql遇到：Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/
启动mysql时，报如下异常：Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/VM_0_17_centos.pid).原因是没有初始化数据库执行命令：mysql_install_db --user=mysql --ldata=/var/lib/mysql/...
2019-10-14 14:45:09
978
3
原创 在安装mysql时，遇到缺少perl-Module问题
在centos7中安装mysql时可能会遇到缺少如下模块问题，此时使用yum安装这个模块即可！FATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db:命令：yum install -y perl-Module-Install.noarch...
2019-10-14 14:21:47
1924
原创 在centOS7中安装mysql遇到冲突
报错如下：Preparing... ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el6.x86_64 conflicts with file from ...
2019-10-14 14:06:24
217
原创 如何租用多台便宜的云服务器用来学习大数据？（腾讯云为例）
最近在腾讯云会有很多的活动，如果不是学生党或者对配置无要求的学生党可以租用一核1GB套餐，资金不足并且对配置没什么要求可以选择这个套餐：如果是未满25周岁的用户，可以租用1核2GB的校园套餐，无需进行学生认证，每月仅需10元如果仅需要一台机器，那么注册购买即可使用，如果需要多个机器可以注册多个新用户进行购买比如需要三台便宜机器，可以注册三个新用户，注册购买。多账号购买，节...
2019-10-14 10:00:49
1908
2
原创 spark-shell --master yarn-client启动遇到的
在启动是遇到如下错误：19/10/01 01:32:51 ERROR spark.SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to l...
2019-10-13 15:23:42
360
原创 在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动
19/08/31 14:49:26 INFO mapreduce.Job: map 100% reduce 0%在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动，此时成旭也不报错，在查看map的log时发现是由于mysql中设置字符长度不够导致的错误，但是错误只能在日志中看到。2019-08-31 14:49:19,803 ERROR [Thread...
2019-08-31 14:58:48
1454
原创 在运行mr时遇到的一个大坑
卡在如下状态不动：19/08/31 14:22:59 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy t...
2019-08-31 14:45:51
891
原创 hive中的参数配置方式
1．查看当前所有的配置信息hive>set;2．参数的配置三种方式 （1）配置文件方式默认配置文件：hive-default.xml用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。...
2019-08-24 11:38:38
359
原创 hive中数据仓库位置的配置
1.数据库的默认配置路径为：/user/hive/warehouse2.修改数据仓库的原始位置只需在hive-site.xml文件中配置如下信息即可：<property><name>hive.metastore.warehouse.dir</name><value>目录</value><description&g...
2019-08-24 11:11:37
1066
原创 liunx中安装mySql +为hive配置mysql
1.首先准备安装包2.首先检查liux中是否安装mysqlrpm -qa | grep mysql3.如果存在，则按照显示的名称进行删除rpm -e --nodeps 名称4.安装myslq 服务器1.安装mysql 服务器rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm2.查看产生的随机密码cat /root/.m...
2019-08-24 10:28:34
156
翻译 NameNode故障处理
NameNode故障后，可以采用如下两种方法恢复数据。方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；1. kill-9 NameNode进程2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）rm -rf /opt/module/hadoop-2.7.2/data...
2019-08-18 12:15:38
283
翻译 Fsimage和Edits解析
1.概念2.oiv查看Fsimage文件（1）查看oiv和oev命令oiv apply the offline fsimage viewer to an fsimageoev apply the offline edits viewer to an edits file（2）基本语法hdfs oiv -p 文件类型 -i...
2019-08-18 12:02:56
601
原创 Hadoop中log4j.properties配置
log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d %p [...
2019-08-18 11:01:13
1693
原创 Hive的安装
下载地址：http://hive.apache.org/downloads.html1.将下载好的压缩包进行解压tar -zxvf 文件名2.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.shmv hive-env.sh.templete hive-env.sh3.修改hive-env.sh这...
2019-08-04 18:21:13
147
翻译 什么是Hive?
Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上Hive的优缺点1.优点操作接口采...
2019-08-04 18:03:54
251
原创 Hadoop中的一致模型
文件系统的一致模型描述了文件数据读写的可见性。新建一个文件时，在文件系统中立即可见，例如：fs.creat(/test.txt),当程序运行到此，文件系统中就可以看到这个文件，但是在写入数据时，不会立即可见。前提：在程序运行未完成时，查看被创建的文件中的数据是否存在①向文件系统中写入数据，使用flush()方法时，查看文件中数据的可见性package hadoop002;im...
2019-08-04 00:40:45
182
原创 利用流读取Hadoop集群中文件的信息
pom中的配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...
2019-08-03 13:48:37
338
原创 windows中配置Hadoop环境
1.首先解压在liunx中安装的hadoop的包2.解压完成之后，将以下两个文件放入解压后handoop中的bin路径下，可以从网上搜索下载这两个文件https://github.com/SweetInk/hadoop-common-2.7.3-bin3.配置环境变量4.然后win+R测试hadoop version命令是否配置成功此时可能会出现以下错误：...
2019-08-03 11:00:54
545
原创 Linux普通用户安装JDK
1.首先将文件下载到家目录：解压：tar -xzvf记录好安装路径，在~/.bash_profile中配置jdk路径2.配置环境vim ~/.bash_profile3.保存退出，之后加载环境source ~/.bash_profile4.查看安装是否成功java -version...
2019-07-30 18:38:24
1370
原创 在Eclipse中本地运行Mapreduce
1.首先创建一个maven项目，pom.xml中的配置信息如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h...
2019-07-28 22:30:29
349
原创 SequnceFile中数据的写入和读取
Writer:Squence.Writer对象的获取方法有很多种重载方法：对于：这个方法的使用。参数分别为： FileSystem Configuration 文件的输出路径 key 和value类型的.class文件。此处键值对的处处类型不强制使用Writable类，只要能被Serializable序列化和反序列化即可。获取Writer对象和配置好参数之后，就可以根据自己的...
2019-07-27 10:09:50
382
翻译 Liunx CentOS卸载java
1.查询java安装包的名称：rpm -qa | grep java2.使用yum卸载，保证已安装yum和配置好网络yum -y remove java java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x...
2019-07-26 08:59:51
6017
mysql安装包全.zip
2019-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人