- 博客(455)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 Linux安装jdk出现“-bash: /home/hadoop/app/jdk1.8.0_162/bin/javac: cannot execute binary file”
上传jdk-8u162-linux-x64.tar.gz解压到/home/app tar -zxvf jdk-8u162-linux-x64.tar.gz -C app/修改配置文件export JAVA_HOME=/home/hadoop/app/jdk1.8.0_162export PATH=$PATH:$JAVA_HOME/bin查看jdk的版本号查看linux版本号 getconf LONG_BIT原因：位数不同造成这样的。换成版本相同的即可。..
2020-09-21 17:57:47
1219
原创 Linux中，设置了IP地址，和ifconfig中显示的地址不一样，且手动设置的IP地址不生效，重启linux生效
手动设置的地址为：ifconfig出来的地址：重启服务没有反应，
2020-09-21 10:23:27
1763
原创 RPC(Remote Procedure Call)
1.RPC是什么？RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务...
2020-01-19 17:40:57
333
原创 hdfs操作
1.新建java工程。xia2.导包。导入/share/hadoop/hdfs 下的hadoop-hdfs-2.7.7.jar包,/share/hadoop/hdfs/lib 下的所有包，/share/hadoop/common 下的hadoop-common-2.7.7.jar包 ， /share/hadoop/common/lib的所有包。package week01;im...
2020-01-19 15:40:09
227
原创 win7下搭建hadoop环境，出现ERROR namenode.NameNode: Failed to start namenode.
参考文章：https://blog.csdn.net/qq_35535690/article/details/81976032hadoop环境已配置好，在使用hadoop namenode -format 命令启动运行的时候，报错将hdfs-site.xml文件中的namenode和datanode的路径改为<configuration> <prop...
2020-01-19 13:54:33
8914
原创 hadoop下载文件出现的问题java.lang.NullPointerException
hadoop下载文件 代码如下：package week01;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.io.IOUtils;imp...
2020-01-17 18:47:42
800
原创 使用封装好的方法上传文件
package week01;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.io.IOUtils;import org.apache.hadoop....
2020-01-17 18:07:01
278
原创 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.
hadoop程序问题，出现Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.txt,expected:file:///解决方法是：①把core-site.xml文件和hdfs-site.xml文件放到src下即可。②在代码中设...
2020-01-17 17:44:37
1411
原创 HDFS（Hadoop Distributed FileSystem）
1.简介~ 高度容错性的分布式文件系统，适合部署在廉价的计算机上。~ Linux文件系统之上又构建了一个文件系统，~ 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用~ 一个树形文件系统。可以创建、删除、移动或重命名文件和目录~ 一组计算机节点组成：一个NameNode提供元数据，多个DataNode存储块~ NameNode和DataNode以管理者-工作者模式运行...
2020-01-16 17:44:54
607
原创 hadoop架构、组件
1.hadoop架构？①底层（存储）②中间层（资源及数据管理）③上层（MapReduce、Impala、Spark等计算引擎）④顶层（服务）2.Hadoop组件？①Pig和HivePig是一种编程语言，它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS上，并允许使用类似于SQL语法进行数据查询。②HB...
2020-01-16 16:29:55
418
原创 分布式文件系统
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。Google学术论文，这是众多分布式文件系统的起源==================================Google File System（大规模分散文件系...
2020-01-16 16:03:37
246
原创 大数据初识
1.大数据的类型结构？四种。①结构化数据。包括预定义的数据类型、格式和结构的数据。例关系型数据库中的数据。②半结构化数据。具有可识别的模式并可解析的文本数据文件。例自描述和具有定义模式的XML数据文件。③准结构化数据。具有不规则数据格式的文本数据，使用工具可进行格式化。例包含不一致的数据值和格式化的网站点击数据。④非结构化数据。没有固定结构的数据，通常保存为不同类型的文件。例文本...
2020-01-16 11:17:24
599
原创 hdfs实现思想（机制）及hdfs shell
hdfs的实现思想：1.hdfs是通过分布式集群存储文件，为客户端提供了一个便捷的访问方式，即虚拟的访问目录结构2.文件存储到hdfs集群中去的时候是被切分成block（文件数据）的3.文件的block存放在若干台datanode节点上4.hdfs文件系统中的文件与真实的block之间有映射关系，由namenode进行管理5.每一个block在集群中会存储多个副本，好处是可以提高数据的可...
2020-01-15 16:29:15
237
原创 java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current
初始化hadoop时出现这个问题java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current解决：①查看配置的路径，是否由于路径原因导致的。 ②权限不足。给予权限即可。我出现这个问题的原因是路径问题。修改完core-site.xml中的路径后，重...
2020-01-15 11:39:50
2426
原创 hadoop搭建伪分布式环境
1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段、子网掩码 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 ->...
2020-01-15 10:41:47
205
原创 hadoop初识
1.hadoop是什么？hadoop之父是Doug Cutting。是由很多技术框架组成的生态系统，包括数据库（nosql）。Apache开源框架集群，做分布式计算和离线运算、实时运算。受Google三篇论文启发出现的。（GFS、MapReduce、Big Table数据库） GFS、MapReduce、Hbase搜索引擎的原理？...
2020-01-14 19:14:36
237
原创 kettle单表数据迁移---只是表数据迁移
目的：将test库下的student表的数据迁移到test1数据库下的student2表中。数据库：都是mysqlstudent、student2的创建表语句：[数据是我随便填的]CREATE TABLE `student` ( `userId` int(11) NOT NULL AUTO_INCREMENT, `userName` varchar(20) DEFAULT N...
2019-09-20 15:35:24
544
原创 kettle简介及下载
企业数据仓库模型：一、Kettle简介：ETL简介ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少、介绍的ETL工具是Kettle。Kettle简介Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window...
2019-09-19 17:21:14
6495
1
原创 Kettle导入excel文件到数据库
1.下载kettle，我下了7和8两个版本，自行选择，lib下是数据库驱动包链接: https://pan.baidu.com/s/1rEvzfnmqy5dk1WHDXrjgRw 提取码: fwnv2.直接解压即可。在pdi-ce-7.1.0.0-12\data-integration\lib下放入数据库的驱动包，我这有mysql，oracle，sqlserver的包3.找到sp...
2019-09-17 16:52:42
721
原创 Python-Linux-11.SSH-高级
自己写的大纲：01确定目标/认识.ssh目录免密码登录 配置别名提示:有关SSH配置信息都保存在用户家目录下的.ssh目录下02免密码登录设置步骤免密码登录步骤：配置秘钥执行ssh-keygen即可生成SSH钥匙，一路回车即可。上传公钥到服务器执行ssh-copy-id -p port user@remote,可以让远程服务器记住我们的公钥03免密码登录工作原理...
2019-08-22 09:42:07
142
原创 Python-Linux-10.远程管理命令
自己写的大纲：01关机和重启 目标 关机/重启shutdown查看或配置网卡信息IfconfigPing远程登录和复制文件：sshscp关机/重启： 序号 命令 对应英文 作用 01 shutdown 选项 时间 s...
2019-08-21 17:25:40
218
原创 Python-Linux-9.其他命令
自己写的大纲：9.其他命令01echo和重定向echo文字内容 echo会在终端中显示参数指定的文字，通常会和重定向联合使用重定向> 和 >>Linux允许将命令执行结果重定向到一个文件 将本应该显示在终端上的内容输出/追加到指定文件中其中 >表示输出，会覆盖文件原有的内容 >>表示追加，会将内容追加到已有...
2019-07-29 08:24:31
120
原创 Python-Linux-8.文件内容命令
自己写的大纲：8.文件内容命令01cat和more的基本使用和对比 序号 命令 对应英文 作用 01 cat文件名 concatenate 查看文件内容、创建文件、文件合并、追加文件内容等功能 02 ...
2019-07-25 11:07:04
362
原创 Python-Linux-7.拷贝和移动命令
自己写的大纲：7.拷贝和移动命令01目标确定和图形界面演示 序号 命令 对应英文 作用 01 tree[目录名] tree 以树状图列出文件目录结构 02 cp 源文件 目标文件 ...
2019-07-24 21:26:35
1143
原创 Python-Linux-6.文件和目录命令
自己写的大纲：6.文件和目录命令01.明确命令分类和学习目标文件和目录常用命令目标：02.分享命令补全和命令选择技巧01查看目录内容1.1终端使用技巧03.查看隐藏文件和返回上一级目录1.2ls命令说明重点：1.以.开头的文件为隐藏文件，需要用-a参数才能显示。2. 代表当前目录 ..代表上一级目录。04.ls的列表和文...
2019-07-23 20:46:12
328
原创 Python-Linux-5.Linux命令
自己写的大纲：5.Linux命令01明确学习目标目标理解学习Linux终端命令的原因 常用Linux命令体验01学习Linux终端命令的原因[明确学习技巧]02常用Linux命令的基本使用02放大缩小终端窗口字体放大缩小终端窗口字体小技巧：03明确6个常见终端命令的操作效果04 6个常见终端命令简单演练05终端命令格式...
2019-07-23 20:37:21
348
原创 Python-Linux-4.Ubuntu图形界面基本使用
自己写的大纲：4.Ubuntu图形界面基本使用目标4.1Ubuntu的任务栏Windows任务栏的作用:windows上有任务栏,作用是打开多个窗口后,在任务栏会有相应的应用程序的图标,通过任务栏中的图标实现快速切换应用程序.Ubuntu任务栏:同windows任务栏类似4.2窗口操作按钮4.3窗口菜单条...
2019-07-22 12:51:13
792
原创 Python-Linux-3.Ubuntu系统目录结构演示和简介
自己写的大纲：3.Ubuntu系统目录结构演示和简介目的:1.windows下和Linux文件系统的区别 2.Ubuntu的注意事项3.1windows下和Linux文件系统的区别Windows文件系统:打开盘符,盘符下有很多文件夹Ubuntu文件系统:同windows系统类似.3.2Ubuntu系统的注意事项注:在Ubuntu系统下,除了家目录(h...
2019-07-22 12:47:51
254
原创 Python-Linux-2.Linux文件和目录结构
自己写的大纲：2.Linux文件和目录结构目标01单用户操作系统和多用户操作系统02Windows和Linux文件系统区别2.1Windows下的文件系统2.2Linux下的文件系统2.3用户目录2.4Linux主要目录速查表...
2019-07-22 12:46:13
188
原创 Python-Linux-1.Linux内核版及发行版
自己写的大纲：二.LinuxLinux内核版及发行版 1.1Linux内核版本1.2Linux发行版本十大Linux服务器发行版本排行榜:http://os.51cto.com/art/201612/526126.htm...
2019-07-22 12:42:04
345
原创 Pyhton-课程学习
自己写的大纲：一.课程安排1.课程安排 序号 内容 目标 01 Linux基础 让大家对ubuntu的使用能够从很陌生达到灵活操作 02 Python基础 涵盖Python基础知识，让大家掌握基础的编程能力...
2019-07-18 08:40:48
223
1
原创 Python
Pyhton是自学。学习资料:哔哩哔哩视频：Python教程_600集Python从入门到精通教程(懂中文就能学会)网址：https://www.bilibili.com/video/av14184325后期笔记是根据视频内容整理的。只为做个笔记参考。笔记中的大纲在这有所变化，我会把自己写的大纲放到笔记中去。找了一份Python学习路线图。跟课程笔记无关。...
2019-07-18 08:27:34
174
转载 对数据仓库ODS DW DM的理解
今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构 数据中心整体架构数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对...
2019-07-16 08:23:30
1461
原创 SQL Server2008r2安装
网盘地址：链接: https://pan.baidu.com/s/11pxFr-Urf9eq1hNQ_Lqzgw 提取码: vti5 复制这段内容后打开百度网盘手机App，操作更方便哦1.双击2.完成后是这样的3.点击setup.exe，4.选择“全新安装或向现有安装添加功能”5.点击确定6.在产品密钥中，输入产品密钥。GYF3T-H2V88-GRPPH-...
2019-07-15 14:11:42
223
原创 VMware Workstation Pro12安装Ubuntu16.04
网盘链接:链接: https://pan.baidu.com/s/1MMuJiJmasAU4E60Q4hhccQ 提取码: fic8 复制这段内容后打开百度网盘手机App，操作更方便哦ubuntu镜像在Linux的ISO镜像中.1.打开虚拟机VMware Workstation Pro2.创建新的虚拟机,选择自定义,点击下一步3.我已经下载了镜像,所以选择稍后安...
2019-07-12 11:06:41
310
原创 解决tomcat黑窗口一闪而过的问题
找到start.bat文件修改2处.1.把倒数第二句的start换成run2.在最后面加入pause，这个单词是防止黑窗口自动关闭的，黑窗口开启遇到意外就会停止原版tomcat8.5的start.bat文件@echo offrem Licensed to the Apache Software Foundation (ASF) under one or morerem c...
2019-06-18 18:27:23
1585
原创 Oracle 集合运算
/* 集合运算: 并集: 将两个查询结果进行合并 交集 差集 所有的查询结果可能不是来自同一张表, emp 2000年 2017年 手机 详细信息 emp2017 */--工资大于1500,或者20号部门下的员工selec...
2019-06-07 23:22:40
216
原创 Oracle rownum分页查询
/* rownum : 分页查询 在oracle中只能使用子查询来做分页查询 */--查询第6 - 第10 记录select rownum, emp.* from emp;select rownum hanghao, emp.* from emp;select * from (select rownum hanghao, emp.* from emp...
2019-06-07 23:21:55
593
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人