- 博客(47)
- 收藏
- 关注
RSS订阅
原创 [hadoop那些事]大数据综合平台——本科时期收官之作
目录一、写在前面二、软件清单三、ubuntu LTS 16.04jdk 1.8 8u162.x64一、写在前面截至大三上学期（2020年12月），本人写《hadoop那些事》系列已经有25篇了，初衷其实就是比赛时期做笔记用，因为安装hadoop及其组件需要一直保持手感，从虚拟机的ip配置到各种小错以及hadoop、mysql、sqoop、mapreduce、hbase、hive等等；后来写博客是为了帮助同学，以及缓解老师压力，这个过程是真的很磨练人，因为要从0开始，甚至虚拟机的安装，VM的安装开始，一直
2021-01-30 22:45:46
586
17
原创 [python 那些事儿]流水车间调度问题（理论待更新）
import copyimport numpy as npimport randomclass Node: def __init__(self,data,fitness): self.data = data self.fitness = fitness#种群条件数据init_data = [[1,31,41,25,30],[2,19,55,3,34],[3,23,42,27,6],[4,13,22,14,13],[5,33,5,57,19]]in
2020-11-25 09:54:06
3850
16
原创 [hadoop那些事] 高可用完全分布式集群安装
愉快的假期就要结束了一、规划二、准备四台机器三、配置HA-hadoophadoop-env.sh：core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml四、启动顺序1. 确保zookeeper启动成功2. 启动journalnode3. 格式化namenode(第一次就行)4. master同步信息slave15. 在namenode节点（其中任意一个即可）格式化zkfc6. 启动hdfs相关服务7. 启动yarn相关服务8. 启动master历史任务服
2020-08-31 16:27:30
2192
8
原创 [hadoop那些事] 全文目录——索引页
hadoop学习路线理论实践完全分布式高可用报错积累理论1.Hadoop组件介绍实践1.hadoop相关安装包 （115云盘平台）2.sqoop的安装及配置并且简单的从mysql传入hdfs中3.centos7环境下载并配置mysql，简单存储一些信息4.Flume的安装、配置 及其依赖Flume实时监控特定文件夹上传到HDFS5.创建虚拟机6.编译hadoop源码7.zookeeper安装完全分布式8.hadoop完全分布安装高可用9.hadoop高可用(HA)完全分布式安装
2020-08-31 15:15:36
501
原创 [python 那些事儿] 八数码问题(深度搜索、宽度搜索、输出最优解、提前判断无解状态！A算法！)
import numpy as npimport copyclass test: def __init__(self,initial,goals): self.initial=np.reshape(initial,(3,3)) self.goals=np.reshape(goals,(3,3)) ##初始化程序 self.open_=[self.initial] self.close_=[]
2020-10-18 09:27:28
3303
12
原创 [hadoop那些事]高可用Hbase安装
此博客的环境条件： zookeeper hadoop高可用此博客版本号为： hbase-2.3.0 Hadoop 3.1.2此博客规划：需要了解：habse与hadoop各版本的相互适用安装步骤1、在master中解压habse安装包2、配置环境变量（主hbase和备用hbase即可）#hbaseexport HBASE_HOME=/usr/hbase/hbase-2.3.0export PATH=$PATH:$HBASE_HOME/bin3、修改配置文件 hba
2020-09-22 09:16:55
458
2
原创 [hadoop那些事] 快速运行一个hadoop入门例题——wordcount
这里写目录标题背景：高可用hadoop安装完毕之后为了确认平台的可用性，所以需要快速运行一个案例，不如就拿官网的例子来吧！ 特此做个笔记~hadoop笔记及教程一、新建一个文件并写入一些单词二、创建input路径三、将test.txt传入hdfs四、运行案例一五、运行案例二背景：高可用hadoop安装完毕之后为了确认平台的可用性，所以需要快速运行一个案例，不如就拿官网的例子来吧！ 特此做个笔记~hadoop笔记及教程一、新建一个文件并写入一些单词mkdir fzyvi test.txt内容
2020-08-31 15:29:10
223
原创 [人工智能那些事] windows安装python虚拟环境
为什么需要python的虚拟环境？首先你的电脑默认的虚拟环境库太多了不好管理其次如果脱离了学习阶段，开始了进阶做项目（人工智能、django），你需要一个很简洁的环境去做项目，一个虚拟环境能解决很多报错问题。安装全程在cmd中操作先下载所需的库pip install virtualenv选好创建虚拟环境的位置创建虚拟环境virtualenv paddle_test本条命令是创建虚拟环境，paddle_test是我这个虚拟环境的名称找到对应scripts到/paddle
2020-08-05 20:18:00
552
原创 【大数据笔记】hadoop基础——各组件介绍
目录故事背景Hadoop 与大数据之间到底是什么关系？1、数据存储：HDFS，一个分布式文件系统2. 数据分析：MapReduce 计算引擎HDFS（Hadoop 分布式文件系统）MapReduce（分布式计算模型）离线计算Yarn（分布式资源管理器）Spark（内存计算）HBase（分布式列存储数据库）Hive（数据仓库）Oozie（工作流调度器）Sqoop 与 PigFlume（日志收集工具）Kafka（分布式消息队列）ZooKeeper（分布式协作服务）Ambari（大数据运维工具）摘自 高俊峰（
2020-07-31 12:26:47
842
原创 varchar与varchar2区别
在比赛数据中看到某两列数据类型为varchar2类型，查阅资料做下记录。varcharvarchar为标准sql：VARCHAR(M)是一种比CHAR更加灵活的数据类型，同样用于表示字符数据，但是VARCHAR可以保存可变长度的字符串。其中M代表该数据类型所允许保存的字符串的最大长度，只要长度小于该最大值的字符串都可以被保存在该数据类型中。varchar存放固定长度的字符串，最大长度是2000varchar对空串不处理varchar对于汉字占两个字节，对于数字，英文字符是一个字节，占的内存小
2020-06-24 10:17:29
2653
原创 [hadoop那些事]hadoop及其组件资源 115/百度云
https://115.com/s/sw3vs2x33md#bigdata访问码：j024
2020-05-15 11:14:46
300
1
原创 [hadoop那些事] 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
hadoop classpathLinux返回类似这样的代码/usr/hadoop/hadoop-3.1.2/etc/hadoop:/usr/hadoop/hadoop-3.1.2/share/hadoop/common/lib/:/usr/hadoop/hadoop-3.1.2/share/hadoop/common/:/usr/hadoop/hadoop-3.1.2/share/hadoop/hdfs:/usr/hadoop/hadoop-3.1.2/share/hadoop/hdfs/lib/
2020-05-15 11:01:25
851
1
原创 [hadoop那些事]sqoop的安装及配置，简单的从mysql传入hdfs中
基于Linux安装mysql 的传送门在这里了（注意文章结尾的权限设置）：https://editor.csdn.net/md/?articleId=106111959本文主要为学习笔记，主题为sqoop的安装和配置，顺便做一个从mysql传入hdfs的实例。本文默认安装并有一个可用mysql库表，默认mysql权限已设置，默认hadoop集群已启动（目前本人实验不是从高可用上，等有空实验好了再完善本篇文章）music:http://music.163.com/song?id=1446768955
2020-05-15 02:14:11
404
2
原创 [hadoop那些事]centos7环境下载并配置mysql
本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据一、下载wegetyum -y install wget二、下载yum repo配置文件wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装reporpm -ivh mysql57-commu
2020-05-14 09:30:17
972
1
原创 [每日推荐] notepad++ 连接上你的服务器，修改配置文件更加方便！！！高效（懒人 必备
避风港安装notepad++安装插件使用插件安装notepad++传送门：https://notepad-plus-plus.org/downloads/v7.8.1/安装插件插件下载传送门：（在notepad++上在线下载好久没有动所以手动安装）https://github.com/ashkulz/NppFTP/releases/tag/v0.29.6下载好的安装包放入这个路径（下图重启notepad++即可使用插件无非就是懒得从命令行的系统里面一个子一个子敲（复制粘贴极其不方便）下面
2020-05-13 08:04:28
599
1
原创 [hadoop]Flume的安装、配置 及其依赖Flume实时监控特定文件夹上传到HDFS
代码驿站一、简单理解作用基本构成二、Flume的安装及使用安装及配置写properties文件启动flume三、启动之后一、简单理解作用Flume提供一种分布式的，可靠地，对大量数据的日志进行高效处理，聚集，移动的服务。flume只能在Unix的环境下运行。Flume基于流式框架，容错性强，也灵活简单。Flume，Kafka用来进行数据收集的，Spart，Storm用来实时处理数据，impala用来实时查询。基本构成Source 用于采集数据，Source是产生数据流的地方，同时Sour
2020-05-11 07:47:01
2131
2
原创 [hadoop 基础] 安装虚拟机VMware15和Linux centOS (Linux 基础) 搭建你可靠的学习平台！
VMware15、Linux centOS的简单安装（学习笔记）VMware15各版本区别个人计算机的基础设置centos安装的截图说明下载地址VMware15链接：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html各版本区别CentOS-7-DVD版本：DVD是标准安装盘...
2020-04-28 22:30:45
331
1
原创 [Python 知识点]类的学习 做个儿时的小游戏
小时候和小伙伴总是玩些现在想玩又没人陪的游戏作为一个程序员来说，没有小伙伴可以new一个正巧最近在学python的类，（弟弟阶段），所以我打算用类写一个小游戏以便加深对类基础的理解游戏概述：分三组 第一组写姓名（name） 第二组写地址（where） 第三组写做什么（dowhat） 最后由一个人随机从每组抽取一个，组成语句，达到娱乐效果。直接上效果：上代码：impo...
2020-04-08 19:48:37
316
1
原创 [Python语言程序设计-第11期]测验3: 基本数据类型 (第3周)
小目录1.选择1.11.21.31.41.51.61.71.81.91.102.编程2.12.21.选择1.1pow(x, 0.5)能够计算x的平方根，计算负数的平方根将产生：复数解析：>>> pow(-1, 0.5) (6.123233995736766e-17+1j)1.2关于.strip()方法功能说明正确的是：去掉字符串两侧指定字符解析："去掉字符串...
2020-04-06 22:32:41
1176
1
原创 [hadoop 那些事] Hadoop源码的编译
文章目录1.首先新建一个干净的虚拟机2.查看编译所需配件3.进入(配件)安装步骤3.1JDK安装3.2 ant安装3.3maven 安装3.4 findbugs3.5 cmake安装3.6 protobuf安装4 编译hadoop源码千辛万苦踩了居多坑之后把hadoop安装好了，进行文件put ls 等一系列操作的时候竟然给我警告，就很烦。如下图接下来较为详细的说明一下编译hadoop源码...
2020-03-16 10:22:55
452
2
原创 [hadoop那些事]Linux的zookeeper的安装
推荐一首音乐：一些规律（许飞/姚晨） 巨好听hadoop的搭建请移步这里个人感觉还算详细吧。 还有一些基本操作此篇文章不会再做赘述。如图将zookeeper传入虚拟机中，并且解压。1.设置hosts192.168.111.147 master master.root192.168.111.137 slave1 slave1.root192.168.111.132 slave2 sl...
2020-03-14 15:21:18
629
2
原创 [Python语言程序设计-第11期]测验2: Python基本图形绘制 (第2周)
哪个选项不能正确引用turtle库进而使用setup()函数？import setup from turtle关于turtle库，哪个选项的描述是错误的？turtle坐标系的原点默认在屏幕左上角哪个选项是turtle绘图中角度坐标系的绝对0度方向？画布正右方turtle.circle(-90,90)绘制一个半径为90像素的弧形，圆心在小海龟当前行进的右侧关于tur...
2020-03-06 23:10:55
936
1
原创 [Python语言程序设计-第11期] 测验1: Python基本语法元素 (第1周)
1.Guido van Rossum正式对外发布Python版本的年份是：1991年2.以下关于Python语言中“缩进”说法正确的是：缩进在程序中长度统一且强制使用3.以下不属于IPO模型的是：Program4.字符串是一个字符序列，给字符串s，以下表示s从右侧向左第三个字符的是：s[-3]5.以下不是Python语言合法命名的是:5MyGod6.在Python中，用于获取用户输入的函...
2020-03-05 18:18:57
806
原创 [python 那些事] [初级练习] 简单爬虫 武汉加油
目标网站：https://news.163.com/special/epidemic/任务：爬取当日各地疫情基本状况适合人群：了解基本python代码，小项目实训代码如下先引入爬虫利器requests 和 数据处理小能手pandasimport requestsimport pandas as pd下面函数是获取json数据def get_page(url): heade...
2020-03-03 21:55:07
238
原创 [hadoop 的坑] 如何查看虚拟机ip network不能成功启动等情况
问题：写这篇文章只是希望告诉你不只是你一个人有这种苦难~解决办法：跟我一步步走输入ip addr上图下面部分是输入ip addr之后产生的 注意观察！这里是你MAC地址咯把他记下来先，后面用得着vi /etc/sysconfig/network-scripts/ifcfg-ens33还需要添加的是：HWADDR=你的MAC地址 就是刚才让你记下来的然后重启网络服...
2020-02-23 23:05:37
2036
原创 [hadoop 的坑] there is no HDFS_NAMENODE_USER defined
问题：ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodesERROR: Attempting to operate on hdfs datanode as roo...
2020-02-23 22:16:15
7610
原创 CentOS 7 中使用ifconfig命令发现ens33 的ip地址没有显示的解决方法
CentOS 7 中ifconfig命令显示不了ip地址的解决方法：一、在任务管理器的服务那里查看VMware NAT Service服务是否停止，若停止了，重新启动即可二、 CentOS 7 默认是不启动网卡的，可以进入配置文件查看网卡是否启动vi /etc/sysconfig/network-scripts/ifcfg-ens33将ONBOOT=yes退出后重新启动网络服务su...
2020-02-22 13:40:01
1486
原创 [hadoop 配置文件] hdfs-site.xml 有关知识点
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.name...
2020-02-21 19:36:39
573
1
原创 [hadoop 配置文件] core-site.xml有关知识点
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <...
2020-02-21 19:25:23
1232
原创 [hadoop那些事] 通过克隆虚拟机搭建hadoop集群，开启hadoop后，只出现了slave2
克隆虚拟机，配置hadoop完全分布式。每台机器都配置完静态ip，主机名，主机和ip映射。开启hadoop集群，(start-dfs.sh)，master主机上namenode和secondarynamenode，slave1主机上的datanode，slave2主机上的slave2主机上的datanode都开启了，但是在master:50070网址上live node 只有一个，这个node 是...
2020-02-21 11:03:04
510
1
原创 [hadoop 的坑] hadoop的配置文件slaves/workers
hadoop3.0以后slaves更名为workers记录一下2020年2月21日晚2：16
2020-02-21 02:16:51
4970
4
原创 [hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
在启动hadoop后，查看jps时看不到应该启动起来的东西其中一个问题是报but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes直接解决在Hadoop安装目录下找到sbin文件夹在里面修改四个文件1、对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：#!/...
2020-02-20 20:18:45
1120
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人