- 博客(30)
- 收藏
- 关注
RSS订阅原创 产品经理入门：二、一个需求的奋斗史
[email protected] 2021/3/6文章目录一、从用户中来，到用户中去1.1、用户是需求之源①、人类为什么有需求②、用户VS客户③、以用户为中心的思想④、不要试图满足所有的用户1.2、打入用户内部①、体会真正的用户与描述用户②、用户研究二、需求采集的大生产运动2.1、定性的说：用户访谈①、用户访谈的常见问题与对策②、访谈技巧2.2、定量的说：调查问卷①、调查问卷的常见问题与对策②、如何设计一份调查问卷2.3、定性的做：可用性测试①、可用性测试的常见问题与对策2.4、定量的做：数据分析①、数
2021-03-06 14:06:59
606
原创 产品经理入门：一、产品、产品经理
2021/3/4 [email protected]文章目录一、和产品的渊源1.1、新生创新创业训练赛1.2、大学生创新创业训练赛二、产品三、产品经理3.1、产品经理概念的进化3.1.1、行业形态不同：成熟行业VS新兴行业3.1.2、产品形态与成本结构不同：实物VS虚拟物品3.1.3、生命周期不同：几年VS几个月3.1.4、盈利模式不同：单一卖产品赚钱VS多元盈利3.1.5、用户心态不同：花钱买VS免费用3.1.6、小结3.2、非典型产品经理3.3、管理能力3.4、入行序言： 写下这段文字时，我正在
2021-03-06 13:16:36
1291
4
原创 9_HDFS的存储策略
2020/12/17 [email protected]文章目录HDFS的存储策略一、存储类型1.1、DISK1.2、SSD1.3、RAM_DISK1.4、ARCHIVE二、存储策略2.1、COLD2.2、WARM2.3、HOT（HDFS默认存储策略）2.4、ONE_SSD2.5、ALL_SSD2.6、LAZY_PERSIST2.7、综述三、存储策略设置HDFS的存储策略一、存储类型 HDFS支持如下四种存储类型：1.1、DISK 普通磁盘(机械硬盘)1.2、SSD 固态硬盘1
2021-03-06 12:20:49
429
原创 8_HDFS的短路读机制
2020/12/22 [email protected]文章目录HDFS的短路读机制一、背景二、短路读的演进2.1、网络读2.2、HDFS-2246 不安全短路读2.3、HDFS-347 安全短路读三、HDFS安全短路读3.1、短路读共享内存3.2、短路读流程HDFS的短路读机制一、背景 Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase
2021-03-06 12:20:10
409
原创 7_纠删码
2020/11/4 [email protected]文章目录一、纠删码（Erasure Coding/EC）1.1背景1.2纠删码原理1.3块存储方式1.4NameNode端扩展1.5Client端扩展1.6DataNode扩展1.7纠删码策略1.8纠删码配置1.9使用Intel ISA-L1.10HDFS-EC子命令一、纠删码（Erasure Coding/EC）1.1背景 从存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规
2021-03-06 12:19:10
1320
原创 6_联邦-viewFs
2020/11/2 [email protected]文章目录一、Federation（联邦）1.1背景（HDFS的两个层面）1.2联邦的概念1.3联邦的优点1.4联邦的配置二、ViewFs2.1背景2.2ViewFs配置2.3路径使用的最佳实践为简写路径2.4不同命名空间建的路径重命名2.5常见问题一、Federation（联邦）1.1背景（HDFS的两个层面）命名空间：命名空间：由目录，文件和块组成。它支持所有与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录块存
2021-03-01 20:53:39
214
原创 5_HDFS常用操作指令及管理命令（权限、节点上下线、balancer、disk balancer）
2020/12/16 [email protected]文章目录HDFS常用操作指令及管理命令（权限、节点上下线、balancer、disk balancer）一、HDFS权限1.1、HDFS权限简介1.2、HDFS基本权限管理1.2.1、初始目录权限1.2.2、修改默认权限配置umask1.3、HDFSACL权限管理1.3.1、开启HDFS ACL1.3.2、HDFS ACLshell命令1.3.3、HDFS ACL权限实体类别1.3.4、HDFS ACL权限生效的算法规则二、节点上下线2.1、黑
2021-03-01 20:45:14
744
原创 5_HDFS常用操作指令及管理命令（FSCK、安全模式、配额）
2020/12/15 [email protected]文章目录HDFS常用操作指令及管理命令（FSCK、安全模式、配额）一、常用操作指令1.1、基本语法1.2、参数大全1.3、操作实例:二、FSCK2.1、基本语法2.2、参数大全2.3、操作实例查看文件中损坏的块（-list-corruptfileblocks）损坏文件的处理（-move/-delete）检查并列出所有文件状态（-files）检查并打印正在被打开执行写操作的文件（-openforwrite）打印文件的Block报告（-blocks
2021-03-01 20:44:39
590
原创 4_HDFS的HA机制（ZKFC、QJM）
2020/12/14 [email protected]文章目录HDFS的HA机制（ZKFC、QJM）一、HA（HighAvailable）概述二、HDFS-HA工作机制2.1、工作要点2.2、工作机制2.3、运行模块2.3.1、ZKFailoverController(DFSZKFailoverController):2.3.2 、HealthMonitor:2.3.3 、ActiveStandbyElector:2.3.4 、FailoverController:2.4、系统架构2.5、线程模型
2021-03-01 20:43:39
701
原创 3_HDFS读写流程及一致性模型
2020/12/7 [email protected]文章目录一、HDFS中的数据写入读出原理1.1、HDFS写数据流程1.2、HDFS读数据流程二、HDFS文件系统的一致性2.1、从客户端解读文件系统一致性2.2、从服务端解读文件系统一致性2.3、文件系统的一致性模型一、HDFS中的数据写入读出原理1.1、HDFS写数据流程hadoop fs -put /home/bduser/xxx.txt /animals/tiger/当我们执行上面这条语句时，集群将执行以下几个步骤（以一台Name
2021-03-01 20:38:24
774
原创 2_HDFS的基本架构，工作原理
2020/12/10 [email protected]文章目录HDFS的基本架构1.1、Client1.2、NameNode1.3、DataNode1.4、Secondary NameNodeHDFS的工作原理2.1、基本概念2.2、NameNode2.2.1、磁盘与内存2.2.2、NameNode运行原理2.2.3、NameNode工作原理、checkpoint合并机制2.3、DataNode2.3.1、两种文件2.3.2、DataNode工作机制2.3.3、动态服役、退役DataNode节点
2021-03-01 20:37:41
301
原创 1_Hadoop安装部署及常用配置(HDFS+YARN)
2020/12/5 [email protected]文章目录一、hadoop伪分布式集群搭建1.1、添加主机名称（ip空格机器名）1.2、为当前用户bduser101赋予root权限1.3、设置ssh无密登录1.4、关闭防火墙，并将默认状态改为关闭1.5、准备好jdk、hadoop压缩包1.6、修改配置文件1.7、格式化namenode（第一次启动集群之前格式化）二、hadoop完全分布式集群搭建2.1、创建节点2.2、网络配置(node102，node103)2.3、修改主机名(node102,
2021-03-01 20:36:32
761
原创 Hadoop性能测试-Benchmarking
2020/11/27 [email protected]文章目录Hadoop Benchmarking一、调试集群二、测试组件2.1、TestDFSIO2.1.1、向HDFS上传10个100MB的文件2.1.2、从HDFS读取10个1000MB的文件2.2、nnbench2.2.1、使用12个mapper和6个reducer创建1000个文件2.3、mrbench2.3.1、运行一个小作业50次2.4、Teragen-TeraSort-Teravalidate2.4.1、Teragen生成测试数据2
2020-12-08 15:12:18
1789
原创 0_Hadoop知识学习安排
Hadoop 序号 学习内容 1 Hadoop安装部署及常用配置（HDFS+YARN） 2 HDFS的基本架构，工作原理 3 HDFS读写流程及一致性模型 4 HDFS的HA机制（ZKFC，QJM） 5 HDFS常用管理命令的使用（FSCK、安全模式、配额、权限、节点上下线、balancer、disk balancer等） 6 HDFS联邦(viewfs、RBF) 7 HDFS纠删码 8 HDFS的短路读机制 9
2020-12-08 15:10:44
143
原创 hadoop3.X版本特性：路由器联邦
2020/11/15 [email protected]文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档)一、路由器联邦（Router-based Federation/RBF）1.1背景在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终
2020-11-30 17:27:17
2010
原创 hadoop3.X版本特性：联邦-viewFs
2020/11/10 [email protected]文章目录一、Federation（联邦）1.1背景（HDFS的两个层面）1.2联邦的概念1.3联邦的优点1.4联邦的配置二、ViewFs2.1背景2.2ViewFs配置2.3路径使用的最佳实践为简写路径2.4不同命名空间建的路径重命名2.5常见问题一、Federation（联邦）1.1背景（HDFS的两个层面）命名空间：命名空间：由目录，文件和块组成。它支持所有与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录块存储服
2020-11-30 17:26:19
572
原创 大数据学习之hadoop——11MapReduce组成结构_WordCount案例
在MapReduce程序中，WordCount案例的地位就相当于HelloWord在Java程序中的地位，虽然逻辑简单，但是该有的环节都不少。一个标准的MapReduce程序应由以下三部分组成，且通过context对象进行数据传输一. Mapper类(简称map)1、一个标准的map类需要继承org.apache.hadoop.mapreduce.Mapper类，设置四个泛型（keyin ...
2020-04-25 02:47:03
314
原创 大数据学习之hadoop——10Windows环境搭建+IDEA_maven配置
1、将hadoop.tar.gz解压解压路径为：E:\study\2020BigData\hadoopHome\hadoop把hadoop-2.6.1bin下的所有文件粘贴至解压目录下的bin下将其中的hadoop.dll文件复制到C://Windows/System32下2、修改配置文件 所有关于路径的配置都要使用 “ / ”core-site.xml<config...
2020-04-25 02:45:55
476
原创 大数据学习之hadoop——09一次完整的edits、fsimage、edits_inprogress、chkpoint、NameNode运行原理分析
分析edits、fsimage、edits_inprogress、文件系统元数据维持原理，这一篇文章就够了~本文较长的日志分析，运行分析，请耐心观看，仔细观看每一张图片中的文件后缀名截图较小，请放大网页观看，快捷键ctrl＋鼠标滚轮缩放网页大小格式化集群，启动集群此时的文件状态执行了-put和-ls操作后关闭集群此时的文件状态再次开启集群时文件状态现在执行一次滚动操作现在...
2020-03-21 00:49:40
1379
原创 大数据学习之hadoop——08NameNode、DataNode工作机制、原理
NameNode原理问题：如何存元数据？、如何保证集群的状态？1、两种文件edits：临时的操作过程数据fsimages：某一时刻的最终完整状态在hdfs文件系统开始服务时，将会读取磁盘上的一些文件、配置等等，在内存(缓存)使用这些数据原因：和磁盘多次交互会导致效率变低，从内存读取则是高效的选择在hdfs第一次启动时，会在name目录下创建edits和fsimage文件，hdfs...
2020-03-19 20:10:42
368
原创 大数据学习之hadoop——07阿里云服务器搭建集群以及遇到的问题&解决办法
0 购买完服务器可以自己改好密码1 使用MobaXtem工具连接云服务器时用的是外网ip连接2 修改/etc/hosts文件时应当写内网ip映射关系3 在配置文件中修改时涉及到本机写内网映射4 云服务器的防火墙是not running状态 不需要关闭5 在控制台的网络与安全中添加你可能会开放的端口 50070 9000等等6 在网页访问服务器上的hdfs文件系统时写法应该为...
2020-03-17 21:35:20
523
原创 大数据学习之hadoop——06HDFS文件系统读写数据流程
HDFS中的数据写入读出原理1、HDFS写数据流程hadoop fs -put /home/bduser/xxx.txt /animals/tiger/当我们执行上面这条语句时，集群将执行以下几个步骤（以一台NameNode，三台DataNode的完全分布式集群为例）1.1、客户端向NameNode发送请求：上传文件检查该文件是否存在于文件系统，如果存在，则提示该文件已经存在与目标...
2020-03-17 21:31:43
182
原创 大数据学习之hadoop——03HDFS文件系统概述
1、概念HDFS是Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。2、优点适合大数据处理：能够处理百万规模以上的文件数量（ GB、TB、PB级数据），能够处理10K节点的规模处理非结构化的数据：可处理结构化、半结构化、非结构化的数据（语音、视频、图片），80% 的数据...
2020-03-17 18:10:43
242
原创 大数据学习之hadoop——02完全分布式集群搭建
创建节点的两种方式传统使用iso镜像的方式创建多个节点以完整的原型机为基础，做克隆本文使用的方法为第二种：对已经进行伪分布式的机器(node101)进行克隆两次如何进行伪分布式集群搭建：hadoop学习之HDFS文件系统——01伪分布式集群搭建1、创建节点鼠标右键伪分机器->管理->克隆->虚拟机中的当前状态->创建完整克隆->填写虚拟机名称以及选择虚...
2020-03-15 00:22:00
271
原创 LINUX-02-LINUX常用指令+磁盘管理
LINUX常用命令1 cd 进入目录基本语法：cd … - / ~ 绝对路径 相对路径… 返回上一级- 返回上次操作的目录~ 返回home目录/ 返回根目录2.pwd 进入到目录基本语法：pwd3.touch 创建文件基本语法：touch文件名$>touch test4.cat 打印文件内容到终端，从第一行开始基本语法：cat -n 源文件 >（覆...
2020-03-14 11:35:05
181
原创 大数据学习之hadoop——01伪分布式集群搭建
hadoop学习之HDFS文件系统——01-伪分布式集群搭建1.1 HDFS文件系统中的三个角色：NameNode：主节点，存元数据，全局只有一个。DataNode：数据节点，存真实数据，全局可以有无限个。SecondoryNameNode：主节点备份节点，备份元数据，全局只有一个。（以上节点的功能作用会在后续博客中更新 +关注）1.2 伪分布搭建（一台机器充当所有节点）一台全...
2020-03-13 23:04:17
322
原创 LINUX-01-主机名-防火墙-用户-用户组-文件权限
一、修改机器名1.1说明：[hadoop@localhost Desktop]$@之前的hadoop为用户名@之后的localhost为机器名，也可以理解为IP映射地址1.2.进入到【/etc】下的hosts文件，修改IP与主机名的映射关系$>gedit /etc/hosts追加：192.168.14.39 master1.3.修改【/etc/sysconfig/network...
2019-07-24 22:05:05
156
原创 LINUX-00-VMware搭建虚拟机+网络配置
LINUX-01-VMware搭建虚拟机+网络配置1 软件要求：Vmware12.5(默认安装)+Centos6.8(桌面版)2.安装过程文件-新建虚拟机-机器名不能有_下划线3.在搭建虚拟机之前需要确保电脑开启了虚拟化参数为可用-在bois界面中可以修改LINUX文件系统功能快捷键撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Co...
2019-07-24 20:21:37
323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人