西方一纳子-CSDN博客

原创关于sftp限制登录默认目录若干问题

ChrootDirectory /share/sftp/test/ # 登录用户默认根目录，及upload上级目录。2、/share/sftp/test/uplaod中upload属组必须为test，且权限为：755。如上这样配置，则默认登录目录为 /share/sftp而非/share/sftp/test。4、test所属组改为其他，则默认登录位置为:/share/sftp/test。背景：某个用户仅能登录/share/sftp/test/uplaod 目录。默认进入/share/sftp。

2024-03-19 17:13:41 361

原创数据定位导航系统（系统已完成）

数据定位导航系统目录：1、产品概况 2、产品功能 3、产品演示 4、商业前景 5、产品亮点 1、产品概况背景第一波人工智能基础是互联网数据，今日头条，抖音推荐内容是互联网内容和短视频第二波人工智能基础是企业商业数据，传统公司积累多年大量专业数据未实现智...

2020-09-15 20:44:23 466

原创 hive中文乱码

create external table emp (empno int,ename varchar(64),job varchar(64),mgr int,hiredate date,sal float,comm float,deptno int ) row format delimited fields terminated by ',' location '/files'；如下：...

2020-02-03 21:02:57 143

原创 awk 获取文件大小名称创建时间

#!/bin/bashhadoop fs -ls /user/test/|awk '{printf $5" "$6"-"$7" "$8"\n" }'>> info.txt

2020-01-04 18:34:04 774

原创试述HDFS如何减轻中心节点的负担

1、HDFS的文件块为64M,该设计导致NameNode的元数据较少，减少元数据占用NameNode内存容量；2、HDFS集群只有一个名称节点，该节点负责所有数据的管理，这种设计大大简化了分布式文件系统的结构。可以保证数据不会脱离名称节点的控制；同时数据块数据不会经过名称节点，大大减轻中心服务器的负担，方便数据管理...

2020-01-04 11:58:06 4683

原创 HDFS如何探测数据错误及进行数据恢复

HDFS数据错误分三种：名称节点错误、数据节点错误、数据块错误1、数据节点错误数据节点周期性发送心跳信息给名称节点，报告数据节点的状态信息。当数据节点发生故障或者网络故障，名称节点无法收到数据节点的心跳信息，标记该数据节点为“宕机”，节点上的所有数据标记为不可读，名称节点不会像该数据节点发送如何I/O请求。该数据节点上的数据块的副本数量小于冗余因子。名称节点周期检查这种情况，一旦...

2020-01-04 11:57:41 7226

原创 HDFS数据复制技术

背景知识：1、HDFS采用多副本方式对数据进行冗余存储，即一个数块的多个副本分布到不同的数据节点上。2、集群内部发起写操作请求，把第一个副本放置在发起写操作请求的数据节点上，实现就近写入数据。如果来自集群外部写操作请求，命名空间从集群中挑选一台磁盘不太满、CPU不太忙的数据节点，作为第一个副本存放地3、第二个副本放置在与第一个副本不同机架上的数据节点上4、第三个副本放...

2020-01-04 11:39:16 2901 1

原创试述HDFS一个名称节点的优缺点

优点：1、一个名称节点，负责所有元数据的管理，简化分布式文件系统结构；可以保证数据不会脱离名称节点的控制； 2、用户数据不会经过名称节点，减轻名称节点负担，方便数据管理，数据节点扩展不会带来性能下降缺点：1、命名空间限制；命名空间中的对象如文件，目录，文件块，数据块，数据节点等这些信息占用一定字节。 NameNode保存全局命名空间，NameN...

2020-01-04 11:09:56 3620

原创试述HDFS中的名称节点和数据节点的具体功能

1、HDFS 采用主/从架构，主节点即NameNode 从节点即：DataNode2、NameNode即是模式，并完成外模式和模式之间的映像，模式和内模式之间的映像。3、NameNode存放HDFS全局命名空间，充当全局数据目录；存储全局文件系统树，目录-文件-文件块信息 NameNode存放的数据块信息是在启动时扫描所有数据节点重构；在运行过程中周期性...

2020-01-04 10:45:56 13684

原创 HDFS系统如何实现高水平扩展

HDFS三级模式：外模式，模式，内模式，采用Master/Slave设计模式，NameNode-DataNode;NameNode完成外模式和模式之间的映像，DataNode完成模式和内模式的映像；高水平扩展的高是指DataNode的透明添加和减少，以达到性能的伸缩；且不停机操作；实现1+1>2的目的；首先：DataNode会向NameNode周期性发送心跳信息，报告自己的...

2020-01-04 09:32:25 3170

原创试述分布式文件系统的设计需求

1、透明性包括访问透明性、位置透明性、性能和伸缩透明性访问透明性：用户不需要专门区分哪些是本地文件，哪些是远程文件。用户能够通过相同的操作来访问本地和远程文件资源位置透明性：不改变路径名的前提下，不管文件副本数量和实际存储位置发生何种变化，对用户而言都是透明的。性能和伸缩透明性：系统中节点的增加和减少以及性能的变化对用户而...

2020-01-02 23:53:58 4507

千里我独行