3 千锋教育官方博客

企业博客

我要认证

千锋教育一直秉承“做真实的自己,用良心做教育”的理念,致力于打造IT教育全产业链人才服务平台。面授课程包含HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、云计算+信息安全培训、全栈软件测试培训、大数据+人工智能培训、物联网+嵌入式培训、Unity游戏开发培训、区块链、PHP全栈+服务器集群培训、网络安全、红帽RHCE认证,采用全程面授高品质、高体验培养模式,教学大纲紧跟企业需求,拥有全国一体化就业保障服务,成为学员信赖的IT职业教育品牌。

等级
TA的排名 873

疯狂Hadoop之高可用集群搭建(二)

Hadoop3集群高可用搭建HDFS-HA概述1)所谓HA(high available),即高可用(7*24小时不中断服务)。2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。4)NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要升级,包

2020-07-13 10:48:59

疯狂Hadoop之HDFS应用开发(四)

HDFS基本原理Namenode概述namenode是HDFS核心namenode也称为masternamenode仅存储HDFS的元数据,文件系统中所有文件的目录树,并跟踪整个集群中的文件namenode不存储实际数据或数据集。数据本身实际存储在datanode中namenode知道HDFS中任何给定文件的块列表及其位置,使用此信息namenode知道如何从块中构建文件namenode并不持久化存储每个文件中各个块所在的Datanode的位置信息,这些信息会在系统启动时从数据节

2020-07-13 10:48:55

疯狂Hadoop之HDFS常用Shell命令(三)

HDFS入门HDFS基本概念HDFS介绍HDFS是Hadoop Distribute File System的简称,意为:Hadoop分布式文件系统,是Hadoop核心组件之一,作为最底层的分布式存储服务面存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的拓展能力HDFS设计目标硬件故障是常态,HDFS将由成百上千台服务器组成,每一个组成部分都有可能出现故障,因此.

2020-07-13 10:48:50

疯狂Hadoop之MapReduce工作机制(六)

Writable序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持久化数据,转换成内存中的对象。Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,header,继承体系等),不便于在网络中高效传输。所以,hadoop自己开发了一套序列化机制(Writable),精简、高效。常用数据序列化类型常用的数.

2020-07-13 10:48:45

疯狂Hadoop之MapReduce入门(五)

MapReduce计算模型框架MapReduce计算模型介绍Hadoop MapReduce设计构思MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上。既然是做计算的框架,那么表现形式就是有一个输入(input),MapReduce操作这个输入(input),通过本身定义好的计算模型,得出一个输出(output)。对许多开发者来说,自己完完全全实现一个并行计算程序难度太大,而Map

2020-07-13 10:48:06

Photoshop 2020 新增功能大揭秘

Photoshop 2020 安装环境[软件大小]:1.88 GB[安装语言]:简体中文[安装环境]:Windows10 64位系统(点击我的电脑,鼠标右键打开属性可查看有关计算机的基本信息。)温馨提示:1.安装之前请先彻底关闭杀毒软件(360安全卫士/电脑管家/金山杀毒/Windows Defender杀毒等),防止安装过程中因杀毒软件拦截重要文件导致破解失效,特别是微软自带的Windows Defender杀毒软件。2.安装之前请先断开网络,避免卡在启动安装程序界面。Ph..

2020-07-10 11:17:48

疯狂Hadoop之分布式集群搭建(一)

Hadoop3集群搭建Hadoop简介Hadoop是apache旗下一个用java语言实现的开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量的计算机集群上对大型数据集进行分布式处理Hadoop组件核心有HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架):解决海量数据计算Hadoop特性优点扩容能力:Hadoop是在可用的计算机集群间分配数..

2020-07-10 11:17:27

疯狂Spark之Spark集群搭建以及任务提交

集群搭建以及测试Standalone搭建在node01、node02、node03三台虚拟机上搭建spark集群下载安装包,将安装包上传到node01上并解压上传安装包解压命令:tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz修改解压包名称命令:mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0修改配置文件spark-env.sh需要修改一下几个参数SPARK_MASTER_IP:master的.

2020-07-10 11:17:14

疯狂Spark之SparkCore入门

什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是Scala编写,方便快速编程。Spark与MapReduce的区别都是分布式计算框架,Spark基于内存,MR基于HDFS。Spark处理数据的能力一般.

2020-07-10 11:16:58

Windows版本 - MySql5.7.26压缩包版本安装流程

Windows版本 - MySql5.7.26压缩包版本安装流程1. 下载和解压下载地址:https://dev.mysql.com/downloads/file/?id=4854772. 解压后的文件3. 环境变量配置第一步:拷贝路径​ 解压包文件夹下:bin文件夹目录拷贝全路径;C:\mysql-5.7.26-winx64\bin第二步:添加到系统Path路径中4. 安装和配置文件第一步:手动在bin目录中新增my.ini...

2020-07-10 11:16:36

现在从零学Python:第十一课-常用数据结构之列表

接着上期的Python教程讲,视频教程你们私我要的,整理出来了:Python 900集全套视频教程(全家桶)https://pan.baidu.com/s/1cU5lDWq9gh0cQ7hCnXUiGA,你们好好学。在开始本节课的内容之前,我们先给大家一个编程任务,将一颗色子掷6000次,统计每个点数出现的次数。这个任务对大家来说应该是非常简单的,我们可以用1到6均匀分布的随机数来模拟掷色子,然后用6个变量分别记录每个点数出现的次数,相信大家都能写出下面的代码。import random​.

2020-07-09 15:49:42

从零开始学Python:第十课-函数和字符串的应用

接着上期的Python教程讲,视频教程你们私我要的,整理出来了:Python 900集全套视频教程(全家桶)https://pan.baidu.com/s/1cU5lDWq9gh0cQ7hCnXUiGA,你们好好学。前面两节课,我们介绍了函数和字符串。在讲解今天的内容之前,先来回答一个可能会让大家感到费解的问题:为什么字符串类型(str)可以通过调用方法的方式进行操作,而之前我们用到的数值类型(如int、float)却没有可以调用的方法。在Python中,数值类型是标量类型,也就是说这种类型的变量没有可

2020-07-09 15:45:12

从零开始学Python:第九课-常用数据结构之字符串

接着上期的Python教程讲,视频教程你们私我要的,整理出来了:Python 900集全套视频教程(全家桶)https://pan.baidu.com/s/1cU5lDWq9gh0cQ7hCnXUiGA,你们好好学。第二次世界大战促使了现代电子计算机的诞生,世界上的第一台通用电子计算机叫ENIAC(电子数值积分计算机),诞生于美国的宾夕法尼亚大学,占地167平米,重量27吨,每秒钟大约能够完成约5000次浮点运算,如下图所示。ENIAC诞生之后被应用于导弹弹道的计算,而数值计算也是现代电子计算机最为重要

2020-07-09 14:58:22

从零开始学Python:第八课-函数和模块

在讲解本章节的内容之前,我们先来研究一道数学题,请说出下面的方程有多少组正整数解。你可能已经想到了,这个问题其实等同于将8个苹果分成四组且每组至少一个苹果有多少种方案,因此该问题还可以进一步等价于在分隔8个苹果的7个空隙之间插入三个隔板将苹果分成四组有多少种方案,也就是从7个空隙选出3个空隙放入隔板的组合数,所以答案是组合数的计算公式如下所示:根据我们前面学习的知识,可以用循环做累乘来计算阶乘,那么通过下面的Python代码我们就可以计算出组合数的值,...

2020-07-09 14:55:32

Mac版本 - 2020最新版Intellij IDEA 新手开发环境安装使用教程

前言Hello,各位看官,您是不是决定要学习Java,您是不是现在正在“学”与“不学”的边缘左右徘徊,让我来猜猜,你遇到什么困难,是不是不知道从何处下手。嘿!就凭着您在众多词条当中找到了我,也不能让您白来这一会。所谓"工欲善其事必先利其器" ,学Java就像是打仗,如果你要是没有一件趁手的兵器,那你就等着吃败仗喽!所以打仗前,一定要选好装备,否则,您可能……“落地成盒”。千锋实践训练营为您提供最好用、最完整的开发工具。目录一、开发工具下载二、安装过程(包括激活)三、使用IDE..

2020-07-09 10:06:55

python基于SMTP实现可视化邮件发送

python基于SMTP实现可视化邮件发送今天无敌哥带大家来实现一下通过python程序来发送邮件。环境:python3.8 pycharm首先我们先来说一下SMTP,SMTP是发送邮件的协议,Python内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及附件邮件,python对SMTP支持有smtplib和email两个模块,email负责构造邮件,smtplib负责发送邮件。第一步:因为后续我们需要用到一个qq邮箱的授权码所以接下来我们来获取一下授权码,方法如下1)先登录到自

2020-07-09 10:08:05

JDK安装与环境变量配置

JDK14安装与环境变量配置Hello,各位看官,您是不是决定要学习Java,您是不是现在正在“学”与“不学”的边缘左右徘徊,让我来猜猜,你遇到什么困难,是不是不知道从何处下手。嘿!就凭着您在众多词条当中找到了我,也不能让您白来这一会。在这里,我将带您入门。想要入门学习Java,您就做好打仗的准备就好啦,打仗前,一定要选好装备,否则,您可能……“落地成盒”。您的基础装备叫做JDK。本篇文件将为各位看官介绍JDK14的安装及配置步骤,对于“新手”的您,可能不知道14是什么意思,这里给您..

2020-07-09 10:07:48

物联网开发基础环境搭建 - 虚拟机入门级完整版

目录:一、物联网软件介绍及安装二、物联网网络配置三、物联网软件使用及开发流程四、软件安装过程中常出现的问题五、视频及软件下载资源一、物联网软件介绍及安装:1.虚拟机--虚拟的电脑,用来承载开发环境的VMworkstation双击安装,如果电脑安装后不可使用,请更新至15版本即可。2.Ubuntu--操作系统,进行开发的主环境,操作系统。将其压缩包解压到本地即可。3.Sublime--编辑器,双击运行即可,如果提示有需要add添加库的请打对号。并且Sublime分为

2020-07-09 10:07:16

带你从零学大数据系列之数据库篇---第一章:MySQL基础

一. 课前提示1. 知识点1. 数据库的相关概念2. MySQL的安装与卸载3. 登陆与服务4. SQL的分类5. DML操作6. DQL操作7. 约束8.数据库的备份和恢复2. 教学重点1. 数据库的相关概念2. DML操作3. DQL操作4. 约束二. 正课内容第一章 SQL简介及安装1.1 简介数据库(Data Base,简称DB):长期保存在计算机的存储设备上,数据按照一定的规则组织起来,可以被各种用户、应用共享的数据集合。数据库管理系统(

2020-07-09 10:06:41

大数据BI可视化应用介绍

1、大数据行业1.1 大数据常见行业-- 政府 少-- 教育(线下、线上) 多-- 医疗(疫情、制药、基因) 少-- 交通(地铁、铁路、民航、公路交通) 少-- 旅游 多-- 健康(运动、在线健康) 中 -- 能源(水、电、煤、矿) 少-- 金融(银行、保险、证券、股票) 少-- 房地产 多-- 汽车 多 -- 制造 少-- 农业 少-- 养殖业 少-- 公安 少-- 法律 少-- 军事 少-- 航天 少-- 电商 多(推荐深

2020-07-08 10:43:02

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。