自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 资源 (6)
  • 收藏
  • 关注

原创 Adobe Premiere Pro 2020(Pr)安装后出现系统兼容性报告问题

问题描述:安装好Adobe Premiere Pro 2020,启动程序时发现弹出系统兼容性报告,提示不支持的视频程序驱动。详情如下图:解决方案:1. 点击修复按钮,进入到NVIDIA官网:https://www.nvidia.com/Download/index.aspx?lang=cn2. 按照自己显卡类型进行填写,可以参照上图的信息,我得显卡选择的NVIDIA GeForce MX1503. 注意:在下载类型里面,先选择Studio驱动程序,如果搜索到,则下载这个,如...

2020-09-06 21:25:24 17699 2

原创 获取微信公众平台数据操作

若调用微信接口,需要获取access_token的值,这个值相当于一把钥匙,通过它可以调用微信公众平台的各种接口。access_token也是有时限的。access_token的有效期目前为2个小时,需定时刷新,重复获取将导致上次获取的access_token失效。一、登录微信公众平台输入用户名和密码进入平台。二、获取AppID和AppSecret的值在平台最左侧找到 开...

2019-07-25 17:34:11 974

原创 Linux—LVM命令

目录一、查看卷组信息二、新建一个分区partition三、创建物理卷pv四、创建卷组vg五、查看vg可用空间六、建立逻辑卷lv七、建立文件系统八、建立挂载点九、挂载存储十、修改fstab配置文件实现自动挂载十一、卸载卷组的逻辑卷lv十二、删除逻辑卷lv十三、删除卷组vg十四、删除物理卷pv十五、编辑/etc/fstab,删除对应挂载信息...

2019-07-17 11:42:06 1418

翻译 Logstash的介绍与使用

一、Logstash介绍Logstash是开源的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到Elastic search。Elastic search是主流的分布式大数据存储和搜索引擎。二、Logstash的工作原理Logstash时间处理管道又三个阶段:输入-->过滤器-->输出。输入生成时间,过滤器修改他们,输出将他们发送到其他地方。输入...

2019-06-24 15:07:27 617

原创 Hive安装中元数据初始化遇到的坑

背景:在已经部署了hadoop的linux中,安装hive,并元数据用MySQL数据库。hive-default.xml.template 是坑中之最。1.需要修改文件名。注意!这个文件名需要改。cp hive-default.xml.template hive-site.xmlcp beeline-log4j2.properties.template beeline-...

2019-05-29 10:55:26 4169 4

原创 IDEA搭建hadoop开发环境

准备工作:1、在官网下载hadoop包 https://hadoop.apache.org/releases.html2、有两个包,hadoop-2.8.4.tar.gz 是hadoop安装包 ; hadoop-2.8.4-src.tar.gz 主要是开发环境需要的lib的jar包。3、需要安装JDK,并配置环境变量。配置的时候,需要注意,安装时候有jd...

2019-05-21 15:38:10 4571

原创 It looks like you are making an HTTP request to a Hadoop IPC port. 报错

报错描述:It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.在hadoop伪分布式搭建完成,发现浏览器报以上错误。报错原因:网址输入有误。报错网址:hdfs:/...

2019-05-21 15:20:56 6692

原创 Azkaban的介绍、安装与使用

目录1、概述1.1、为什么需要工作流调度器1.2、工作流调度实现方式1.3、常见工作流调度系统1.4、各种调度工具对比1.5、azkaban与oozie对比1.6、azkaban介绍2、azkaban安装部署2.1、准备工作2.2、安装说明2.3、安装Azkaban Web服务器2.4、安装Azkaban Excutor服务器2.5、安装Azka...

2019-05-12 20:59:17 1243

原创 选azkaban还是oozie?各种调度工具对比

各种调度工具对比下面的表格对上述四种hadoop工作流调度器的关键特征进行了比较,尽管这些工作流调度器能够解决需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在技术选型时可供参考 特性 hamake oozie azkaban cascading 工...

2019-05-09 09:58:50 2006

原创 UE乱码问题

问题描述: 在使用ue的过程中,会出现乱码的情况。 解决方案: 在菜单栏中--高级--设置代码页/地区(G) 选择 936(ANSI/OEM-简体中文GBK)即可 ...

2019-05-08 16:58:16 3307 2

原创 运行python遇到SyntaxError: Non-ASCII character '\xe8' 报错

在执行Python代码中,出现如下报错:解决方案:在代码最上面添加如下内容:#!/usr/bin/python# -*- coding:utf-8 -*-然后就ok了。

2019-04-18 14:45:32 5037 1

转载 Linux中配置环境变量的三种方式及区别

1.修改/etc/profile文件如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。(1)用文本编辑器打开/etc/profile(2)在profile文件末尾加入:JAVA_HOME=/usr/share/jdk1.5.0_05PATH=$JAVA_HOME/bin:$PATHCLASSPATH...

2018-07-17 16:18:42 689

原创 The requested resource is not available.错误解决方法

一、报错背景在Tomcat启动的过程当中,在后台运行正常,看不出任何的问题,但是web界面,却显示这样的错误:初步认定为web界面没有启动起来。二、报错分析具体的信息需要查看启动日志,肯定会有失败的日志。具体的目录:/apache-tomcat-7.0.62/logs/catalina.当天日期.log这里面会显示详细的报错信息,如:May 14, 2018 2:41:50 PM org.apac...

2018-05-14 15:48:01 183152 15

转载 MySQL的information_schema

本篇文章转载至:https://www.cnblogs.com/shengdimaya/p/6920677.htmlinformation_schema数据库是MySQL系统自带的数据库,它提供了数据库元数据的访问方式。感觉information_schema就像是MySQL实例的一个百科全书,记录了数据库当中大部分我们需要了结的信息,比如字符集,权限相关,数据库实体对象信息,外检约束,分区,压缩...

2018-04-23 17:27:45 399

原创 安装爬虫软件Progress Telerik Fiddler Web Debugger遇到的问题

第一步:        在官网下载好Fiddler软件后,安装。第二步:        打开软件,进行设置。然后,再回到HTTPS那个选项卡,然后再点一下确定,就会出现成功的窗口。--------------------重点--------------------有时会在最后一步,点击yes之后,会出现如下错误:解决办法:    在cmd窗口中,进入到安装的目录,然后复制如下代码运行:makece...

2018-04-18 16:39:58 25864

原创 MySQL的存储引擎

MySQL当中默认的提供了9种存储引擎,但是目前比较常用的是:InnoDB、MyISAM在MySQL5.5版本之前,默认用的是MyISAM的存储引擎;在MySQL5.5版本之后,默认的是用InnoDB。这两个存储引擎的区别:表类型功能对比MyISAMInnoDB事务处理不支持支持数据行锁定不支持,只有表锁定支持外键约束不支持支持表空间大小相对小相对大,最大是两倍全文索引支持不支持count问题无还...

2018-04-17 14:43:23 209

原创 Hadoop3.X的新特性

Hadoop3.0.0版本的新特性:Java最低版本要求从Java7更改成Java8HDFS支持纠删码(Erasure Coding)引入YARN的时间轴服务v.2(YARN Timeline Service v.2)重写了shell脚本隐藏底层jar包(shaded client jars)支持containers和分布式调度MapReduce任务级本地优化支持多于两个的NameNodes改变了...

2018-04-16 17:29:39 1392

原创 Hadoop3.1.0(伪分布式)安装教程

一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台,下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括:Java必须安装。如果要使用可选的启动和停止脚本,必须安装ssh,并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外,建议安装pdsh以获得更好的ssh资源管理。三、安装软件    如果你的集群没有必要的软件,你需...

2018-04-13 17:27:41 4002

原创 Spark运行流程

运行流程:1.开发好代码以后打成jar包提交到集群上面去运行。使用的是Spark-submit脚本提交的。首先运行的就是new SparkContext()2.在SparkContext进行初始化的时候,完成了两个重要的事情:创建了DAGScheduler、TestScheduler3.TaskScheduler去向master进行注册,并进行资源申请。4.Executor启动完成以后,去向Dri...

2018-03-27 13:02:58 297

原创 Java中的接口和Scala中的特质trait

1.接口中不会有构造器,特质可以有构造器,并且在实现类继承特质的时候,先要调用特质的构造器。2.接口中不能有抽象的属性,且属性的修饰都是public static final,特质中可以抽象方法;3.Java8之前接口中不能有已经实现的方法,之后可以有default方法和静态方法,特质中可以有已实现的方法也有抽象方法。4.类实现implements多个接口,且用逗号“,”隔开,类继承extends...

2018-03-16 13:58:46 539

原创 大数据知识概览

大数据在实际操作中的用途,位置

2018-01-05 22:15:03 358

原创 Maven的介绍及使用

主要是开发中,用到的构建工具,主要是对项目构建、依赖管理、项目信息管理。

2017-12-25 20:11:18 716

原创 MapReduce典型编程场景——全局计数器

主要讲MapReduce中全局计数器的用法

2017-12-14 20:02:18 689

原创 MapReduce典型编程场景——TopN算法自定义GroupComparator

主要介绍MapReduce编程场景中TopN场景

2017-12-14 19:51:03 750

原创 MapReduce典型编程场景——多Job串联

主要说一下多job串联的使用方法

2017-12-14 19:46:10 1565

转载 Hive内置函数大全

归纳了Hive中的函数

2017-12-13 19:26:11 2145

原创 MapReduce常用三大组件

主要介绍MapReduce中的的三大组件,Partitioner分区,sort排序,Combiner局部分区

2017-12-09 14:55:33 3816

原创 MapReduce基础入门

主要介绍hadoop的计算框架MapReduce

2017-12-09 14:44:58 394

原创 Hive基础知识

初步介绍一下Hive。

2017-12-08 20:24:35 363

原创 HDFS原理剖析

主要讲HDFS运行机制,以及NameNode、SecondaryNamenode、DataNode的运行机制

2017-12-04 16:36:07 273

原创 HDFS核心设计

主要介绍HDFS设计的核心思路

2017-12-01 18:47:19 324

原创 HDFS基础使用

主要介绍hadoop中HDFS的架构,以及常用shell命令。

2017-11-30 22:14:08 490

原创 Hadoop集群搭建

主要介绍Hadoop集群的搭建

2017-11-29 14:13:08 351

原创 Hadoop体系的介绍

介绍一下大数据的情况,以及hadoop

2017-11-28 20:39:12 1009

原创 Shell操作使用技巧

介绍Shell的操作实用技巧,包括七大文本处理命令。

2017-11-27 18:19:14 370

原创 Shell编程基础

介绍了shell的基本编程语言

2017-11-24 19:34:25 394

原创 Linux高阶知识

主要讲了服务管理、在linux中安装软件的方式、进程管理等知识

2017-11-23 19:28:40 908

原创 Linux基础知识

该篇介绍了Linux常用的基础知识,包括网络管理、用户和组、用户权限等重要知识点。

2017-11-22 20:59:31 332

原创 Linux常用命令

仅归纳常见Linux的命令分类,作为后续的详细使用的索引

2017-11-20 20:51:23 311

原创 Linux初识

对Linux背景及其安装有一个简单的认识和了解

2017-11-20 19:43:11 253

sqoop-1.4.6-cdh5.5.2.tar

欢迎大家持续关注,并自行下载!谢谢 sqoop-1.4.6-cdh5.5.2.tar

2019-05-16

mysql-5.5.28-winx64(绿色版)

欢迎持续关注,并自行下载,谢谢! mysql-5.5.28-winx64(绿色版)

2019-05-16

jdk-8u91-windows-x64

欢迎持续关注并自行下载,谢谢! jdk-8u91-windows-x64

2019-05-16

Hive基本操作命令大全

该文档详细的介绍了hive的命令操作,从增删改查等方面进行整理,同时还有补充的一些命令操作。

2019-03-04

Scala学习笔记(全)

该文档详细的讲述了Scala的基础操作方法和高级使用方法

2018-01-08

JavaSE详细整理资料

该资源详细的介绍了JavaSE中的各个知识点,属于笔者自己的笔记,可以供大家参考,交流和使用。

2017-10-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除