自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

神是念着倒

bigdata coder

  • 博客(130)
  • 资源 (1)
  • 收藏
  • 关注

原创 Python虚拟环境-使用指南(含Sublime Text 3如何使用Virtualenv插件)

Python虚拟环境一般有两种方式: ①在Python3.3之前,使用第三方实用工具virtualenv创建。 ②pyvenv。Python3.3以后的版本自带的通过venv模块 支持的原生虚拟环境。3.3的虚拟环境不包含pip,不过3.4改了此缺陷。pyvenv可完全代替virtualenv。1、vitualenv虚拟环境 是Python解释器的一个私有副本,在这个环境中我们可以...

2018-07-30 18:11:08 11212 1

原创 Python 3.x | 史上最详解的 导入(import)

win10+Python 3.6.3 一、理解一些基本概念 1、包、模块 模块 module:一般情况下,是一个以.py为后缀的文件。其他可作为module的文件类型还有”.pyo”、”.pyc”、”.pyd”、”.so”、”.dll”,但Python初学者几乎用不到。 module 可看作一个工具类,可共用或者隐藏代码细节,将相关代码放置在一个module以便让代码更好用、易懂,让cod...

2018-07-27 15:05:02 246790 8

原创 Python3 | vscode配置环境

vscode配置python3运行环境

2022-12-30 16:27:13 1765 1

原创 Linux | 定时任务:crontab实践 执行定时任务、发送执行结果或文件至邮箱

crontab定时任务实践,任务执行情况发送至邮箱

2022-04-17 23:31:27 1866

原创 Python 3.x | 【初见】数据可视化(视觉化)工具之绘图:matplotlib(区别:numpy、scipy、pandas、matplotlib)

matplotlib

2019-12-19 14:52:13 846 1

原创 通俗理解:Logistic Regression【学习笔记】

Logistic Regression,逻辑回归,对数几率回归,逻辑斯蒂回归

2019-12-16 22:58:14 1002

原创 在很多项目中看到的.xml文件什么鬼?

xml

2019-11-25 11:18:33 814

转载 OLTP和OLAP有何区别?

OLTP和OLAP有何区别?

2019-11-14 15:33:49 11897

原创 linux三剑客:sed (增加、删除文本某行等等操作)

sed

2019-11-11 16:11:30 298

原创 linux三剑客之一:awk

linux awk命令

2019-11-11 15:50:05 216

原创 【解决】Windows10更新后,VMware Workstation Pro无法在windows上运行

windows10更新后,VMware Workstation Pro无法在windows上运行

2019-10-19 13:38:58 3244 3

原创 Hive -【group by】深刻理解,以及数据倾斜、与distinct区别(去重统计)

Hive【group by】深刻理解

2019-09-21 22:33:45 3506

原创 Hadoop 2.7.3起,HDFS block大小为128M的考量

Hadoop 2.x HDFS block大小为128M的考量

2019-09-03 18:16:53 1505

原创 一次认识一个Linux命令【系列】:cat命令(& tac命令)

认识linux cat命令

2019-08-31 15:47:43 654

原创 CentOS_7安装python2.x和python3.x

linux-CentOS 7上python安装相关的 安装、卸载 两个版本

2019-08-19 23:51:01 606

原创 【已解决-最全分析】zookeeper启动后,zkServer.sh status报错:Error contacting service. It is probably not running

zookeeper启动后,zkServer.sh status报错:Error contacting service. It is probably not running

2019-07-30 15:28:25 4638 3

原创 [zookeeper] -01:安装和配置

zookeeper安装和配置

2019-07-30 14:58:02 178

原创 【已解决】CentOS 7-无法重启网络,systemctl status network.service报错:code=exited, status=1/FAILURE

code=exited, status=1/FAILURE

2019-07-30 12:04:50 14150 2

原创 [Flink] 01 -flink-1.4.0安装与配置

flink 1.4.0 安装与配置,启动与关闭flink集群

2019-07-21 02:38:17 397

原创 Hbase1.3.1安装与配置

hbase安装与配置

2019-07-21 01:45:05 1656

原创 windows 10安装和配置Scala

windows 10下安装和配置scala-2.11.4

2019-07-12 22:22:36 751

原创 windows 10安装和配置JDK8

jdk8安装和配置详解

2019-07-12 20:06:00 2989 1

原创 [已解决]hive启动时,报错:org.apache.hadoop.ipc.RemoteException...Name node is in safe mode

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/a8ec83f9-45e3-4182-ac3f-8e9c9fa5c184. Name node is in safe mode.

2019-07-12 16:07:58 2120

原创 [已解决]hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

2019-07-02 15:24:11 43009 21

原创 [1]Hadoop 2.x-hadoop fs常用命令、hadoop目录结构简介

hadoop 2.x的常用Shell命令、以及目录结构简介

2019-06-30 01:08:26 3440

原创 [Spark] 01 - 安装与配置、简要认识目录结构

spark-2.0.2的安装和配置、并且认识其目录结构

2019-06-22 12:39:08 687

原创 [Hive] 07 - HQL:数据检索-查询(select)

本文将围绕【select from】简要讲述Hive QL如何对数据进行检索,以及对数据进行排序、聚合、连接等等操作

2019-06-20 15:34:13 1129

原创 [Hive] 08 - 内建操作符、函数(UDF)

本文将围绕Hive QL内建操作符 和用户自定义函数:内置函数、聚合函数、表生成函数

2019-06-19 19:56:36 648

原创 [Hive] 06 - HQL:数据操纵语句(DMS=DML+Import/Export)

在Hive中,Data Manipulation Statements-数据操作语句主要针对表中数据进行操作,比如插入、更新、删除等。以及数据的导出、导入操作。

2019-06-17 16:30:46 1086

原创 [Hive] 04 - HQL:数据定义(DDL)上-【数据库和表】

DDL(Data Definition Language,数据定义语言),用于创建数据库中的各种对象,如:数据库、表、视图等。本文将讲述Hive QL DDL的各种操作

2019-06-17 00:45:12 1078

原创 [Hive] 05 - HQL:数据定义(DDL)下-【视图、索引、宏、函数等】

全文关于Hive QL的数据定义语言(DDL)第二部分:创建、删除、修改、描述-【视图、索引、宏、函数等】

2019-06-17 00:41:16 622

原创 【已解决】Hive启动后报错:FAILED: LockException [Error 10280]: Error communicating with the metastore

Hive,解决报错:ERROR [main]: metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(159)) - MetaException(message:Unable to update transaction database com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.txns' doesn't exist

2019-06-15 17:38:05 7395 3

原创 [Hive] 01 - 安装、配置、初步使用、搭建hwi

Hive安装指南

2019-06-13 01:28:50 450

原创 [Hive] 03 - 基础知识之【数据类型、文本文件数据编码、文件存储格式、读时模式】

环境宿主机:Windows 10 64_bit虚拟机:VMware pro 12CentOS 7.5 64_bitHadoop-2.6.5MariaDB-5.5.60Hive 1.2.2SecureCRT 7.3目录0、Hive-数据类型----0.0 基本(数据)类型(Primitive Types)----0.1 复杂/集合(数据)类型(Complex Typ...

2019-06-12 21:45:14 957

原创 [Hive] 02 - 基本操作之【命令行和CLIs】

环境宿主机:Windows 10 64_bit虚拟机:VMware pro 12CentOS 7.5 64_bitHadoop-2.6.5MariaDB-5.5.60Hive 1.2.2SecureCRT 7.3目录正文0、命令行任何在Hive交互式shell窗口【以后简称为:Hive shell窗口】 (Hive CLI和Beeline)、终端执行的...

2019-06-12 16:27:44 1511

原创 在CentOS 7上通过tar.gz包安装MySQL 5.7.26(非yum或rpm)

在CentOS 7上通过tar.gz包安装MySQL 5.7.26(非yum或rpm)

2019-06-06 02:42:43 2420 1

原创 Linux-硬链接、软链接概念、区别

理解 Linux 的硬链接与软链接:写得特别好Linux软链接硬链接的区别

2019-06-05 16:07:58 341 1

原创 [Hive] 00 - 理论知识:概念、发展历程、原理简介、学习指南

Hive

2019-06-04 23:26:20 777

原创 认识XML:概念、语法、实例(Hadoop读取core-site.xml中数据的机制)

提出问题:在搭建Hadoop集群时,第一个配置的文件是:hadoop-2.6.5/etc/hadoop/core-site.xml,添加RPC配置。[root@master hadoop]# vi /opt/bigdata/hadoop-2.6.5/etc/hadoop/core-site.xml<configuration> <property> ...

2019-06-04 18:44:30 2104

原创 【Linux】vim(vi)常用操作

所有的Unix Like系统,都会内建vi文书编辑器,但其他的编辑器则不一定会存在哦。但 目前常用的是vim编辑器(由vi发展而来的加强版、升级版):对比vi的优点or区别语法加亮易用性对vi完全兼容vi 适合文本编辑;vim适合coding,当然还能文本编辑vim可用于其他操作系统(windows/macos)所以,不用理会vi,【学习vim就能解决一切】,无需关注vi,无需纠...

2019-06-03 18:39:40 927

Maven3插件

eclipse-maven3-plugin,Maven插件

2017-06-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除