• 等级
  • 3112 访问
  • 18 原创
  • 3 转发
  • 437046 排名
  • 0 评论
  • 3 获赞

windows+pycharm搭建spark开发环境

windows+pycharm搭建spark开发环境创建python文件点击file>>setting>>Project:PythonProject>>ProhjectStructure添加pyspark.zip和py4j包到项目中(这两个文件在spark安装包的D:\apps\spark-2.3.2-bin-hadoop2.7\pyt...

2019-04-30 15:00:41

hive表中array类型数据处理(行列转换)

hive表中array类型数据处理hive表中数据如下:1["20170101","20170102","20170201","20170203"]2["20170102","20170102","20170201"]3["20170104"]2["20170201&quot

2018-11-23 17:17:55

Numpy基本用法

文章目录一、Numpy基本用法二、Numpy创建数组1.使用np.array()由pythonlist创建2.使用np的routines函数创建2.1np.ones()2.2zeros()2.3np.full()2.4np.eye()2.5np.linspace()2.6arange()2.7randint()2.8randn()正太分布2.9normal()正太分布2....

2018-10-26 17:31:10

Numpy基础入门

文章目录Numpy基础入门Numpy创建数组Numpy查看数组属性数组元素个数数组形状数组维度数组元素类型快速创建N维数组Numpy的ndarray:多维数组对象创建随机数组np.randomNumpy计算条件运算统计运算指定轴最大值amax(参数1:数组;参数2:axis=0/1;0表示列1表示行)指定轴最小值amin指定轴平均值mean方差std数组运算数组与数的运算矩阵运算np.dot()...

2018-09-20 15:38:55

9、Python字典

Python字典访问字典里的值修改字典删除字典元素字典键的特性字典内置函数&方法Python字典字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值(key=>value)对用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中,格式如下所示:d={key1:value1,key2:v...

2018-09-17 18:16:10

8、Python元组

Python元组访问元组修改元组删除元组元组运算符Python表达式结果描述len((1,2,3))3计算元素个数(1,2,3)+(4,5,6)(1,2,3,4,5,6)连接[‘Hi!’]*4[‘Hi!’,‘Hi!’,‘Hi!’,‘Hi!’]复制3...

2018-09-17 17:47:20

7、Python列表

Python列表Python包括了大量的复合数据类型,用于组织其他数值。最有用的是列表,即写在方括号之间、用逗号分隔开的数值列表。列表内的项目不必全是相同的类型。>>>a=['spam','eggs',100,1234]>>>a['spam','eggs',100,1234]>>&am

2018-09-17 17:45:58

6、Python字符串

Python字符串Python字符串除了数字,Python也能操作字符串。字符串有几种表达式,可以使用单引号或双引号括起来:>>>'spameggs''spameggs'>>>'doesn\'t'"doesn't">>>&am

2018-09-17 17:44:35

5、Python数字(Number)

数字(Number)Python数字运算数字(Number)Python数字运算Python解释器可以作为一个简单的计算器:您可以在解释器里输入一个表达式,它将输出表达式的值。表达式的语法很直白:+、1、*和/和在许多其他语言(如[Pascal或C)里一样;括号可以用来为运算分组。例如:>>>2+24>>&g...

2018-09-17 17:43:48

4、Python运算符

运算符Python算数运算符Python比较运算符Python赋值运算符Python逻辑运算符Python成员运算符Python身份运算符Python运算符优先级运算符Python语言支持以下类型的运算符:算数运算符比较(关系)运算符赋值运算符逻辑运算符位运算符成员运算符身份运算符运算符优先级接下来让我们一个个来学习Python的运算符...

2018-09-17 17:42:45

3、Python注释

Python注释Python注释确保对模块,函数,方法和行内注释使用正确的风格:Python中的注释有单行注释和多行注释:Python中单行注释以#开头,例如:#!/usr/bin/python3#config=utf-8#这是一个注释print('helloPython!')多行注释用三个单引号(”’)或者三个双引号(”“”)将注释括起来,例...

2018-09-17 17:39:56

2、Python解释器

Python解释器交互式编程脚本式编程Python解释器Linux/Unix的系统上,Python解释器通常被安装在/usr/local/bin/python3.x这样的有效路径(目录)里。我们可以将路径/usr/local/bin添加到您的Linux/Unix操作系统的环境变量中,这样您就可通过shell终端输入下面的命令来启动Python。py...

2018-09-17 17:12:19

1、基本数据类型

数据类型Numbers(数字)String(字符串)List(列表)Tuple(元组)Sets(集合)Dictionaries(字典)数据类型python的六个标准内置对象数字1234,3.1415,3+4j,Deciaml,Fraction字符串‘spam’,”guido’s”列表...

2018-09-13 14:53:46

Linux常用命令(持续更新。。。)

Linux文件的分割与合并Linux文件的分割与合并1、分割--split命令可以指定按行数分割和按字节大小分割两种模式。(1)按行数分割#每300行一个文件split-l300large_file.txtnew_file#加上-d,使用数字后缀;加上--verbose,显示分割进度:split-l300large_file.txt...

2018-06-28 17:12:05

Linux脚本删除空行或者空格的方法

Linux系统利用脚本删除空行的4种方法用tr命令cat文件名|tr-s‘\n’用sed命令cat文件名|sed‘/^$/d’用awk命令cat文件名|awk‘{if($0!=””)print}’cat文件名|awk‘{if(length!=0)print$0}’用grep命令grep-v“^$”文件名Linu...

2018-06-28 16:59:24

hive常见问题(持续更新。。。)

1.在进行insertselect操作的时候报如下错误Causedby:org.apache.hadoop.hive.ql.metadata.HiveFatalException:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximum...

2018-06-14 16:23:06

hive性能优化

1.概述2.影响性能的根源3.配置角度优化3.1列裁剪3.2分区裁剪3.3join操作3.3.1join原则3.4mapjoin操作3.5groupby操作3.6合并小文件4.程序角度优化4.1熟练使用SQL提高查询4.2无效ID在关联时的数据倾斜问题4.3不同数据类型关联产生的倾斜问题4.4利用Hive对unionall...

2018-06-14 16:08:22

Hive的数据压缩

Hive的数据压缩apahce官方提供的hadoop安装包不支持数据的压缩,所以需要编译hadoop源码hadoop源码编译方法:1.安装sanppy压缩库2.编译hadoop2.x源码3.mvnpackage-Pdist,native-DskipTests-Dtar-Drequire.snappy4.编译完成后,将hadoop-2.x/target/hadoop-2...

2018-06-14 15:24:20

hive基本语法

1.Hive中数据库的基本操作1.1Create/Drop1.2createtable2.hive数据加载或导出2.1hive表加载数据2.2hive表导出数据3.Hive中的查询语句4.Order,Sort,Cluster,andDistributeBy区别1.Hive中数据库的基本操作1.1Create/DropCREA...

2018-06-14 15:19:58

Git使用

Git教程Git简介Git安装创建版本库时光穿梭机Git教程Git简介Git安装Linux上安装GitCentOSyuminstallgitUbuntuapt-getinstallgitWindows下安装Git在Windows上使用Git,可以从Git官网直接下载安装程序,(网速慢的同学请移步国内镜像),然后按默认选项安装即可.安装完成后,在开始菜单里找到“

2017-12-19 14:14:47

Mars_sock

关注
  • 计算机软件/数据分析
  • 中国
奖章
  • 持之以恒
  • 勤写标兵Lv1