perter_L-CSDN博客

原创 Hive_udf_间断性异常

Hive UDF 不定时异常处理问题现象这段时间一直负责数据脱敏，对某些数据处理，写了一系列的udf，打成jar包上传；但是在使用的过程中，发现Hive udf函数对同一条数据作用时，有时成功，有时失败！问题分析由于对同一条数据到操作有时是成功的，所以，逻辑性肯定没有问题，逻辑上没有问题，那会不会是由于高并发造成的现象，高并发出现问题通常是非常诡异的，虽然udf一般不存...

2020-01-19 12:41:04 396

原创 Python_迭代器（Iterator）

可迭代对象（Iterable)能用for循环遍历的对象就是可迭代对象，例如： - list - tuple - dict - set - string - generator验证可迭代对象 >>> from collections import Iterable >>> isinstance('xxx',Iterable) True

2018-01-20 22:48:56 304

原创 Python_生成器（generator）

generator与list比较generator:算法实现下一个数据的输出，不调用下一个，就不执行下一个数据的运算list:直接存储于内存，所有数据都同时存在generator相较于list占用内存小创建一个简单的generator简单的generator的创建：在列表生成式的基础上将[]改为() 例如： g=(x*x for x in range(10))

2018-01-20 00:22:33 227

原创在CentOS7上安装Python3

今天准备在CentOS上安装Python3（因为我发现我的系统上只有2并没有3版本），上网发现都是先在网站上下载一个包，再解压和安装配置，我觉得非常不酷，于是就搜索到了yum安装Python3的方法 - 先安装epel-releasesudo yum install epel-release再安装python34sudo yum install python34检查

2018-01-19 21:44:46 305

原创 python_range()的参数问题

python中range()方法的作用是产生一个等差数列当参数只有一个时range(n)：表示[0,n)的整数（即[0,n)内的步长为1的等差数列） >>> list(range(10)) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 当参数有两个时range(x,y):表示[x,y)的整数（即[x,y)内的步长为1的等差数列） >>> list(range(

2018-01-19 21:42:50 3550

原创 python_dict的获取关键字与值方法

values()>>> d{'p': 34, 'l': 54, 'b': 88}>>> for value in d.values():... print(value)...345488items()>>> for key,value in d.items():... print(key,value)...p 34l 54b 88

2018-01-19 21:40:50 5283

原创 python_常用函数调用

常用函数abs():取绝对值（参数1个） >>> abs(-99) 99 max():取最大值（参赛大于1个） >>> max(3,5) 5 min():取最小值（参数大于1个） >>> min(5,3.3,98) 3.3 数据类型转换函数：（参数1个） int():将含有整数数字的str型和float型转为int型 >>> int(6.7)

2018-01-11 00:49:41 198

原创第一次使用Markdown^_^

这是我第一次写markdown在这里我写下我的学习目标与计划吧首先我有三个目标第一：截拳道从身体的基本素质提高到基本技术的掌握再到技术的结合应用注意：非常重要的是反应的练习和身体潜能的开发第二：英语先从简单的音标到单词再到简单句法和口语（与此同时融入生活）第三：计算机技术第一步：Shell第二步：Python…精髓：不得不提的是老师的教诲：“精励行道，慎勿

2018-01-01 23:10:56 174

原创 syntax error : unexpected end of file 问题的解决

我所遇到的问题的原因是从Windows系统的word文档中复制了shell脚本在Linux系统下执行，即出现了格式问题，这个格式表面上看不出来，但它确实存在，那么我们只要将格式转换过来就好了步骤：1.编辑文件 vim filename（文件名）2.进入末行模式（按esc键）3.编写如下命令 :set fileformat=unix4.保存退出 :wq5.执行"sh fil

2017-08-06 11:30:26 1587

原创在执行shell脚本时，出现“syntax error ： unexpected end of file"错误的解决方法

首先，这个问题很可能是由于从其他系统编写的shell脚本在Linux下运行所造成的。如果是这个问题，那么就进行如下操作：1.编辑文件 #vim filename（文件名）2.进入末行模式（按esc键）3.设置文件格式

2017-08-06 11:07:36 12331 1

perter_liao_