- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 PySpark 问题排查
将定义并注册UDF的代码和引用该UDF的代码写在同一个模块中，问题解决。在模块A中定义并注册了 Spark UDF，并在模块B中引用该 UDF。通过 PySpark SQL 处理离线数据，遇到报错。
2023-06-12 22:22:43
231
原创 shell脚本
shell脚本最好放在目录/usr/local/sbin下，便于管理。shell脚本的文件名通常都以“.sh”结尾。shell脚本的第一行一般以“#!/bin/bash”开头，表示该文件使用bash语法。“#”表示注释，后面跟脚本的注释内容、作者、创建日期或版本。以上这些均为非必须的，但是遵循它们更符合规范。执行脚本的方法：sh命令后跟脚本名可执行该脚本，如：sh script.s
2015-03-30 23:24:40
244
原创 正则表达式和grep，sed，awk
正则表达式定义：它使用单个字符串来描述或匹配一系列符合某个句法规则的字符串。“^”表示行的开始，“^#”表示以#开始的行。“$”表示行的结尾，“#$”表示以#结尾的行。“^$”表示空行。“[ ]”中括号内为字符组合，代表字符组合中的任意一个，“[0-9a-zA-Z]”表示任一数字或大小写字母。“[^a-z]”表示不在a-z字符内的任一字符。“.” 表示任意一个字符。“*”表示零个或多个
2015-03-25 17:10:44
287
原创 配置Lnmp环境中的Nginx与Php
1.编写nginx的启动脚本：vim /etc/init.d/nginx ，加入如下内容：#!/bin/bash# chkconfig: - 30 21 #chkconfig后面的数字分别表示：在0-6中的第几级别，启动该服务的顺序，关闭该服务的顺序，也可以用ls -l /etc/rc.d/rc*.d/*nginx查看。# descriptio
2015-03-05 17:35:32
404
原创 安装LNMP环境
对于LAMP：装好Linux，Apache与MySQL安装顺序随意，必须最后装Php。对于LNMP：装好Linux，必须先装MySQL后装Php，Nginx相对于MySQL和Php安装顺序随意。Nginx的优点相对于apache比较轻量，并发高。升级Nginx是直接下载新版本覆盖安装。1. MySQL安装（同LAMP里面的安装方法）2. php安装cd /usr/local/
2015-03-05 14:03:58
278
原创 putty登陆不上vmware里的centos
PC装的Windows 7系统，在PC中装vmware workstation和putty，在vmware里面装CentOS，配置CentOS上网方式为NAT模式，配置好CentOS的ip地址就可以用putty远程登录CentOS了。但是不知道啥原因，过一段时间putty就连不上CentOS，显示连接超时。此时进入CentOS发现也连不上网。目前有两种解决方法：法一：打开vmware界面，
2015-03-02 17:13:37
589
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人