- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Spark启动时的master参数以及Spark的部署方式
我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)/bin/spark-submit \ --cluster cluster_name \ --ma...
2018-06-04 13:54:01
20340
1
原创 linux ls -l 命令出现字段的含义
这个命令可以使用长格式显示文件内容，如果需要察看更详细的文件资料，就要用到ls -l这个指令。例如我在某个目录下键入ls -l可能会显示如下信息 文件属性 文件数 拥有者 所属的group 文件大小 建档日期 文件名JacobdeMacBook-Pro:~ Jacob$ ls -ltotal 8-rw-r--r-- 1 Jacob staff 3 5 22 10:49 %b...
2018-05-31 14:28:34
1943
原创 linux /etc/passwd 文件的解释
文件目录存储的是操作系统用户信息,该文件为所有用户可见。 给linux系统添加一个帐号:[plain] view plain copyuseradd -g mysql -d /home/test -m test(:新建一个用户test, 属于mysql组,开始目录是/home/test) 然后进入 /etc/passwd,可以看到如下信息,在最后一行可以看到刚加的用户的信息。如下[pl...
2018-05-31 14:20:36
2837
原创 hdfs dfs 命令详解
hdfs dfs命令appendToFileUsage: hdfs dfs -appendToFile <localsrc> ... <dst>追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.· hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile· hdfs dfs -appendToFile ...
2018-05-29 17:28:24
25027
2
原创 常用spark命令
--sparklocalhost$spark-sql --master yarn 启动主节点 yarn模式hdfs dfs -ls /spark/tianwei2.db 查看我们建的表 其实是是建立在hdfs里面hdfs dfs -du -h /spark/tianwei2.db 查看我们的文件大小 也就是我们的表的大小 要接近 -h...
2018-05-29 15:28:44
4308
原创 linux下文件的复制、移动与删除
linux下文件的复制、移动与删除命令为：cp，mv，rm一、文件复制命令cp 命令格式：cp [-adfilprsu] 源文件(source) 目标文件(destination) cp [option] source1 source2 source3 ... directory 参数说明： -a:是指archive的意思，也说是指复制所有的目录 ...
2018-05-15 11:59:30
9836
原创 linux VNC配置(解决：关闭防火墙仍不能访问端口的问题)
实例 154.145.160.51 web服务器154.145.160.52 db2服务器两台服务器能互相ping通，同时2台服务器都关闭了防火墙，此时web的jdbc不能访问的db2服务器的50000端口。需合理配置VNC的配置即可，vim /etc/sysconfig/vncservers把最后2行的注释取消掉VNCSERVERS="1:ro
2016-12-13 18:38:00
9544
1
原创 增量数据下发整合成全量表的程序分享
浙江地区数据下发均为增量下发，只有数据发生改变的时候才会下发，从接口层转化大绩效层的时候，有时关联其他表会取不到数据，出于解决此问题，我们现场整理了一个批量生成MERGE语句的方法和调用的存储过程。首先我们来学习一下MERGE INTO语句是使用方法：DB2中的Merge语句可以将一个表中的数据合并到另一个表中，在合并的同时可以根据条件进行插入、删除、更新等操作。这个语句在我们PAS系统中
2016-11-30 23:20:47
2324
原创 DB2 LOCATE 函数的使用
LOCATE 函数 [String]返回一个字符串在另一个字符串中的位置。 语法LOCATE( string-expression-1, string-expression-2 [, integer-expression ] ) 参数string-expression-1 被搜索的字符串。string-
2016-11-30 21:52:10
17164
1
转载 DB2 SQL错误查询 LOAD时报的日志特别好用
DB2 开发常遇到一些错误，从网上找了一些资料，留查错使用 LOAD时报的日志特别好用，每一句日志都可以查到；DB2 UDB的AS/400 SQL编程Negative SQLCODEs 负SQLCODE＃ SQL0007 SQLCODE -07 SQLSTATE 42601 SQL0007 SQLCODE -07 SQLSTATE 42601Expl
2016-11-02 11:43:03
7863
原创 linux下tar命令解压到指定的目录
tar -xvzf v9.7fp9_linuxx64_server.tar.gz -C /db2/把9.7的db2安装包解压到 /db2/ 的目录下切记是大写的-C#tar zxvf /bbs.tar.zip -C /zzz/bbs //把根目录下的bbs.tar.zip解压到/zzz/bbs下，前提要保证存在/zzz/bbs这个目录 这个和cp命令有点不同，cp
2016-10-29 15:49:30
8327
原创 Linux fstab自动挂载分区教程
某些时候当Linux系统下划分了新的分区后，需要将这些分区设置为开机自动挂载，否则，Linux是无法使用新建的分区的。 /etc/fstab 文件负责配置Linux开机时自动挂载的分区。Windows的文件结构是多个并列的树状结构，最顶部的是不同的磁盘（分区），如：C，D，E，F等。Linux的文件结构是单个的树状结构。最顶部的为根目录，即/。在根目录下，分为多个子目录，包括/bin、/b
2016-10-26 18:11:12
310
原创 新建数据库后CONNECT连接不了
DB2新建数据库后，connect连接不上，提示SQL0332N Character conversion from the source code page "1392" to the target code page "UNKNOWN" is not supported. SQLSTATE=57017执行以下命令，可以解决：db2set DB2CODEPAGE=1386db
2016-10-25 20:57:49
970
原创 db2 lock
表一：DB2数据库表锁的模式 表二：DB2数据库行锁的模式 #show all the switchesdb2 get monitor switches#switch-name：BUFFERPOOL、LOCK、SORT、STATEMENT、TABLE、TIMESTAMP 和 UOW#set the switches ON/OFFdb2
2016-03-30 10:45:58
1155
1
原创 db2_查询锁方法
1,获取锁方法：1.1管理视图:SELECT * FROM SYSIBMADM.SNAPLOCKselect * from SYSIBMADM.LOCKS_HELD1.2 表函数:SELECT * FROM TABLE(SNAP_GET_LOCK('SAMPLE',-1)) AS SNAPLOCK;SELECT * FROM TABLE(SNAPSHOT_LOCK('S
2016-03-30 10:43:50
3120
转载 从数据库中导出所有的存储过程的4种方法
1)从 DB2 的目录表 SYSCAT.ROUTINES 中选取：在 SYSCAT.ROUTINES 系统目录表中，有一个名为 TEXT 的字段，其数据类型定义为 CLOB，长度为 2M（2097152 个字节），用于存放存储过程的创建语句。为得到全部存储过程的定义，可使用类似如下 SELECT 语句，并将定义输出到一个文件中。DB2 SELECT CHAR(ROUTINESCHEMA
2016-03-23 16:58:25
1756
原创 db2 常用命令小结
1、 打开命令行窗口 #db2cmd 2、 打开控制中心 # db2cmd db2cc 3、 打开命令编辑器 db2cmd db2ce =====操作数据库命令===== 4、 启动数据库实例 #db2start 5、 停止数据库实例 #db2stop 如果你不能停止数据库由于激活的连接，在运行db2stop前执行db2
2016-03-23 16:33:21
282
转载 sum(x) over( partition by y ORDER BY z ) 分析
之前用过row_number()，rank()等排序与over( partition by ... ORDER BY ...)，这两个比较好理解: 先分组，然后在组内排名。今天突然碰到sum(...) over( partition by ... ORDER BY ... )，居然搞不清除怎么执行的，所以查了些资料，做了下实操。1. 从最简单的开始 sum(...) ov
2015-12-18 10:10:29
418
1
转载 DB2 存储过程的异常处理器类型有几种？
以下的文章主要向大家讲述的是DB2 存储过程的异常处理方法，在DB2数据库中，假如你要使用sqlcode，那么你就必须在DDL语句之前declare。这是我们大家都必须了解的，以下就是文章的主要内容描述。存储过程异常的处理：DECLARE handler-type HANDLER FOR condition handler-action 异常处
2015-08-27 21:23:01
886
转载 web.xml 详细介绍
1、启动一个WEB项目的时候，WEB容器会去读取它的配置文件web.xml，读取和两个结点。 2、紧急着，容创建一个ServletContext（servlet上下文），这个web项目的所有部分都将共享这个上下文。 3、容器将转换为键值对，并交给servletContext。 4、容器创建中的类实例，创建监听器。 二 Load-on-startupLoad
2015-08-26 10:56:47
325
原创 DB2 表无法访问 也无法删除
SQL1477N表无法访问:往往是因为中断操作,没有记录日志而造成的,可以先解锁,reorg table tableName;.不行的话,就解锁再drop,再重建.下面是解锁、drop和重建的语句:list applications;force applications;drop table tableName;create table ...
2015-07-21 17:24:10
1650
转载 db2 解决表空间无法访问有关问题
db2解决表空间无法访问问题 1.list tablespaces show detail 查看表空间状态 2.若表空间状态处于 0X0004 （停顿的独占） 可执行 select tabname from syscat.tables where tableid=50 通过所住的id号找出是哪个表 让后执行：quiesce tablespaces for table
2015-06-12 10:36:57
4864
1
原创 DB2 如何计算两个时间之差
日期函数有时，您需要知道两个时间戳记之间的时差。为此，DB2 提供了一个名为 TIMESTAMPDIFF() 的内置函数。但该函数返回的是近似值，因为它不考虑闰年，而且假设每个月只有 30 天。以下示例描述了如何得到两个日期的近似时差：timestampdiff (, char( timestamp('2002-11-30-00.00.00')-
2015-06-11 17:06:00
14777
原创 DB2错误信息（按sqlcode排序）
DB2错误信息（按sqlcode排序）sqlcodesqlstate说明00000000SQL语句成功完成 01xxxSQL语句成功完成，但是有警告+01201545未限定的列名被解释为一个有相互关系的引用+09801568动态SQL语句用分号结束+10002000没有找到满足S
2015-06-03 12:49:23
1229
转载 Ajax工作原理
Ajax工作原理在写这篇文章之前，曾经写过一篇关于AJAX技术的随笔，不过涉及到的方面很窄，对AJAX技术的背景、原理、优缺点等各个方面都很少涉及null。这次写这篇文章的背景是因为公司需要对内部程序员做一个培训。项目经理找到了我，并且征询我培训的主题，考虑到之前Javascript、CSS等WEB开发技术都已经讲解过了，所以决定针对AJAX这一块做一个比较系统的培训，所以这篇文章实际上是
2015-05-15 09:55:55
364
原创 oracle 删除临时表
oracle 删除临时表时，有时会出现：ORA-14452: 试图创建， 更改或删除正在使用的临时表中的索引。就算执行truncate table ‘临时表’操作也不行。现在总结一个方法，可以先找到临时表的sid 和serial# 然后通过 ‘sid,serial# ’去删除临时会话，再去删除临时表。第一步：SELECT sid, serial# FROM v$session
2015-05-04 11:47:03
888
转载 oracle NVL、NVL2,、NULLIF、COALESCE函数的用法
Oracle中函数中除了字符函数、日期函数、数学函数、以及转换函数等等，还有一些函数是通用函数，比如：NVL、NVL2,、NULLIF、COALESCE。 下面就来看一下它们的用法：1.NVL函数 NVL(expr1,expr2)如果expr1和expr2的数据类型一致，则：如果expr1为空(null),那么显示expr2，如果expr
2015-03-26 17:31:31
353
转载 oracle for update和for update nowait的区别
1、for update 和 for update nowait 的区别： 首先一点，如果只是select 的话，Oracle是不会加任何锁的，也就是Oracle对 select 读到的数据不会有任何限制，虽然这时候有可能另外一个进程正在修改表中的数据，并且修改的结果可能影响到你目前select语句的结果，但是因为没有锁，所以select结果为当前时刻表中记录的状态。 如果加入了for u
2015-03-25 15:27:54
254
转载 SVN服务器搭建和使用（三）
接下来,试试用TortoiseSVN修改文件,添加文件,删除文件,以及如何解决冲突等.添加文件在检出的工作副本中添加一个Readme.txt文本文件,这时候这个文本文件会显示为没有版本控制的状态,如图:这时候,你需要告知TortoiseSVN你的操作,如图:加入以后,你的文件会变成这个状态,如图:这时候使用TortoiseSVN进行提交.这样别人就能看到你所做的更改
2015-03-10 09:57:45
291
转载 SVN服务器搭建和使用（二
上一篇介绍了VisualSVN Server和TortoiseSVN的下载,安装,汉化.这篇介绍一下如何使用VisualSVN Server建立版本库,以及TortoiseSVN的使用.首先打开VisualSVN Server Manager,如图:可以在窗口的右边看到版本库的一些信息,比如状态,日志,用户认证,版本库等.要建立版本库,需要右键单击左边窗口的Repositores,如图
2015-03-10 09:56:32
313
转载 SVN服务器搭建和使用（一）
Subversion是优秀的版本控制工具,其具体的的优点和详细介绍,这里就不再多说.首先来下载和搭建SVN服务器.现在Subversion已经迁移到apache网站上了,下载地址:http://subversion.apache.org/packages.html这是二进制文件包的下载地址,你可在左侧的导航栏找到源代码,文档的下载地址.windows操作系统下面的二进制文件包一
2015-03-10 09:52:16
430
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人