- 博客(80)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 【GP6安装配置】 Greenplum6.2.1 安装gpcc6.0笔记
作者：lianghcgpcc 安装文档：http://gpcc.docs.pivotal.io/600/topics/install.htmlgpcc 与gp版本对应：http://gpcc.docs.pivotal.io/supported-platforms/gpcc.htmlgpcc 安装包下载：https://network.pivotal.io/products/pivotal-...
2019-12-21 18:16:03
3059
1
原创 【GP5安装配置】 Greenplum5.23 安装gpcc4.8笔记
目录1 安装 gpperfmon1.1 检测gpperfmon 是否正常启动2 安装gpcc-web2.1 解压安装2.2 添加环境变量2.3 配置pg_hba.conf,启动gpcc服务2.4 登陆gpcc-web参考文档：http://gpcc.docs.pivotal.io/600/topics/install.html安装分为三步1.下载gpcc安装...
2019-12-21 17:58:39
1132
原创 【GP5安装配置】 Greenplum5.23 安装手记
作者：lianghc时间：20191221目录作者：lianghc时间：201912211.安装前准备2. 安装步骤概述2.1 常规安装2.1 非常规安装法(先安装，再改参数)3. 系统参数修改清单3.1 /etc/host3.2 /etc/sysctl.conf3.2.1 /etc/sysctl.conf 原文件内容3.3 /etc/secu...
2019-12-21 17:49:19
8785
原创 【GP6安装配置】 Greenplum6.2.1 安装手记（下）
作者：lianghc本文分为两部分参数配置：【GP6安装配置】 Greenplum6.2.1 安装手记（上）执行安装：【GP6安装配置】 Greenplum6.2.1 安装手记（下）目录3. 集群软件安装3.1 执行安装程序3.2 创建hostfile_exkeys3.3 集群互信，免密登陆3.3.1 生成密钥3.3.2 将本机的公钥复制到各个节点机器的a...
2019-12-21 16:51:06
8961
7
原创 【GP6安装配置】 Greenplum6.2.1 安装手记（上）
作者：lianghc文档说明 20191212 号，pivotal 发布gp6.2.1，适逢公司gp集群扩建升级，需要确定版本，所以安装gp6的版本与gp5做比对测试。本文档参考官方文档，按照官方标准步骤一步一步安装完成。文档中列举了gp6 与旧版本安装的差异点。目录作者：lianghc1. 软硬件说明及必要依赖安装1.1 软硬件说明1.2 必要依赖安装...
2019-12-21 16:47:44
9586
3
原创 【greenplum】创建资源队列，创建用户，并给用户授权
-- 查看用户和用户的资源队列SELECT rolname, rsqname FROM pg_roles, gp_toolkit.gp_resqueue_statusWHERE pg_roles.rolresqueue=gp_toolkit.gp_resqueue_status.queueid;-- 创建资源队列 连接数=3，最大内存使用：1024MB,优先级：低DROP R
2018-01-04 18:03:23
6999
转载 【greenplum】 获取表结构，实现类似mysql show create table 功能
在postgresql 和greenplum的psql 工具中并么有提供获取表、视图创建语句的命令，我们通过自定义函数来实现类似mysql show create table 获取表创建语句的功能。
2018-01-04 16:53:20
9458
原创 【greenplum】greenplum 数据字典实践--通过sql脚本查询表结构，拼装建表语句
通过pg_catalog 数据字典用sql 查询greemplum的表结构，构建自定义的数据字典库。可以自己拼装成建表语句，例如：将greemplum转换成mysql建表语句等。
2017-12-21 16:09:14
4122
原创 【greenplum】greenplum pg_largeobject 大对象处理实践
postgresql的大对象是单节点的。数据存储在pg_largeobject，而greenplum是多节点分布式的，大对象数据分别存储在每个节点上的pg_largeobject，此时如何查找大对象？如何清除大对象？ pg_largeobject一直增长如何清理？
2017-12-19 21:23:10
2057
原创 【mysql】mysql 导出全库表结构，并排除指定库
mysql 导出一般使用mysqldump,这个工具很灵活，可以根据需要导出全库数据，指定库数据，指定表数据，等等。导出全库表结构mysqldump XXX -A --skip-lock-tables >ddl.sql; 导出全库表结构并排除指定表结构，需要用shell
2017-11-21 14:57:12
13259
原创 【mysql】yum安装的MariaDB多实例安装实践（新增实例）
yum 安装mysql 或者mariadb 后多实例安装实践教程，备忘录。yum安装的mariadb新增3307 端口实例。
2017-11-20 16:43:44
1386
1
原创 【greenplum】greenplum 如何删除临时schema(孤立schema)
how to clean orphan temp schemas in greenplum;drop schema if exists pg_temp_XXXX cascade;greenplum 如何删除临时schema
2017-11-16 14:44:06
2836
原创 【greenplum】greenplum 常用数据库管理语句,sql工具
在greenplum 使用过程中SQL命令以及数据字典非常重要。三个重要的schema:pg_catalog,pg_toolkit,information_schema,其中information_schema 中的数据字典都在视图中，并且这个schema中提供了大量的操作数据字典的函数值得研究。以下收录一些常用gpdb数据库管理语句数据库运行状态查询管理greenplum查询正在运行的sql，session通过sql获取 greemplum指定表结构通过sql 获取greemplum获取分布键查看
2017-11-16 12:20:21
5830
原创 【greenplum】ERROR: Interconnect error writing an outgoing packet: Operation not permitted
Greenplum错误：“写入传出数据包的互连错误：操作不允许”ERROR: Interconnect error writing an outgoing packet: Operation not permitted
2017-11-16 11:58:39
2526
原创 【postgresql 】postgresql 安装后配置远程连接
linux中安装 postgresql 安装官方教程一步一步执行命令就可以了。https://www.postgresql.org/download/linux/redhat/当安装完成 切换到 postgres 用户（安装过程自动创建），使用psql便可登陆终端。如果需要使用外部机器(非本机) 连接postgresql , 则需要配置 pg_hba,postgresql.conf。第
2017-07-04 17:36:36
2119
原创 【kettle】10分钟搞定kettle源码部署
很多人都用kettle做ETL，并且一直想接触kettle源码部署到myeclipse中。在大神帮我部署成功后我整理了下部署步骤。自己重新试了一遍。耗时大概十分钟，所以本文取名为《10分钟搞定kettle源码部署》
2016-11-01 20:27:12
30630
57
原创 【greenplum】将greenplum 数据导入mysql 数据库工具
工具 mysql2pgsql 支持不落地的把 MYSQL 中的表迁移到 Greenplum/PostgreSQL/PPAS将greenplum 数据导入mysql 数据库工具
2016-07-12 16:44:36
3760
1
转载 人生虽然很艰难，但所有的付出都有回报
如果你每工作一个小时就要回报，那你只能当小时工。如果你每工作一天就要回报，那你只能当临时工。如果你每工作一个月就要回报，那你只能当打工者。如果你每工作一年才看回报，那你可以当小白领。如果你看的是五年十年的回报，你会收获很大的惊喜。人生虽然很艰难，但所有的付出都有回报 我工作才十年，还不够资格谈人生，但到了劳动节，突然触动了我对付出和收获的思考。这些年非常幸运，踏进了互联网的风口，自
2016-06-30 11:27:34
1696
原创 【pandas】[5] 数据行列转置，数据透视（stack,unstack,pviot,pviot_table)
作者：lianghc在逛CSDN论坛时遇到这样一个问题：下列代码中srcdf和desdf都是Pandas的DataFrame对象，需要将srcdf转换为desdf，也就是根据列中的值拓展新的列，关系数据库报表中常见的需求，请问用DataFrame要如何实现？print(srcdf) 姓名 性别 科目 分数编号 0 刘玄
2016-05-26 18:03:03
39236
1
转载 【pandas】[4] 数据清洗（数据合并，重塑，转换，离散化，过滤，采样）
本文主要内容整理自《利用python做数据分析》，部分参考网络其他博文。1.合并数据集pandas.merge 可根据一个或多个键将不同 DataFrame 中的行连接起来。pandas.concat 可以沿着一条轴将多个对象堆叠到一起实例方法 combine_first 可以用一个对象中的值填充另一个对象中对应位置的缺失值1.1 Mergepd.merge(left,
2016-05-25 17:44:58
14360
原创 【pandas】[3] DataFrame 数据合并，连接（merge,join,concat)
作者：lianghc连接：http://blog.csdn.net/zutsoft/article/details/51498026merge 通过键拼接列pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来语法如下：merge(left, right, how='inner', on=No...
2016-05-25 16:11:53
342705
7
原创 【pandas】[2] DataFrame 基础，创建DataFrame和增删改查基本操作（1）
作者：lianghc地址：http://blog.csdn.net/zutsoft DataFrame 是pandas最常用的数据结构，类似于数据库中的表，不过DataFrame不仅仅限制于2维，可以创建多维数据表。DataFrame既有行索引，也有列索引，可以看做是Series组成的字典，每个Series看做DataFrame的一个列。1.DataFrame创建
2016-05-23 20:07:41
116513
3
原创 【pandas】[1] Series 入门(创建和增删改查)
作者：lianghc地址：http://blog.csdn.net/zutsoft/article/details/51482573Series 是pandas两大数据结构中（DataFrame，Series）的一种。使用pandas 前需要将pandas 模块引入，因为Series和DataFrame用的次数非常多，所以将其引入本地命名空间中会更方便。 from pandas ...
2016-05-23 17:50:02
86522
原创 Datastage An error occurred while loading the DB2 library entry points
作者：lianghc环境信息：datastage server：8.5 x64 安装在redhat 6.5 x86_64 系统中问题描述：在win7中安装了datastage 8.5客户端，配置好Administrator后，创建第一个并行job，当连接db2使用db2 udb stage时 报错：An error occurred while loading the DB2 lib
2016-02-23 20:23:23
2736
原创 【VisualSVN Server】Custom action GenerateSSLKey failed: Command terminated with non-zero exit code
作者：Lianghc http://blog.csdn.net/zutsoft安装会弹出如下错误提示对话框： Custom action GenerateSSLKey failed: Command terminated with non-zero exit code出错是由于VisualSVN Server在如上系统中无法自动创建证书导致失败引起的（目前最新版本仍无法
2015-12-23 18:43:56
6284
2
原创 VMware 中linux(redhat)增加硬盘空间
作者：lianghc1. 增加磁盘，使用mount挂在，使用mount挂在的缺点是必须挂载在一个新目录下，否则挂载目录的原来的文件失效。并且需要设置永久挂在，否则每次重启都得重新挂挂载。参考网址：http://www.2cto.com/os/201405/301879.html（增加分区，并mount挂载） http://www.
2015-12-11 13:15:04
5169
原创 informatica 9.6.1 安装过程中数据库连接失败，通过查看安装日志对症解决问题
1.informatica 的安装和修复不是同一个exe文件，对应的也不是同一个bat或sh脚本2.informatica 安装时建议关闭杀毒软件和防火墙3.informatica 在windows版安装时每一步都有帮助文档，安装时相关的参数不明白点击左下角的问号就会弹出参数解释说明4.informatica 的界面安装过程有详细的日志记录，例如：端口被占用，数据库无法连接，错误的java等，如果遇到错误应该详查日志
2015-10-10 13:42:05
4130
5
原创 VBA 更新ThisWorkbook模块的内容
最近需要更新一些老旧的excel里面的vba脚本，即：将同一段VBA代码，分别复制到N个不同的excel工作簿内的ThisWorkbook模块中，思路时先删除里面的脚本，然后再插入新的脚本。
2015-09-10 10:13:48
5707
原创 informatica 错误：rep_61100，在此位置找到的存储库名称与所需名称不匹配
作者：lianghc在创建informatica存储后再次创建新存储库，报rep_61100,rep_12694错误rep_12694 此位置的存储库名称为XXXrep_61100 在此位置找到的存储库名称与所需名称不匹配。经查资料总结出： 一个存储库必须对应一个数据库用户，新建存储库时必须新建库；附件：KB-21897Problem Descriptio
2015-09-02 15:39:37
3270
原创 SELECT INTO , INSERT INTO SELECT 和 CREATE TABLE AS SELECT 的区别
作者：lianghc 在开发的过程中经常会复制表的数据，将A表的数据复制到B表中，常见的操作方式有三种：1.SELECT INTO FROM 2.INSERT INTO SELECT 3.CREATE TABLE AS SELECT 经常容易混淆，今天来整理下区别。1.SELECT INTO FROM 语句形式为：SELECT value1, value2 in
2015-09-01 16:16:20
8384
1
原创 润乾报表数据分组时通过“根格”将数据分组后再分组
作者：lianghc需求描述将项目信息按照部门汇总，然后根据起止日期计算出新增的和存续的规模总和。需求如图：其中技术难点是：备注中的存续规模合计和新增规模合计是在业务部门分组的基础上再分组，也就是说先按部门将项目信息分组，然后在将项目区分新增的和存续的并按部门统计新增和存续的规模总和在开发报表过程中我们先按部门group by 然后用分析函数 over （p
2015-08-26 17:04:39
2709
原创 informatica session中bulk和normal模式
Bulk 方式进行目标数据的Load，是Informatica提供的一种高性能的Load数据方式。它利用数据库底层机制，依靠调用数据库本身提供的Utility来进行数据的加载。使用Bulk方式 Load时，Informatica调用Utility进行Load，此方式将绕过数据库的 log记录，以此来提高数据库Load性能，因此Bulk方式也就不可能进行Rollback操作，也不可能使用数据库作Re
2015-08-26 13:31:57
2072
原创 informatica 抛出ora-12592 :包错误 排查过程和解决办法
作者：lianghc1.环境说明informatica server 版本：9.6.1informatica server上的oracle客户端：11.2.0.3informatica server安装的操作系统：win server 2008 X64oralce server :Oracle Database 11g Release 11.2.0.4.0 (oracle 环境
2015-08-11 18:39:13
29534
1
原创 实施，运维，开发驻场时与客户沟通需求的案例与技巧
关于实施项目的真实案例分享以下案例是实施总结的项目案例心得分享，抛出他对客户需求对项目进度影响的看法，以及他最近遇到的一个问题的处理方式的沟通。 问题描述跟翻译是一样的，讲究“信”“达”“雅”，以下描述，是以往工作经历中根据实际情况做出的总结，并且描述的也挺详细的、通俗易懂的，“信”和“达”做到了，最后这个雅字就等咱们讨论过后，大家共同来完成吧。-----------------
2015-08-04 18:20:30
8716
1
原创 informatica 如何替换新的License Key
作者：lianghc按照下列步骤替换新的License Key：1. 登录管理控制台Administrator tool2. 停止相关服务3. 从License Key移除服务4. 导入新的License Key5. 向License Key添加服务6. 启动相关服务1.
2015-07-15 12:30:06
5598
原创 informatica 在抽取EXCEL中遇到问题及INFA售后给出的建议。
作者：lianghc1.测试环境：服务器：操作系统：windows server 2008 R2 Enterprise (X64)Informatica版本:9.6.1 hotfix1 (x64)MSOffice：Professional2010 (x64)客户端：操作系统：Win7 旗舰版 (x64)Informatica版本:9.6.0 (x86)
2015-05-29 14:32:24
3764
原创 【VBA】 通过VBA脚本将EXCEL的数据导入 ORACLE
1、引用ADO相关组件：打开VBA编辑器，在菜单中点选“工具”--》“引用”。确保“Microsoft ActiviteX Data Objects 2.8 Library”和“Microsoft ActiviteX Data ObjectS Recordset 2.8 Library”被勾选上。2、建立读取数据的过程：Private Type GUID Data1 As Lo
2015-05-28 22:02:18
3641
原创 informatica 常见问题收录及解决（陆续补录）
在 powercenter designer 9.6.1 hotfix2 版本上遇到 UM_10059: Authentication failed because the authentication token is invalid.Explanation:The authentication token for the user account is inva
2015-05-21 16:09:44
3618
原创 【VBA】通过VBA自动解析指定工作薄，生成自己需要的数据表
最近使用VBA自动处理EXCEL的数据，用着用着觉得很方便，于是写了一些小脚本，不过水平有限，代码很冗余。个人使用的脚本一般都是符合个人使用的特定场景，不像高手写的有很强的复用性。不过既然写了，方便了个人的同时，我还是抛砖引玉分享一下，万一能帮到人呢！同时自己也留个备忘。这里主要是：传播一种使用脚本解决重复性、简单、单调工作时，主动去寻找使用脚本解决的思想。本案例需求是将图2中的数
2015-05-16 00:25:11
3458
原创 【VBA】 excel中通过VBA批量生成超链接，连接名为sheet页名
用excel处理数据往往分为很多页，这时候通常会建一个首页当做目录来链接到后面的sheet页，今天写了一个脚本实现功能如下：遍历sheet页数量，生成对应的sheet页名超链接excel的目录在第三页，故该脚本从第四页开始生成，生成到sheet3.(10+x,4) 上界面原型如图：Sub lianjie()Dim x As Longx = 0For x = 4 To
2015-05-14 23:03:34
13536
1
kettle（6.1.0.1-196 MyEclipse源码工程包） part3
2016-11-02
kettle（6.1.0.1-196 MyEclipse源码工程包） part2
2016-11-02
kettle（6.1.0.1-196 MyEclipse源码工程包） part1
2016-11-02
Iphlpapi.h&ipHlpApi.lib
2013-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人