- 博客(38)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Clickhouse Centos74 rpm 安装
Clickhouse Centos74 rpm 安装 安装环境华为云主机双cpu双核心，4G内存，centos7.4192.168.1.223 ecs-app-0001.novalocal ecs-app-0001192.168.1.240 ecs-app-0002.novalocal ecs-app-0002192.168.1.197 ecs-app-0003.noval...
2019-01-14 09:48:28
1254
原创 基于ambari 2.4.1 HDP-2.5.0 构建安全的hive数据库
基于ambari 2.4.1 HDP-2.5.0 构建安全的hive数据库基本条件：1. 利用ambari 启用kerberos基本原理：hadoop 代理机制：hadoop 可以使用"超级"用户，伪装为其他用户提交程序。且可以通过配置对被伪装的用户限定用户名，用户组和IP(或主机名)详细参考http://hadoop.apache.org/docs/r2.7.3/ha
2017-02-28 17:04:34
1803
原创 利用ganglia调优hadoop
利用ganglia 监控集群状态为调优提供依据 单位同事在对hadoop集群调优的时候,大多数看中的是个体.看中的是本段代码的执行情况.而很少从整集群的资源利用方面考虑. 本文提供一种方法在对hadoop调优的时候从整个资源利用方面入手进行调优. mapred.tasktracker.map.tasks.maximum (最大的map数量)
2013-11-04 22:16:52
1335
原创 配置ganglia 监控 cdh4.2
1. 找到hadoop-2.0.0-mr1-cdh4.2.1/conf 目录下面的 hadoop-metrics.properties 文件2. 去掉其中发送到ganglia的metrics的注释例如# Configuration of the "mapred" context for null 不发送#mapred.class=org.apache.hadoop.metric
2013-11-04 21:40:44
2275
转载 nagios 安装
http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html一、Nagios简介 Nagios是一款开源的电脑系统和网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或
2013-11-04 21:32:28
4154
原创 ganglia 安装
主机IP地址为192.168.138.22主机操作系统版本:(选择基本安装)[root@localhost rpm-gpg]# lsb_release -aLSB Version: :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-
2013-11-04 21:29:23
6272
原创 linux 配置ssh问题
今天按照操作手册配置ssh无密码访问. 一切按照正常方式处理.可是就是不成功.最后 tail -f /var/log/secure 发现原来是权限问题Oct 31 16:18:50 cloud1 sshd[1622]: PAM 1 more authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=cloud1
2013-10-31 17:47:58
1357
原创 批量自动建立linux服务器之间的ssh互信
介绍:我们在部署无密码访问时,如果手工输入.很费时间.下面方法用于自动化生成authorized_keys,免去了手工数据.方法: 利用expect编写sshkey.exp在远程主机上生成id_rsa,并重定向到本地.在利用noscp.exp.把文件复制到远程主机步骤:(本方法在centos6.4 上验证通过)1 本地执行ssh-keygen -t rsa2 编写脚本生成 au
2013-10-28 21:52:44
4407
原创 greenplum 可用空间计算
greenplum理论可用数据库空间： 配置mirror ： database_size = usable_disk_space/ ( 2 + 1/3) （greenplum 要保留一部分空间给工作空间用） 没有配置mirror ：database_size = usable_disk_space / ( 1 +1/3) usable_disk_
2013-05-16 21:31:46
1367
原创 greenplum 节点失败后恢复步骤
本文主要针对数据节点有mirror的情况。1. 查看gp_segment_configration 表，判断down掉的节点。2.排除故障后，恢复数据(对于4.2以前的版本建议重启数据库后做数据恢复）gprecoverseg3.观察恢复是否完成gpstate -s | grep Sync （全部为 Synchronized 表示恢复完成）4.平衡处理节点（如果主节点do
2013-03-06 11:06:41
4727
原创 aix6.1 安装python
aix 6.1 下安装python过程记录如下下载地址ftp.software.ibm.com/aix/freeSoftware/aixtoolbox/RPMS/ppc/rpm -ivh gdbm-1.8.3-5.aix5.2.ppc.rpmrpm -ivh gdbm-devel-1.8.3-5.aix5.2.ppc.rpmrpm -ivh expat-2.0.1-2.ai
2013-03-06 10:42:16
5760
原创 利用db2联邦数据库轻松实现程序部署
我们项目在做crm2.0改造的时候全部在测试环境开发。生产系统上线的时候，需要迁移所有程序，表和数据。迁移方案很多。我们最终在数据和表的迁移中选择了利用联邦数据库迁移的方案。具体思路是，在目标库上建立到测试库的连接然后利用create table ddd like ddd 创建表接口，最后用游标装载数据。--创建包装器CREATE WRAPPER FEDB2 LIBRARY 'libdb2
2012-06-06 15:18:05
1217
原创 greenplum 高速装载实例
--dw_est_act_acct_item_02_yyyymmdd.dat 8.1G 记录条数 83900798--split -l 20975200 -d -a 1 dw_est_act_acct_item_02_yyyymmdd.dat aa--log errors into err_ext_dw_est_04_ext segment reject limit 10 rows
2012-05-09 18:08:43
1900
原创 python re 正则表达式实例2
#!/usr/bin/env python# -*- coding: utf-8 -*-#Filename: file_process_insert.py#function: #author: 刘红波#date: 2012-05-07import globimport osimport re #目标文件 tab_into_insert.txt
2012-05-09 11:24:16
857
原创 python re 正则表达式实例
#!/usr/bin/env python# -*- coding: utf-8 -*-#Filename: file_process.py#function: #author: 刘红波#date: 2012-05-07import globimport osimport re#日志文件目录v_log_dir = '/etl/aiinsight/
2012-05-09 11:23:03
1186
原创 db2 修改归档模式
db2 日志模式分为循环归档，和日志归档模式，两种日志的原理介绍的很多了，我主要记录一下我实际操作的步骤 版本： v9.7 （建立了4个分区） OS： AIX5.3 DB2 默认为循环归档，根据应用要求调整为日志归档模式 db2 connect to cqtest1 db2 force application all [ibm_t
2012-02-22 20:55:33
2483
原创 oracle 安装
安装前准备1. 配置xmanager1.1 在Linux服务器上配置DISPLAY DISPLAY=136.6.192.176:0; export DISPLAY1.2 启动Xmanager-passive1.3 测试xwindows 输入xclock，如果出现图形的钟，表示配置成功oracle安装1. 创建user/groupgroupadd dbagro
2012-02-17 21:42:49
542
转载 db2 内存
简介理解 DB2 如何使用内存，可以防止过度分配内存，并有助于对内存的使用进行调优，从而获得更好的性能。本文将向您传授 DB2 内存使用的基础，以及共享内存和私有内存的概念。这些内容同时适用于 32 位和 64 位的系统。虽然对于 64 位系统有一些限制，但是在未来的一段时间内还不大可能触及这些限制。因此，我们将焦点放在影响 32 位系统的内存限制，并对之进行详细的讨论。我们首
2012-02-17 10:21:08
3144
原创 db2 全量+增量备份数据
db2 数据库备份策略 1. 全量+增量模式 此策略可以恢复到从全量开始任意一天的数据 db2 数据库备份[db2inst1@localhost backup]$ db2 update db cfg using TRACKMOD on DB20000I The UPDATE DATABASE CONFIGURATION command completed succe
2012-02-09 16:37:47
11218
原创 db2 范围分区表常用命令
范围分区不同的建表方式CREATE TABLE LINEITEM ( l_orderkey DECIMAL(10,0) NOT NULL, l_partkey INTEGER, l_suppkey INTEGER, l_linenumber INTEGER, l_quantity DECIM
2012-02-09 14:39:09
10061
原创 greenplum(postgresql) 中文字符排序问题
在PG中存储中文，现在大家的典型解决方法是用UTF8做数据库编码，但是用UTF8作数据库编码有一个问题，就是中文排序的问题。在PG中，缺省的时候是按照编码排序的，也就是按照UTF8的编码对字段排序，但是，UTF8本身的编码顺序和人们习惯的中文的发音的拼音顺序完全不同，因而排序完全不是期望的拼音排序。那么如何解决呢？众所周知，GBK编码是按照拼音发音顺序排序的，因此，解决方法之一就是把UTF
2012-02-08 21:16:34
9560
1
原创 python 邮件自动发送客户端
日常维护中经常会遇到自动提醒功能，我们目前已经有短信提醒。但是短信提醒的信息量太少。故编写了邮件发送脚本。#!/usr/local/bin/python3#-*- encoding: utf-8 -*-import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextfrom
2011-10-27 12:15:13
2002
原创 mapreduce 报错信息
# This example MapReduce job processes documents and looks for keywords in them.# It takes two database tables as input:# - documents
2011-10-18 18:08:06
1659
原创 greenplum max_connections 参数疑惑
我的gp数据库配置如下gmaster 安装master 节点gseg1 安装2个instancegseg2 安装2个instance简单说就是1个主机节点，4个segment，没有配置mirror当设置GUC : ma
2011-10-03 15:50:14
2713
1
原创 greenplum 安装步骤
virtualbox 安装greenplum安装步骤总结： 1.准备安装环境 下载virtualbox 和 centos 5.5 安装centos，然后利用导出，导入虚拟出三台主机(1台master 两台segment),此过程注意网络设置中更改mac地址
2011-09-28 22:29:03
10693
原创 greenplum 列模式与行模式对比
--建表CREATE TABLE ds_chn_prd_serv_col_201108(...)WITH (APPENDONLY=true, COMPRESSTYPE=quicklz, ORIENTATION=COLUMN, OIDS=FALSE)
2011-09-16 22:20:17
4964
原创 aggregate 函数使用示例
--本实例演示函数功能create or replace function pg_sum(integer,integer) returns integer as $body$begin if $1 is null then return $2; else
2011-09-02 10:32:43
7283
原创 greenplum 在单机上安装
1.操作系统centos 5.5 2.安装介质 greenplum-db-4.1.1.1-build-1-RHEL5-i3863.在单机上安装master节点，并安装两个seg4.在安装过程中最好先执行关掉不需要的服务service iptables save
2011-08-30 23:39:11
5101
转载 GREENPLUM系列介绍之安装
与ORACLE安装，尤其是RAC安装相比，GREENPLUM的安装，应该说是极其简单的。大致的过程可以分成四大部分。1、准备硬件2、准备操作系统3、安装GP软件4、初始化系统。硬件环境的准备（如果只是构建测试平台，不考虑性能，这部分内容可以忽略）
2011-08-30 16:18:11
2797
1
转载 一个非常有用的自定义聚集函数
---连接以关键字分组的字符串---首先创建一个状态传递函数：实现将统计结果传递连接create function pg_concat( text, text ) returns text as $BODY$begin if $1 is null then
2011-08-30 13:14:08
1093
原创 使用pgagent构建分布式程序运行环境
pgagent 是postgresql 的一个调度系统，类似oracle 的job.下面演示怎样使用pgagent 构建分布式程序运行环境 环境两台 centos 5.5 主机 主机A：192.168.1.1主机B：192.168.1.2 1. 在主机A
2011-08-29 18:16:15
2168
原创 编译postgresql与pgagent
------------源代码安装------------------安装环境 centos 5.5 32 位下载源代码wget ftp://ftp3.cn.postgresql.org/pub/mirrors/pgsql/source/v9.1rc1/postg
2011-08-29 18:00:10
2922
原创 一种加密算法
using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Text;using System.Windows.Forms;using Nutqq;namespace QQencrypt{ pu
2007-10-05 22:00:00
1020
原创 word中在指定位置插入图片
当然得在word中建立一些书签了,作用就是定位.再就是要有Microsoft Word 11.0 Object引用 这是段是精华 //添加应用 using Word=Microsoft.Office.Interop.Word; // Microsoft Word 11.0 Object Library //添加应用 using Word=Microsoft.Off
2007-09-14 20:33:00
15188
2
原创 条码打印机编程使用方法 C#
你先得在网上安装哥BarCodeWiz组件了。http://www.hn0738.com/softinfo/17608.html还有就是要看看关于打印的一些基础了。private void btnPrintBarCode_Click(object sender, System.EventArgs e) { #region 获取条码打印机 string BarCodePrint
2007-09-06 16:22:00
3068
word2007 process
2007-12-22
PictureLook
2007-09-17
wordInert 源码
2007-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人