自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

yumushui的专栏

  • 博客(232)
  • 资源 (13)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 “如何构建知识体系”的思考

对于知识体系体系的构建，一直都是学习和工作中，非常重要的问题。这段时间看了很多这方面的文章，其中京东架构师 李玥 的一篇文章，感觉讲的很好，对我也有一定的启发。从这篇文章中，可以总结出，对于技术问题的理解和解决，可以从下面几个方面看：### 焦虑的现象、来源与解决方法焦虑的现象：做技术会感到焦虑，不懂的技术，新技术太多焦虑的来源：对某些不好的事情过度担心而产生的一种烦躁情绪...

2020-03-05 14:22:36 830 1

原创 postgresql 9.6 分区表测试方案与记录

一、pg 9准备分区表测试环境在测试环境创建好pg 9测试环境，连接到pg 9实例上：/usr/local/pgsql101/bin/psql -h 127.0.0.1 -p 5432 -U postgres -d postgres--创建测试库\lCREATE DATABASE pg_9_db;\l\c pg_9_db一、pg 9创建新...

2019-11-22 18:15:45 829

原创 任务调度和开源软件opencron的使用经验

        本文是我在一个技术分享群里面，对于任务调度和开源软件opencron的分享和使用体会，现在整理成文字，供大家参考。        大家好，下面我来分享一下 部署和使用 opencron 任务调度工具的一些经验和体会        我计划从五个方面来进行分享：1 任务调度需求与要素分析        任务调度，平时在大家的工作中应该会遇到比较多

2018-01-12 15:15:01 7276

原创 python Flask离线安装与测试

Flask是用python进行web开发时，常见的python web框架。如果服务器可以连接到外网，可以简单的用 pip install Flask 直接将Flask的依赖包及Flask直接安装好。但公司的测试环境，一般是内网，不能随表上连到外网，这就需要采用离线软件包方式安装了。下面是我的测试安装过程。1. 确定依赖的包（参考：http://stackoverflow.

2017-05-15 17:17:58 9531 1

原创 python异常处理和面向对象编程总结

    异常处理和面向对象编程，是python编程中，比较重要的基础。在实际生产编程设计和开发中，异常处理和面向读象都是必须在设计和开发过程中充分考虑的。    对于python开发和面向对象这两部分基础，用一个python程序进行封装说明，结果如下：#!/usr/bin/env python# _*_ coding:utf-8 _*_##################异

2017-03-13 12:30:00 1063

原创 python流程控制、函数总结

    shell脚本是由系统命令、变量、流程控制三者组合而成的；    类比python程序，与shell中能够实现很多功能的系统命令类似，python有很多可以实现不同功能的模块；    变量方面，shell脚本有系统变量，有普通变量，有特殊位置变量，有特殊变量调用方式，有单个变量，也有数组，而python与一般高级语言一样，变量有名称、数据类型、调用方式（操作符和内置函数）；

2017-03-09 20:25:06 930

原创 python变量数据类型总结

python脚本的核心是关键字，变量，流程控制与编程思想.变量也有三要素：变量名称，变量数据类型，变量操作方法（操作符，操作函数）。python数据类型，按照特征可以划分为4个大类：数字类型，序列（数组）类型，映像类型，集合类型。 数字类型 整型 布尔型 标准整型 长整型 非整型 双精度浮点型 复数 decimal（不是

2017-03-09 16:59:02 1239

原创 常用python日期、日志、获取内容循环的代码片段

近段时间对shell脚本和python进行了梳理，将一些脚本中常用的内容，考虑多种方法整理出来，形成有用的代码片段，这样就可以在需要的时候直接使用，也可以用于备忘和思考。本次整理的代码片段有： python中日期、时间常用获取方法； 记录处理日志的logging模块使用；从目录，文件，命名结果中，获取循环条件进行循环。我将这些有用的代码片段整理在一个

2017-03-02 16:55:21 1632

原创 shell脚本中整数型变量自增（加1）的实现方式

在shell脚本中，有时为了计数，需要编写整数型变量，并用自增来显示。shell脚本中的整数型变量，自增有多种实现方式，整体测试脚本如下：#!/bin/sh#本脚本测试shell脚本中整型变量自增 加1的几种方法#定义整型变量a=1echo $a#第一种整型变量自增方式a=$(($a+1))echo $a#第二种整型变量自增方式a=$[$a+1]echo

2016-12-05 20:32:57 97238 3

原创 postgresql多实例创建与Slony-I复制配置

第一部分 在一个主机上创建多个 postgresql实例步骤一：安装postgresql软件安装 postgresql实例，从postgresql官网上 https://www.postgresql.org/ 下载postgresql安装软件，解压缩，创建postgres用户和组，添加环境变量。我这里下载的版本是 pgsql9.5.1。创建postg

2016-11-19 15:32:22 3253 1

原创 mongodb 3.2.5安装过程详细记录

1. 准备安装介质安装介质下载：mongodb的安装方式，我通常使用二进制包的方式，内网不能配置连接外网的yum源；官方建议的mongodb下载地址为：   Downloads.mongodb.org但实际上，这个地址，很难找到下载表，正常下载，通常可以用下面的下载地址选择下载：https://www.mongodb.org/dl/linux/x86_64

2016-10-19 15:31:41 2447

原创 greenplum集群中 插入序列报错处理

自增ID，是数据库中一个重要的功能，在Oracle和postgresql数据库中，自增ID主要都是通过 序列实现的。Greenplum数据库，是基于postgresql实现的MPP数据库集群，其中也可以基于序列 实现自增ID的功能。但在在近段时间使用时，就遇到一个错误：创建一个包含自增ID的表，建表sql如下： CREATE TABLE customers

2016-08-16 17:54:20 2911

原创 Linux主机之间权限访问与开通

近段时间，在测试和部署 Greenplum集群，在集群一开始部署的时候，以及后面测试的一些高可用功能时，都涉及到的Linux主机之间的访问权限问题。在排查好这写问题后，有必要进行一下访问权限的梳理和总结，以便以后避免这个问题。对于Linux主机而言，主机之间的访问，主要涉及几个问题： IP地址，ssh协议，selinux限制，iptables防火墙，/etc/hosts.a

2016-05-06 11:55:36 5367

转载 运维人，你应该了解的三张武功心法图

近段时间一直在考虑，运维工作，自动化运维，以及云计算方面的内容，今天看到一篇文章，仔细思考后，觉得写的还是比较好的，所以也转载到我的博客里来。一、运维技能图做为一个运维工程师，你知道你应该学习什么?怎么学习吗?朝哪个方向发展吗?下面一张运维工程师技能图，让你了解！　原图点击二、自动化运维路线图运维自动化在国内已经声名远躁了，随着互联网快速的发展，运维不单单是几个脚本

2016-01-14 17:11:49 1935

原创 截取与分析日志文件的特定行数的操作

在进行操作系统和数据库系统管理时，经常会遇到在日志文件中查找某个字符，或者按照时间截取某个时间段的日志进行分析。今天早上就遇到一个MySQL数据库上的问题，mysql数据库在0-3点的时候，数据库会话连接，tps，cpu和iowait等都比平时大了许多。为了定位这个时间段内，到底发生了那些慢查询，消耗了资源，就需要在slow.log慢查询日志进行查询，截取和分析。

2015-12-12 11:18:01 2943 1

原创 mysql中用户权限导出的脚本

MySQL数据库备份和迁移，是DBA日常工作中，经常需要做的工作。备份一般由物理备份和逻辑备份两种，对于用xtrabackup进行物理备份来说，表数据和用户权限都会全部备份和恢复；如果是逻辑备份的话，用户数据和授权信息都需要单独的导出导入，用户数据直接用 mysqldump 工具导出导入即可，但mysql中用户权限不能直接导出导入，一个权限一个权限的处理，有比较麻烦。

2015-12-11 15:15:45 5955

原创 由一次mycat+mysql水平拆分集群问题引发的思考

近段时间部署和测试了一个mycat+4 Percona+tokudb的水平拆分集群，前段应用是将一类奖状数据不断地写入到这个库中，只有insert操作，前几天运行状态还比较好。从昨天开始，由于业务量突然增加了一些，磁盘IO负载变得很高，而且仔细分析之后，发现磁盘读的性能远远高于磁盘写的性能，这完全是有问题的。因为insert操作肯定主要是写操作，而且写都是顺序写，读操作

2015-11-26 18:59:18 2227 1

原创 MySQL数据库的分区表、存储过程、event定时任务的创建

MySQL数据库中有一个分区表，并且只保留最近三天的；现在有另外一个表，也想修改为相同的模式，需要的步骤有：整体思路：将一个表进行分区，并保留最近3天的数据，创建步骤：1.确认现在表的状态；2.将现在的非分区表，修改为分区表；      --分区表的片键，必须在主键中，主键修改必须先删除再重建，而自增id必须先取消自增才能删除，3.创建进行表分区和删除分

2015-11-05 18:18:49 2678

原创 mongodb 3.0.2与wiredTiger存储引擎安装测试

mongodb3.0版本，除了之前默认的MMAP存储引擎，还新推出了wiredTiger存储引擎。据官网测试报告称，mongodb 3.0版本使用wiredTiger存储引擎后，写性能能够提高7-10倍，数据压缩30%-80%，运维降低95%，这三个方面都还是很有吸引力的。为了进行mongodb 2.6和mongodb 3.0的性能，先搭建一个mongodb 3.0环境，然后用YC

2015-10-27 12:12:43 3172

原创 MySQL数据库字符集由utf8修改为utf8mb4一例

对于mysql 5.5 而言，如果不设定字符集，mysql默认的字符集是 latin1 拉丁文字符集；为了统一管理和应用开发的方便，一般都会统一将操作系统，客户端，数据库各方面的字符集都设置为 utf8 字符集，即能满足各种字符应用，又能统一字符集，避免各种乱码问题。但随着各种业务的进一步发展，除了各个国家的本身语言字符，经常也会有一些表情符号出现在应用程序中，而在

2015-10-15 15:51:16 26612 1

原创 mysql启动时，提示/etc/my.cnf 被忽略的问题处理

今天在处理测试开发人员的问题是，发现一个MySQL实例启动故障，处理过程如下：发现mysql实例是关闭的，执行命令启动mysql实例时有警告：# service mysql.server startWarning: World-writable config file '/etc/my.cnf' is ignoredStarting MySQL SUCCESS!

2015-10-14 14:24:30 17533

原创 使用bash将csv文件数据读写到MySQL数据库的脚本之一

情景：有一个包含多个系的学生详细信息的csv文件，需要将文件的内容插入到一个数据表中，保证每一个系生成一个单独的排名列表。学习信息表 studentdata.csv 文件的数据如下：1,Navin M,98,CS2,Kavya N,70,CS3,Nawaz O,80,CS4,Hari S,80,EC5,Alex M,50,EC6,Neenu J,70,EC7

2015-08-27 15:46:47 3419

原创 CentOS中Python pip包管理工具的安装和使用

Python有很多第三方的模块或包，要管理这些包，有很多方法。python的pip包管理工具，类似与CentOS中yum，使用该工具安装Python包非常方便。从Python内部来说，pip 是一个安装和管理 Python 包的工具 , 是 easy_install 的一个替换品。distribute是setuptools的取代(Setuptools包后期不再维护了)，pip是

2015-08-27 14:07:53 4752

原创 python setuptools安装与psutil模块测试

         Python本身自带了一套工具distutils ，用于发布 Python 应用程序。但 distutils 没有提供定义其它依赖包的功能，setuptools 的真正优点并不在于实现distutils 所能实现的功能——尽管它的确增强了distutils的功能并简化了setup.py 脚本中的内容。setuptools 最大的优势是它在包管理能力方面的增强。它可以使用一

2015-08-27 12:20:18 3229

原创 MySQL数据库自动生成并修改随机root密码的脚本

在MySQL数据库部署的过程中，在安装了MySQL软件，并配置了my.cnf配置文件后，需要创建MySQL实例。          MySQL 5.5实例创建完成了，默认会有登陆用户名和密码为空的用户，一般需要修改root用户密码，并删除无效用户，然后才能提供给应用使用。         这个过程可以通过shell脚本自动完成实例创建，启动，自动生成密码，修改root用户密码，删除无效用户

2015-08-26 18:42:39 3719

原创 MySQL加载数据所需要的file权限实验

在MySQL中经常需要导出一些表的数据，或者加载数据到某些表中，这时就涉及到一些权限的问题。今天就遇到一个开发加载数据的问题，我在测试环境进行了一些测试，并得出了一结论，过程和结果如下：        在测试环境中，创建一个测试用户，然后以root身份执行导入导出过程，导出导出过程正常：$ mysqlplus.sh Login MySQL Srevice: lcoalho

2015-08-05 13:36:34 5734

原创 一次AIX系统报错的问题处理思路

今天遇到一个同事在AIX 5.3环境中启动程序时报错的问题，错误截图如下：其中报错内容如下：$ ./MBAFileAgent0509-036 Cannot load program ./MBAFileAgent because of the following errors:0509-022 Cannot load module ./jre/bin/libstd

2015-07-28 17:33:01 5732

原创 oerr错误查询工作的使用与ora-56729错误的处理

        oerr是oracle数据库中非常重要的错误查询工具，在实际工作和问题处理中，熟练使用oerr错误查询工具对oracle问题的定位和解决，有非常重要的帮助作用。        我前段时间遇到一个非常少见的错误 ora-56729 ，当时采用其他方法处理了，事后模拟错误问题，并尝试使用oerr工具进行问题定位，对问题的帮助和处理有更加快捷的作用。       

2015-07-14 13:44:36 1103

原创 mongodb数据库的启动和停止

        数据库的启动和停止是数据库最基本的操作，也是数据库能够提供服务和被连接管理的前提条件。不同的数据库启动和停止的方式有一些差异，但也有相同之处，启动和关闭也必定会和数据库的进程有关。        在oracle数据库中，数据库的启动和停止都是分三个过程的，正常的启动方法都是在sqlplus中执行startup命令启动，或者shutdown immediate命令

2015-07-14 12:22:10 20400 3

原创 Oracle 11gR2 DNFS功能测试

Oracle 11.2.0.3 的dnfs与之前版本的dnfs配置还是有很多区别的，在测试后，整理下面的测试过程来说明oracle 11.2.0.3中的dnfs配置过程。环境：CentOS 6.5Oracle 11.2.0.3说明：Oracle 11.2.0.3中的DNFS，是在操作系统的nfs目录挂载正常后，在nfs client端上按照一定步骤启用oracl

2015-05-19 17:52:05 3298

原创 梁漱溟：做学问的八层境界

近段时间一直在思考学习的问题，原有技术和新技术的融合问题，先精后博——对于广博与专精的处理。忽然收到这样的一篇文章的启发：　　【梁漱溟（1893—1988）著名的思想家、哲学家、教育家、社会活动家、爱国民主人士，著名学者、国学大师，主要研究人生问题和社会问题，现代新儒家的早期代表人物之一，有“中国最后一位儒家”之称。梁漱溟受泰州学派的影响，在中国发起过乡村建设运动，并取得可以借鉴的经验

2015-05-19 17:11:07 902

转载 Oracle配置共享服务器模式

这几天在研究Oracle 11g的监听和控制文件，看到一篇对共享服务器模式介绍比较好的文章，特转载如下：--======================--配置共享服务器模式--====================== 一、服务器的两种模式：专用服务器模式、共享服务器模式   1.共同点：       两者完成相同的任务，即处理所有指定的SQL操

2015-05-19 11:50:32 3083

原创 MySQL集群技术概述

        对于MySQL数据库来说，从比较早的版本开始，MySQL就支持master-slave复制，这个特性是MySQL数据库非常重要，而且也应用比较广泛的特性。MySQL复制在读写分离，数据备份，可伸缩性等方面都有比较好的应用，并结合其他特性，也很容易实现高可用性。        除了MySQL复制及MySQL官方的集群架构技术外，一些第三方公司也开发了很

2015-05-14 18:08:40 1969

转载 开源数据库 Sharding 技术 (Share Nothing)

注：此文首发于 《程序员》杂志 2008 年 7 月刊。从 Shard 到 Sharding “Shard” 这个词英文的意思是”碎片”，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏(MMORPG)中。”Sharding” 姑且称之为”分片”。Sharding 不是一门新技术，而是一个相对简朴的软件理念。如您所知，MySQL 5 之后才有了数据表分区功能，那么在此之

2015-05-08 16:11:13 1692

翻译 大型网站架构技术一览

对于大型网站技术的理解，可以从架构技术原理的组织方式以架构要素作为维度，从系统性能、可用性、伸缩性、扩展性、安全性几个角度阐述网站架构的技术要点。还有另一种较为直观的组织方式，是从不同架构层次所使用的网站架构技术这个维度进行描述的。        网站系统架构层次如下图所示：        这个网站架构层次，共分为8个层次，其中数据库中心机房架构是上面所

2015-05-07 17:02:32 1839

原创 MongoDB在Linux下常用优化设置

以下是一些MongoDB推荐的常用优化设置。在生产环境下选取合适的参数值，例如预读值和默认文件描述符数目等，会对系统性能有很大的影响。** 关闭数据库文件的 atime禁止系统对文件的访问时间更新会有效提高文件读取的性能。这个可以通过在 /etc/fstab 文件中增加noatime 参数来实现。例如:/dev/xvdb /data ext4 noatime 0 0修改

2015-05-07 14:19:29 695

转载 2013年个人微博推荐技术资料汇总——何登成

对于技术人员来说，大量的阅读是学习和提高不可避免的方式，而圈内一些技术大牛的阅读内容，通过他们的亲身阅读和思考，更加具有借鉴的意义。这两天看到一篇何登成的2013年技术资料汇总的帖子，感觉非常好，特转载一下，使自己也能不断学习。2013年，过的很充实，生活上如此，技术上亦是。这一年，看了很多的技术资料，技术上也有了很大的提高。而且，本着分享的精神，很多好的技术资料，也都在个

2015-05-07 13:37:18 1956

原创 MySQL 5.7.7编译安装过程

介绍：MySQL的安装方法有多种，如yum安装，rpm包安装，rpm源码编译安装，源码编译安装，通用预编译包安装。其中yum安装和rpm包安装比较简单，软件安装时会自动默认设置，但可定制性弱版也较旧。源码包编译安装可定制性强版本也新。下面是通用预编译包安装和源码编译安装的方法，MySQL的版本为最新的5.7.7版。在MySQL5.7.7中有一些新的特性如：1、初始化数据库时不再使用“-

2015-05-06 12:00:51 17366

原创 CentOS 中/etc/profile.d/path.sh 脚本的使用

      CentOS 中每个用户都要指定各自的环境变量，其中包括可执行的 path路径，这些路径决定了每个用户在执行时的命令工具。      一般情况下，可以再每个用户的环境变量里设定各自的 path变量值，然后再执行export PATH使其生效，但如果用户比较多，安装命令工具也原来越多，且出来本身用户可以执行这些工具，root用户或其他用户也可以执行命令，这时在每个用户环境变量

2015-05-04 18:26:42 4856

原创 Oracle 11g 手工创建数据库实验

Oracle数据库的手工建库是依据Oracle数据库的体系结构，依次创建实例、创建物理结构、创建逻辑结构。手工建库一般需要八个步骤：1.设置oracle用户环境变量2.准备数据库相关目录3.生成实例的口令文件4.生成实例的pfile参数文件5.生成实例的spfile文件，并启动到nomount6.执行数据库创建语句7.执行动态性能视图创建脚本8.确认数据库运

2015-04-29 16:32:44 1693

Flask依赖包和安装包汇总
Flask-0.12.1 离线安装需要的软件包为: install_requires=[ 'Werkzeug>=0.7', 'Jinja2>=2.4', 'itsdangerous>=0.21', 'click>=2.0', ], 这四个依赖包都需要安装后，才能正常安装Flask；这四个依赖包也有其他依赖： Jinja2-2.9.6 安装需要的依赖包有： install_requires=['MarkupSafe>=0.23'], Werkzeug-0.12.1 安装没有必须的依赖包； itsdangerous-0.24 安装没有必须的依赖包； click-6.7 安装没有必须的依赖包； MarkupSafe-1.0 安装没有必须的依赖包； 本资源中，包含上面所有的依赖包和软件包

2017-05-15

percona-toolkit 2.2安装包
安装包中包括：percona-toolkit 2.2 安装包，官方说明文档，工具使用说明。

2015-01-20

mysql数据库查询优化测试环境脚本
示例 演示如何阅读MySQL的查询执行计划。先创建5张表，命令如下（各表的数据量为：t1表10000行数据，t2表100行数据，t3表100行数据，t4表7行数据，t5表10行数据）： CREATE TABLE t1(id1 INT,a1 INT,b1 INT,PRIMARY KEY(id1)); CREATE TABLE t2(id2 INT,a2 INT,b2 INT); CREATE TABLE t3(id3 INT UNIQUE,a3 INT,b3 INT); CREATE TABLE t4(id4 INT,a4 INT,b4 INT); CREATE TABLE t5(id5 INT UNIQUE,a5 INT,b5 INT); 附件中的脚本是创建导出结果，下载后，直接在自己的测试数据库中执行“source test_env.sql”命令即可创建自己的mysql测试环境。

2014-12-16

张烈－Oracle数据库讲义.doc
张烈老师之前进行Oracle培训的教材，注重实验操作！

2014-07-18

Oracle Database 9i10g11g编程艺术源代码.zip
Oracle Database 9i10g11g编程艺术源代码.zip Tom 《Oracle 9i10g编程艺术-Tom.pdf》一书中的实验代码，有些格式不太好，但整体还是可以用的。

2014-07-18

Oracle 9i10g编程艺术-Tom.pdf
Oracle 9i10g编程艺术-Tom.pdf Tom的经典书籍，对Oracle体系结构和与开发相关的重要功能做了详细的说明和实验。

2014-07-18

OracleDatabase11gNewFeaturesforAdministratorsExamGuideExam1Z0-050.pdf
OracleDatabase11gNewFeaturesforAdministratorsExamGuideExam1Z0-050.pdf 该文档是Oracle 10g OCP升级为Oracle 11g OCP的官方英文教材。

2014-07-18

Oracle Database 11g：面向管理员的新增功能(1Z0-050).pdf
Oracle Database 11g：面向管理员的新增功能(1Z0-050).pdf 该文档是Oracle 10g OCP考试升级为Oracle 11g OCP的官方PPT教材。

2014-07-18

OCP_10g 官方中文_043.pdf
Oracle 10g OCP 官方认证教材中文版 043.

2014-07-18

OCP_10g 官方中文_042.pdf
oracle 10g OCP 官方教材中文版。

2014-07-18

OCP_9i中文版007-2.pdf
Oracle 9i OCP中文版教材 007-2

2014-07-18

OCP_9i中文版007-1
Oracle OCP 9i 中文版 007上。

2014-07-18

AIX系统存储管理命令总结
附件中是AIX系统涉及到的文件系统、存储管理的相关命令。

2012-11-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除