csz429180-CSDN博客

原创 swift region 简介及实践

最近公司项目需要使用到swift的region,所以特地去研究学习了一番,把研究成果与各位分享.由于是PPT文档,所以就在此附上下载资源链接:http://download.csdn.net/detail/csz429180/6757879

2013-12-23 15:29:17 1011

原创 thrift使用问题汇总

1.注意生成thrift文件时,会出现Assertion `docstring.length() 该问题是由于linux换行符导致的,所以请保证文件换行符的正确性2.一般情况下在使用多线程时,建议使用TNonBlocking模式,可以极大的提高性能,避免出现I/O瓶颈.3.thrift不支持定长数组；无指针的概念；4.接口即所谓的函数（方法）不可

2013-12-23 10:01:50 3653 2

原创重新开始的一页

从上海辞职来到杭州阿里巴巴已经一个周了，

2014-07-21 09:29:37 748 1

翻译 flask使用文档<一> ----------每天翻译一点点

前言: 略什么是"micro": Micro不是指把你整个的web应用放到一个python文件中,也不是指Flask欠缺某些功能,而是指Flask旨在使其核心简单可扩展,它不会替你做太多的决定,比如使用什么数据库.数据库在flask中可以自由选择.所有的一切都取决于你,flask只关心你需要的和不需要的. flask默认是没有数据库抽象层,表单验证或者其他

2014-05-29 11:36:28 777

原创奇思妙想<二>

原创一个linux服务器的管理软件

最近在开发一款小型的服务器管理软件,目前还在逐步开发中,先放个页面

2014-04-02 11:56:18 839

原创一个swift应用方案

目前在公司项目中用到了openstack的swfit作为底层存储,为了保证数据的安全与完整,对于swift做了特别的订制. 1.首先是去除了不必要的认证系统,所有的认证都集成到了前端的数据传输引擎.底层不再做认证. 2.为了达到集群无单点故障,无单磁盘故障,特意采用了3region+一个磁盘一个zone的策略,磁盘不再做raid,这种情况下可以保证数据没有单点故

2014-03-05 11:17:58 850

原创奇思妙想(一)

发明一台可以自动售卖早餐的机器,用支付宝二维码支付,早上只需要挨个把早餐放到售卖机里,坐等上班族刷码购买,还支持投币.

2014-02-21 17:03:58 853

转载深入云存储系统Swift核心组件：Ring实现原理剖析

简介OpenStack是一个美国国家航空航天局和Rackspace合作研发的开源云计算项目，并成为Apache下的一个重要开源项目，目前已经发展到了180家公司参与其中。OpenStack Object Storage（Swift）是OpenStack开源云计算项目的子项目之一。Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群，存储容量可达PB级。OpenStack

2014-02-21 09:40:59 1200

原创利用pysftp实现sqlite的远程访问

大家都知道,sqlite是不支持远程访问的,只能够本地访问.前不久项目中用到了sqlite,需要在本地查询远程服务器上的sqlite中的内容,经过一番折腾,最终采用了使用pysftp将远程服务器上的sqlite数据库下载到本地,然后进行查看,使用了pyqt创建本地应用程序.这其中主要的核心代码是:remote_file = "xxx.db"#远程服务器上sqlite数据库的位置

2014-02-19 14:54:39 5699 2

原创 mysql优化实战

公司项目用到了mysql,基于架构以及后续问题的要求,调优了mysql的配置,力争做到能支撑目前项目的需求.主要调优过程有如下:1.模块分库:利用mysql的多实例mysqld_mutil,给每个模块一个实例进行管理.提高并发能力,降低故障率.2.采用主备模式3.遇到连接数不够的问题,设置max_connections = 10004.遇到bin_log日志过多过大的问题设置ex

2014-01-21 14:54:45 615

原创 sqlite大量数据插入的优化

最近项目中实现一个日志系统需要用到sqlite,将所有的日志文件存放到本地后,由集群统一的日志管理中心收集处理.之前是将日志记录到文件中,但提取不太方便,所以最后决定记录到sqlite中.由于要支持比较大的并发,所以在架构以及sqlite语句的处理方面都进行了比较大的优化,这里主要是针对大量数据记录到sqlite中的方法,语言是python.大数据会首先记入到一个内存队列中,异步写进数据库

2014-01-14 16:52:39 1674

原创 python编码之pythonic

Python是一门很优雅的语言，有一些不同于C/C++的专有用法，使得python的编码变得简洁明了。先看看python中的八荣八耻：以动手实践为荣 , 以只看不练为耻 ; 以打印日志为荣 , 以单步跟踪为耻 ; 以空格缩进为荣 , 以制表缩进为耻 ; 以单元测试为荣 , 以人工测试为耻 ; 以模块复用为荣 , 以复制粘贴为耻 ; 以多态应用为荣 , 以分支判断为耻 ;

2013-12-25 15:46:43 821

原创 python实现的类sofastats程序

前段时间项目需求需要获取系统运行的历史信息,所有的信息均保存在mysql数据库中,稍微google了下发现了个好工具sofastats,但是唯一遗憾的是看上去它只支持默认端口3306的数据库,但我们的数据库是用了多实例的,由此便萌生了自己写一个类似的玩意;首先要链接数据库,python本身就有MySQLdb库,但可惜只支持linux,要在windows下用,稍微有些麻烦,后来选择了pymys

2013-12-24 15:36:22 831

原创 mysql 数据库dump ----python之mysqldump

利用mysqldump工具对mysql的innodb库进行备份或者在同步主备的时候先将主库已经有的数据同步到备库,保证主备库的一致性需要额外安装的模块: sqlparse#!/usr/bin/env python#-*- coding:utf-8 -*-import osfrom warnings import filterwarningsimport MySQLdbfilt

2013-12-24 13:01:01 4350 1

原创 IP,子网,掩码检查以及生成-----python安装包

由于在公司内部项目研发中,遇到了很多网络方面的问题,需要对传入的各种参数进行检查,比如IP的合法性,掩码的合法性,计算子网,主机数等,考虑到这些检查都是共同的,所以在与组员商量沟通后,实现了一个通用的检查模块,可以安装到操作系统直接使用,避免各种重复代码的调用,而且能提供给其他python开发者使用.主要提供的方法有:isValidIP(ip_add): 检查IP是否合法isValid

2013-12-23 10:48:41 3693

原创 thrift----跨语言框架的魅力（c++，python）

thrift由fackbook开发交给apache监管后，已经被众人所熟悉，我要讲的就是thrift中的一些问题： 1.当前的thrift-0.8.0版本存在很多问题，0.9正在众大神打patch中，相信不久就会release。由于thrift-0.8.0版本在gcc >4.6版本时，编译应用程序是会报VERSION_1、VERSION_2、VERSION_MASK 错误，因此需要

2012-05-04 11:07:18 2452 4