红薯爱帅-CSDN博客

原创 MongoDB入门学习3 - 查询总结

1，SQL语句中Where条件处理1.1，基本查询全集合查询 find([{文档条件}])查询第一个 findOne([{文档条件}])将查询结果格式化展示 pretty() 例如：db..find().pretty()1.2，比较运算符默认判断，无运算符$lt：little，小于 <$lte：little or equals，小于等于 <=$gt：granter，大于 >

2017-10-26 14:27:47 418

原创 MongoDB入门学习2 - 常用命令

1，关系型数据库与Mongodb的术语类比1.1，术语对比介绍 Mysql术语 MongoDB术语介绍 database database 数据库 table collection 数据库表 – 集合 row document 数据记录 – 文档 column field 数据字段 – 域 index index 索引 – 索引

2017-10-26 14:27:20 529

原创 MongoDB入门学习1 - 使用介绍

1，MongoDB简单介绍1.1，NoSQL数据库数据库：进行高效的、有规则的进行数据持久化存储的软件NoSQL数据库：Not only sql，指代非关系型数据库优点：高可扩展性、分布式计算、低成本、灵活架构、半结构化数据、简化关联关系缺点：没有标准化、有限查询、不直观常用NoSQL数据库类型常用NoSQL数据库典型代表简介列存储 Hbase、Cassa

2017-10-26 14:26:18 655

原创 Python - 批量转换Word文件为PDF文件

1，目的通过万能的Python把一个目录下的所有Word文件转换为PDF文件。2，遍历目录作者总结了三种遍历目录的方法，分别如下。2.1，调用glob遍历指定目录下的所有文件和文件夹，不递归遍历，需要手动完成递归遍历功能。import glob as gbpath = gb.glob('d:\\2\\*')for path in path: print path2.2，调用os.walk

2017-09-07 20:05:04 14645 1

原创 Flask应用示例1 - 通过Flask实现Restful服务

1，前言Python的强大，已经涉及到软件开发领域的方方面面。然而，Python入门容易，精确很难，需要深入研究。在Web方面同样如此，常用的Python Web框架，例如Django、Flask、Tornado等等，共计有100多种，各有优劣。本文以Flask为例，介绍Flask的Restful实现方式，主要实现对数据表的增删查改操作。2，需求在开发代码之前，需要提前明确URL请求、HTTP方

2017-09-04 13:44:52 2700

原创分布式存储服务器FastDFS - 常用命令介绍

1，前言关于分布式存储服务器FastDFS的部署搭建，可以参考我上篇文章： * 分布式存储服务器FastDFS - 入门介绍与部署搭建 http://www.jianshu.com/p/39f87e6e615a2，常用命令查看进程ps -ef | grep fdfs启动/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf /usr/bin/fdfs_sto

2017-08-28 18:23:48 552

1，简介FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FastDFS

2017-08-28 18:23:11 2469

原创 OpenCV图像处理--为图像添加Logo

1，目的将logo图标叠加到一张图片的右上角，要求有颜色的区域为不透明，例如将阿里影业的Logo叠加到战狼2的海报上，原始图和效果图如下。2，思路不同的logo有不同的处理方法，有的是黑色需要透明，有的是白色需要透明，但是，整理的思路是一致的。如下图所示，从上向下，对要形成的效果进行分解，一共分为3层。第一层需要第二层的两张图片，做cv2.add运算即可第二层第一张图片需要第三层前两张图片，做c

2017-08-07 17:41:53 7601

原创 OpenCV图像处理--将图像裁剪为圆形

1，需求为了便于项目前端展示用户头像，需要将头像处理为圆形，非圆形区域设置为透明。其实，前端可以在显示的时候处理，但是前端采用WebGL，暂时搞不定，所以由后端进行图像的一次性加工。于是，我们尝试用Linux工具Convert来完成，但是，百思无解，后续决定采用Python+OpenCV。2，实现优秀的代码不需要解释，直接看代码吧，O(∩_∩)O。#coding:utf8import numpy

2017-08-04 19:14:32 11901 6

原创 Nginx之lua插件开发

1，背景按照项目需求，搭建图片服务器FastDFS，但是，发现上传的图片文件名和需要再次请求的文件名不一致，这样需要重新刷新一下数据库，例如，上传1.jpg，FastDFS会返回a.jpg，然后需要将a.jpg保存到数据库，否则将无法访问该图片（直接访问1.jpg不行）。当然，这种规范也是符合图片服务器的通用配置和业务需求，因为，一般情况下，图片服务器是面向用户的，而用户上传的图片很难保证不重名

2017-08-03 21:04:09 3919

原创 Docker应用示例2--使用Docker创建简单集群服务

1，目的在了解Docker容器、镜像和仓库基本使用的情况下，可尝试搭建Docker集群，进入Docker云计算时代。通过本文的学习，可以了解学习Docker集群的搭建和使用，了解学习Docker的基本网络配置。2，Docker集群模块划分本文将搭建一个简单的Docker集群，包含三个模块，分别是消息模块、计算模块和测试模块。消息模块，docker_message 使用redis作为消息中间件

2017-07-27 15:10:03 612

原创 Docker常用命令总结

1，目的总结Docker常用命令，便于梳理和巩固对Docker的学习，也便于能够研究Docker更深层面的技术实现。2，仓库相关$ docker search $KEY_WORD # 查找镜像$ docker pull $REGISTRY:$TAG # 获取镜像$ docker push $IMAGE_NAME:$IMAGE_TAG # 推送镜像

2017-07-27 15:07:35 383 2

原创 Docker应用示例1--使用Docker创建Web服务

1，目的在已经掌握docker安装、docker仓库的基本使用、docker镜像和容器的基本操作和相互转化的基础上，可尝试通过docker搭建一个web服务器，便于分布式部署或快速移植web服务器。通过本文的学习，可以了解学习docker容器与宿主机的文件和端口映射，进一步熟练使用docker容器。2，修改容器，搭建简单的web服务安装nginx# apt-get install nginx修改

2017-07-26 11:10:17 4087

原创 Docker的安装和测试使用

1，Docker安装Docker是啥，以及其与虚拟机的对比，就不介绍了，网上有很多资源可以学习和了解。本篇文章重点介绍Docker的安装和测试使用。Docker的安装，分为离线安装和在线安装两种方式，方便不同的应用场景使用不同的安装方式。关于Docker的测试使用，本文会介绍如何运行Docker容器、如何修改Docker容器，以及如何完成Docker容器到Docker镜像的转化。1.1，d

2017-07-24 21:26:51 51073

原创 ElasticSearch数据导入和搜索的流程简析

数据导入流程1，原始数据以Mysql为例，就是一个数据表，表结构如下：CREATE TABLE `twitter_tweet` ( `id` int(11) NOT NULL AUTO_INCREMENT, `tweet_id` varchar(200) DEFAULT NULL, `user_id` varchar(200) CHARACTER SET utf8 DEFAULT NUL

2017-07-24 13:51:06 1044 1

原创 Nginx入门介绍-安装与使用

1, 目的Nginx (engine x) 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011

2017-07-22 16:07:44 500

原创 tmux使用介绍

tmux使用介绍tmux简介tmux，升级版本的screen，可以进行屏幕切割，操作更加简单便捷。tmux模块tmux使用C/S模型构建，主要包括以下单元模块： * process，一个tmux命令执行后启动一个tmux服务 * session，一个tmux服务可以拥有多个session，一个session可以看作是tmux管理下的伪终端的一个集合 * window，一个session可能会有

2017-07-11 14:41:12 375

原创 PyOpenGL-安装与测试

1，目的本文只是为了初步了解一下Python的OpenGL使用方法（整合前辈的技术Blog），至于绘图方面的博大精深，我们尚不知一二，有待于作者以后深入学习和实践，不在本文的讲述范围。不过，计算机绘图方面的技术深度和商业使用，是值得深入学习研究的。但是，是否是Python所长，就看以后的技术演化了。2，安装执行Linux命令安装pip install PyOpenGL PyOpenGL_acce

2017-07-10 14:46:06 9765

原创 ElasticSearch写入和查询测试

ElasticSearch导入和查询测试

2017-07-08 17:48:09 8254 1

原创 Elasticsearch安装与测试

Elasticsearch安装与测试

2017-07-04 12:01:00 377

原创 Scrapy安装和入门Demo开发

scrapy安装和入门demo开发

2017-06-29 21:46:33 1578

原创 Mycat安装以及使用测试

Mycat安装，以及入门使用。

2017-06-23 20:23:44 417

原创 Mysql单机多实例搭建说明

Mysql单机多实例搭建说明

2017-06-23 19:29:15 371

原创初探oci之编译问题小结

〇、前言继续上篇文章的讲述，让我们一块走进神奇的oci。一、oci的概念ORACLE调用接口(Oracle Call Interface简称OCI)提供了一组可对ORACLE数据库进行存取的接口子例程(函数)，通过在第三代程序设计语言(如C语言)中进行调用可达到存取ORACLE数据库的目的。在普通的情况下，用户可以通过SQL和PL/SQL来访问数据库中的数据。ORA

2015-01-30 16:21:55 1807

原创 Linux下单独安装Oracle客户端

〇、前言百度上面搜索的资料，都是垃圾资料，而且例子都是相互复制，确没有何参考价值，最可烦的是需要安装oracle 远程客户端，他们那些笨蛋都是以本地为主，一般情况下本地如果有安装oracle, 也会安装好客户端，不需要那如群笨蛋发布那些无用的信息，浪费人家的时间。本文参考http://www.cnblogs.com/joeblackzqq/archive/2011/03/19/1988

2015-01-30 16:14:58 960

原创 Thrift跨语言样例开发

thrift开发样例

2015-01-30 16:12:02 1070

原创不同字符编码格式之间的转换

一、概述为使计算机支持更多语言，通常使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。比如：汉字 '中' 在中文操作系统中，使用 [0xD6,0xD0] 这两个字节存储。二、编码格式分类1、ansi编码不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用2 个字节来代表一个字符的各种汉字延伸编码方

2015-01-30 16:07:40 2150

转载 P2P 之 UDP穿透NAT的原理与实现（附源代码）

P2P 之 UDP穿透NAT的原理与实现（附源代码）原创：shootingstars参考：http://midcom-p2p.sourceforge.net/draft-ford-midcom-p2p-01.txt原文：http://www.cnblogs.com/epan/articles/98295.html论坛上经常有对P2P原理的讨论，但是讨论归讨论，很少有实质的东西产

2014-12-31 11:52:07 1020 1

原创互联网带来的颠覆，改变了传统的营销套路

互联网带来的颠覆，改变了传统的营销套路。如何打造一款行业领先产品，我们需要搞清楚小米的方式。

2014-12-18 19:05:21 1001

原创致敬马云成功背后的蔡崇信

我不太会写书评，可能有一个原因，是一直想最大程度汲取书中的真知灼见，以至于在某些观点缺乏展开和深究。另外，数学的思维告诉我，一个观点的正确与否，是需要很多条件来佐证的，并且，其中任何一个单独的条件都不能直接推导这个观点的正确性。也就是所谓的充分不必要。所以，导致思维很谨慎，不轻下断言。下面，先说说这本书吧。对于阿里巴巴，我评价5分，对于这本书，评价只能是及格。在看

2014-12-06 18:02:26 1841

转载 HBase Shell输入命令无法删除问题解决技巧

2014-02-26 10:48:32| 分类：大数据|举报|字号订阅一、引言：　　HBase shell使用过程中，使用CRT客户端，命令输入后无法删除一直困绕着我，今天终于受不了，几番度娘，谷哥之后，终于有了解决方法，特共享给大家。二、操作步骤secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linu

2014-12-02 10:42:45 659

原创 Sqoop的安装与测试

sqoop的安装与使用测试，mysql2hdfs，oracle2hdfs，oracle2hbase，oracle2hive

2014-12-01 16:36:48 1704

原创在Eclipse上安装Hadoop2.2插件并测试开发

Centos下部署Hadoop2.2，Win7下做MR开发。如何配置，点这里。

2014-11-25 18:18:52 1072

转载 Hive安装与问题处理_使用mysql

1. downloadwget http://mirror.mel.bkb.net.au/pub/apache//hive/stable/hive-0.8.1.tar.gztar zxf hive-0.8.1.tar.gz只需要在一个节点上安装2. 设置环境变量vi .bash_profileexport JAVA_HOME=/usr/lib/jvm/java-

2014-11-25 16:48:53 3251

转载 Hive安装配置详解

Hive安装配置详解作者: Michael日期:2014 年 2 月 10 日发表评论 (0)查看评论本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下：基础环境Hive安装配置启动及演示[一]、基础环境Centos 6.4 32位Java 1.6+ Hadoop 2.2.0

2014-11-25 16:40:33 871

转载 HBase安装配置之完全分布式模式

HBase安装配置之完全分布式模式作者: Michael日期:2014 年 3 月 10 日发表评论 (0)查看评论HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的完全分布式模式安装配置的过程，分布式模式均需要依赖于HDFS。基础环境安装配置[一]、环境说明JDK1.6+Hadoop 2.2

2014-11-25 16:32:48 853

转载 hadoop 2.2.0 集群模式安装配置和测试

hadoop 2.2.0 集群模式安装配置和测试作者: Michael 日期: 2014 年 1 月 22 日发表评论 (5)查看评论本文详细记录Hadoop 2.2.0 集群安装配置的步骤，并运行演示一个简单的job。基本目录结构如下：环境准备Hadoop安装配置启动及演示[一]、环境准备本文所有集群节点的操作系统均为：CentOS 6

2014-11-21 11:21:37 800

原创全面回顾周鸿祎的互联网方法论

红衣教主的观点解析得很深刻，也比较全面，比较适合当前互联网环境。读者如果能结合自身的项目或创业经验，可能体会更深。推荐一读，会思考的人，会有不一样的感受。

2014-11-18 15:18:14 906

原创 Linux抓包总结

Linux运维小技巧，抓包分析。

2014-11-15 15:50:42 1226

原创 Thrift安装介绍

Thrift安装介绍，包含安装流程，以及遇到的一些问题与处理办法。

2014-11-15 15:47:14 5054 3

DataX数据交换软件

redis_win32_server

空空如也