XuYongshi02-CSDN博客

原创 golang HTTP 服务器处理日志/Stream流

目前，我开发 HTTP 服务，用的是 beego框架，方便了很多。但是，有时候，还是会遇到一些特殊的场景。比如：过滤日志。这应该是一种典型的stream，同时数据量也适中，不会有人，为了这个，就用一些很重的框架。可以这样直观的描述这个逻辑其他组件产生 log || \ /我的组件，业务处理 || \ /用户， http client这种情景下，有

2018-01-19 16:22:08 4647 1

原创 GoLang 中当 Client 关闭链接后， Server 如何处理。

时间： 2018-01-19最近，使用 beego 框架开发了一些 Web应用， Beego中的 "Serverlet" 基本，都长类似的样子// @router /follow [post]func (ctl *EventController) GetEvents() {..........}有时候，服务的时间，比较长。比如这样的： for { line, err := rr.Read

2018-01-19 15:15:07 3167

原创 MySQL 5.6 的MASTER – SLAVE 主从实例配置及切换（二）

MySQL 5.6 的MASTER– SLAVE 主从实例配置及切换（二）6. 参考a) MySQL的master和slave的切换http://lyhm4.blog.163.com/blog/static/98776700201386111831351/b) Mysql测试一：MysqlSlave群切换Masterhttp://www.68idc.cn/he

2017-03-15 20:02:06 1088

原创 MySQL 5.6 的MASTER – SLAVE 主从实例配置及切换 (一）

MySQL 5.6 的MASTER– SLAVE主从实例配置及切换（一）1. 任务目标近期在研究openstack中的trove，涉及到mysql 的主从热备的部署和切换，由于流程复杂，为了更好的理解，直接在Linux上部署，测试一下。2. 参考a)MySQL5.6 数据库主从（Master/Slave）同步安装与配置详解2016/5/6http

2017-03-15 19:56:57 3510

原创问题讨论：超市取消称重台，在收银台称重收钱，并且只有1/3的收银台称重

今天在敏捷社区里，有人抛出了一个问题：春节期间，去附近的超市购物，发现了一个变化，原来蔬菜水果的称重台没有了。顾客需要到收银台去称重，并且，能够称重的收银台，只占全部收银台的1/3。于是，队伍变的很长很长。对于这个问题，先说下，我立刻想到了《牛奶可乐经济学》这本书。在群里讨论了以后，我想到了这个居然符合“精益“的精神。首先，排队的人长了，顾客意

2017-02-13 20:27:53 2003

原创 Python的Numpy库中的 nonzero函数，及应用在 hardlim硬限幅函数中

Python的Numpy库中的 nonzero函数，及应用在 hardlim硬限幅函数中在学习邓捷的《机器学习算法原理与编程实践》中 p168页的激活函数 hardlim的时候，看不懂。查询相关的知识点，学习了下。先看 python代码#! /usr/bin/pythonfrom numpy import *'''

2017-01-06 13:44:36 3468 3

原创 AWS DMS操作示例

AWS DMS 操作示例1. 概要数据导入导出 AWS Database Migration Service主页：https://aws.amazon.com/dms/管理台：https://console.aws.amazon.com/dms/home2. 主要的源、目标数据库产品

2017-01-03 18:16:30 4658

原创 AWS RDS 介绍六）快照 Snapshot 七）S3存储

AWS RDS 介绍共分为 7 个部分，其中第 3部分重点介绍，如何创建一个RDS 实例(http://blog.csdn.net/xuyongshi02/article/details/53995675)。六）快照 Snapshot迁移 Migrate Database恢复Res

2017-01-03 17:46:34 5909

原创 AWS RDS 介绍四）配置模板化五）监控Enhanced Monitoring

AWS RDS 介绍共分为 7 个部分，其中第 3部分重点介绍，如何创建一个RDS实例(http://blog.csdn.net/xuyongshi02/article/details/53995675)。四）配置模板化参考：http://docs.aws.amazon.com/AmazonRDS/latest/User

2017-01-03 17:25:27 2187

原创 AWS RDS 介绍三）创建 RDS 实例

AWS RDS 介绍共分为 7 个部分，其中第 3部分重点介绍，如何创建一个RDS 实例。三） AWS RDS 试用MySQLhttp://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_GettingStarted.CreatingConnecting.MySQL.

2017-01-03 17:10:19 7272

原创 AWS RDS 介绍一）相关产品二）. 用户手册

AWS RDS 介绍共分为 7 个部分，其中第 3部分重点介绍，如何创建一个RDS 实例。一） DB 相关产品https://aws.amazon.com/products/databases/Product TypeAma

2017-01-03 16:32:50 1255

原创在AWS EC2上编译Caffe，并测试示例程序

在AWS EC2上编译Caffe，并测试示例程序Caffe 1.0.01. 启动Ubuntu 14.04 EC2.选择镜像版本2. 进入虚拟机后，安装编译 Caffe步骤，参考。http://blog.csdn.net/xuyongshi02/article/details/53945635目前的版本是 1.0.0-rc3。h

2016-12-30 18:46:32 1350

原创 Caffe1.0.0安装编译 - Ubuntu 14.04

参考 https://prateekvjoshi.com/2016/01/05/how-to-install-caffe-on-ubuntu/

2016-12-30 18:25:43 1855

原创 Caffe 下示例程序 mnist 日志输出

共分3个部分：1. Caffe命令 usageroot@ip-172-30-0-251:/caffe# root@ip-172-30-0-251:/caffe# build/tools/caffe caffe: command line brewusage: caffe commands: train train or finet

2016-12-30 17:59:47 2599

原创外部系统调用AWS ML服务的接口－ Python

外部系统调用AWS ML服务的接口－ PythonAmazon Machine Learninghttps://aws.amazon.com/machine-learning/StepsStep 1: Prepare Your DataStep 2: Create a Training DatasourceStep 3: Create an

2016-12-30 17:40:33 1348

原创亚马逊机器学习服务的实例基本操作 -- 自定义ML模型

亚马逊机器学习服务的实例基本操作 -- 自定义ML模型Amazon Machine Learninghttps://aws.amazon.com/machine-learning/StepsStep 1: Prepare Your DataStep 2: Create a Training DatasourceStep 3: Crea

2016-12-30 17:23:57 2359

原创亚马逊机器学习服务的实例基本操作步骤

亚马逊机器学习服务的实例基本操作步骤Amazon Machine Learninghttps://aws.amazon.com/machine-learning/StepsStep 1: Prepare Your DataStep 2: Create a Training DatasourceStep 3: Create an ML M

2016-12-30 17:06:54 2358

原创敏捷2016 总结 (包括16年社区活动的收获问答）

敏捷2016 总结今天是最后一个工作日了，2016年除了好好的写代码，忙的最多的，就是敏捷了。首先得感谢公司的王琴，把我拉到了北京的敏捷社区，和各位大咖有了很多的亲密接触。认识了（江湖上人称）无敌哥的王立杰老师，京东金牌的Bob姜。先说下整体的工作状态啊。这一年来，所谓的敏捷教练连兼职也算不上，概括下来，就是：买书，引导新人，站会提醒也就

2016-12-30 15:17:53 753

原创敏捷大会――会后反思

敏捷大会――会后反思周日 12月18号的敏捷大会上，主要参加了敏捷实践分会场。在听的时候，我一直在脑海中，一直试图把演讲老师的经验模式，往自己的团队上“套”。一直以来，在工作交付，需求来源方面，相应的质量方面，我们都有很多头疼的地方。引入了敏捷，公司的管理层，尤其是高层，肯定希望，能带来改变。但是，我们的原生环境到底带来了哪些束缚，听了分享后，多少有了些头绪。我们

2016-12-20 00:45:42 688

原创虚拟社群实战经验分享——听后感

虚拟社群实战经验分享——听后感（一）背景加入了一个微信讨论组，有一个QQ大群的群主，创建群到现在差不多快10年了，他分享了从选题，到寻找初始会员，再到成功运维，探寻收费模式等这一系列的实操过程。听下来，很多内容非常新颖，原来QQ群，还能这么玩啊。虽然这个群主很谦虚的说，也就是几千人的一个QQ社群。但是，规模大了以后，遇到的各种问

2016-09-22 02:38:34 1400

原创配置Bitbucket到 Jenkins的WebHook

配置Bitbucket到Jenkins的WebHook2016-9-14环境：Bitbucket 版本4.9？(https://blog.bitbucket.org/)Jenkins 版本2.7.2目标：1. 用BitBucket（关键词：在线、代码、托管、Mercurial、兼容Git、https://bitbucket.org/）

2016-09-14 17:48:08 10761

原创 git tag — 给某个提交打个标签

git loggit tag -a "v0.2" c98c186ebb381005b495f6f1f2a65dc72195ad9d -m 'v0.2'git push origin v0.2

2016-08-31 16:20:10 17573

原创快速上线—— 开发、运维和敏捷迭代（社区活动总结）

DevOps 开发和运维不应该分离在客户的眼中，不存在开发和运维的区别，甚至也不存在谁是项目经理的说法，他最关心的就是他自己的事解决了没有。换句话说，就是他的需求有没有被满足。离客户最近的是什么？是线上的产品。就是那些对于客户来说，看的见，“点”的到的按钮。

2016-08-29 06:40:24 1423 1

原创敏捷与”不知道“

敏捷与”不知道“最近读了第一遍《人类简史》。这本书里有不少独特的视角。沉思了很久。什么是西方式科学与技术发展的源动力？要知道不只是东方，印度，波斯，阿拉伯半岛，对于生产力，他们也有需求，也发明了很多东西，对自然也有深刻的认识。但是，没有人认为他们发展的是科技。如果说，这些文明还都比较温和，没有很强的求知欲，或者偏人文。那么古希腊呢？他们的思辩，数学，朴素的自然观，都很有名。一般，

2016-08-09 14:33:53 326

原创敏捷学习－破袭的故事 - 故事架构

敏捷学习－故事架构 1 ——破袭的故事2016-7-23 先说一个八年抗战后期的故事，当时的情况下，豫北黄河铁桥，成为了（日本在华）大陆交通线上的重要枢纽，盟军决定把它炸掉，派了6个人，到日军（伪军）占领区，完成这个任务。一）此故事不是彼故事很显然，历史上发生了爆破黄河铁桥的事情，围绕着这个事件，都有哪些利益相关方呢？有国军，有日军，有伪军，美军，共军（苏军）。

2016-07-25 23:58:29 507

原创敏捷学习－ Scrum与功能团队 2016-7-13

敏捷学习－ Scrum与功能团队 2016-7-13 现在流行一个词“撕B”。这个词，足可以形容，互联网行业，人员和组织间的各种“摩擦”。一个普通的程序员可能这么度过一天的。拎着早餐，打开机器，邮件列表里，已经有一堆的Bug列表了，随便浏览了一下，心里已经在暗暗的说，某某某，这个傻X，这么明显，环境变量少了一个，测试环境咋配的啊，不是早改了么。好不容易，吃完了早饭，还没抬头

2016-07-15 00:30:56 529

原创敏捷学习：产品待办列表 2016-7-13

敏捷学习：产品待办列表 2016-7-13 现在，健康类的App很火。有那么一个机会，让你给健身的人定制一个App，给你8个开发人员，你该怎么办？有这个一次会议。一个产品经理（PO，Product Owner）对这个有点“不太靠谱”的想法，把这男男女女的8个人，拉在了一起。一张口，就说，大家多少，对这个产品，都知道点了。咱们一个一个来说说自己的想法吧。某某某，你先说说，你想咋做吧

2016-07-14 01:33:59 3428

原创看板与组织重组 1

看板与组织重组（一）今天，我想把最近一段时间，我所属的小组的变化情况回顾一下。在这个过程中，有不少的变化，并非如大家设想的那样。先描述一下涉及到的组织吧。A部分：没有经历过敏捷开发B部分：经历过敏捷方法，可以归于SCRUMC部分：没有经历过，陆续加入组织是变化的，也会经历新生、成长、变化、解散的过程。现代的公司中，完全新成立一个部门的机会不是很多，更多的变化形

2016-07-08 00:44:48 461

原创敏捷故事 4小时产品上线

敏捷故事4小时产品上线一位敏捷的前辈在一次社区活动中，分享了他们的小“实验”：4小时上线一个产品。你相信么？如果这是一个”命题作文“，我们该怎么办呢？第一个反应是：这是一个什么产品呢？是啊，需求很重要。这位前辈说，他们想做一个“快递”“送”“热销书“（指的是偏管理或者讨论技术趋势方面的这类），承诺2小时送到，当然价格方面，就不能打折了。可是，这个需求，还

2016-07-03 14:10:58 606

原创 harbor 中使用 push 上传镜像时候显示没有认证

harbor 中使用 upload 上传镜像时候显示没有认证概述： VMware harbor 安装完成后，使用docker tag 打新的标签，然后用docker push上传镜像的时候，显示安全方面的错误。1.客户端显示信息[root@ip-172-30-0-20 ~]#docker push 17

2016-06-13 00:35:53 11448

原创 vmware harbor源码编译

harbor源码编译GitHab 主页 https://github.com/vmware/harbor1. 下载 zip包,解压wget https://github.com/vmware/harbor/archive/master.zip; unzip master.zip2. 配置 --编辑 harbor.cfg文件

2016-06-13 00:22:25 2205

原创 docker-engine安装

最近一直在使用docker 做一些试验，每个新机器都需要部署docker的环境。环境信息如下： RedHat 7.2，安装 docker官方的安装 docker-engine1.)sudo rpm --import"https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d

2016-06-12 23:56:31 4505

原创使用docker容器学习 Nginx 反向代理

使用docker容器学习 Nginx 反向代理概述：使用的镜像是官网上的nginx，创建了3个容器实例，为了方便，分别启动了以下三个端口，90端口的实例，对外服务，9001 和 9002 端口的实例通过link被90实例反向代理。当然，也可以都启动在80端口上。 90 / \|9001| |9002|

2016-06-12 23:27:50 1802

原创 VMware Harbor 使用过程中遇到的问题 1 -- 无法上传docker镜像

问题描述：使用 HTTP 模式安装好了 VMware Harbor，但是，使用的时候发现：使用docker push 命令推镜像的时候，失败了，自然， web界面上也看不到镜像。解决办法要点：1. 确认配置正确，可以独立 run 一个registry的容器，实验一下配置是否正确2. 使用docker login 命令先登录docker

2016-06-08 19:56:35 13517 2

原创 Linux下64 位预编译的 go 1.6.2 安装

go 安装 - 1.6.2OS： Linux, 64位， readhat 7.2使用官网预编译gz包安装1. 网址 https://golang.org/目前版本 1.6.2下载页 https://golang.org/dl/https://storage.googleapis.com/golang/go1.6.2.linux-amd64

2016-06-06 15:33:25 1477

原创 TLS安全的docker registry —— 自签名证书安装

自签名docker registry 安装记录安全的Docker registry，包含Authentication， ACL， TLS 等，不安全的，包括，只有签名的（TLS）的认证，和完全开放的。以下是安装Docker registry 后，利用openssl 生成一个自签名的证书，用户信任 Registry 的站点。1. 基本信息系统 64位R

2016-06-06 15:20:06 8337 3

原创我的docker常用命令清单

我的docker命令清单2016-5-23总体上docker的命令比较简单，但是，有些稍微复杂点的还是需要记录一下。需要root权限，不足的时候，报错如下：[ec2-user@ip-172-30-0-43~]$ docker ps -aCannotconnect to the Docker daemon. Is the d

2016-05-23 18:11:57 4563

原创 Consul的安装与试用

Consul的安装与试用2016-5-23一）安装在RedHat7.2上1. VM@aws info [root@ip-172-30-0-43home]# uname -aLinuxip-172-30-0-43.ec2.internal 3.10.0-327.el7.x86_64 #1 SMP Thu Oct 2917:29:29

2016-05-23 11:31:10 11928

原创 Akka/play(activator)2.5.3 创建工程 4

Akka/play(activator)2.5.3创建工程2016-5-205. 4 再给一种写法app/ controllers/MyController.java文件中myFunc方法修改如下：importakka.util.Timeout;importscala.concurrent.duration.Duration;pu

2016-05-20 18:26:06 736

原创 Akka/play(activator)2.5.3 创建工程 3

Akka/play(activator)2.5.3创建工程2016-5-205. 引入actor，编写一个复杂的逻辑5.1 代码以及相关的类接下来，我们引入一个akka中的actor处理具体的逻辑。基本逻辑是，controller将收到的参数，组织成一个ArrayList，actor在onReceive中收到后，完成具体的业务逻辑。app/ co

2016-05-20 16:42:02 1062

空空如也

空空如也