houzhe_adore-CSDN博客

原创 CNN在图像分类上发展

CNN在图像分类上发展自2012年AlexNet在Imagenet一鸣惊人之后，国内外顶尖团队都开始着手研究CNN在CV上的应用。12-15年基本上每一年都可以诞生一副经典之作，16-17年表现平淡，感觉各大团队已经在图像分类上已然通关。研究重心更加偏向目标识别，语义分割领域，以及如何压缩网络。Imagenet：120万张训练图片，5万验证集，15万测试集，涵盖1000类图片。网络...

2018-02-13 11:55:19 2195

原创 Tensorflow(4)-control_flow_ops

该函数用来控制程序执行流，相当于if-else了import tensorflow as tffrom tensorflow.python.ops import control_flow_opsa = tf.constant(1)b = tf.constant(3)condition = tf.convert_to_tensor(False, dtype='bool')rtval = contr

2018-01-19 16:37:45 3533 2

原创 Alexnet训练Cifar10

Alexnet作为经典网络，值得深度学习。通过实验，（1）尽可能的加深对paper一些创新点理解。AlexNet谜一般的input是224*224，实际上应该是227*227。在实验中，我采用的是cifar10，输入是32*32。所以将网络参数同比简化。（2）尽可能理解不同训练方法带来的区别。数据集：http://www.cs.toronto.edu/~kriz/cifar-10-python

2018-01-16 16:58:00 19668 12

原创 Tensorflow(3)-image

本文简要介绍一下tensorflow对image的预处理.->官方API场景：对于训练集，采用SGD训练。每一轮迭代前，对这批图像预处理（随机增强），然后洗牌，开始训练。这个操作，图像预处理可以并行的放在cpu上计算，因此对模型不会带来太多的额外开销。1）tf.random_crop(） parameters: image: 3-D [height, width, channels] size

2018-01-03 10:26:47 364

原创 Tensorflow(2)-exponential_decay

学习率衰减，对于训练非常重要。在 TF中可以用exponential_decay() 官方API文档tf.train.exponential_decay() Parameters: 1) learning_rate 2) global_step 3) decay_steps 4) decay_rate 5) staircase=False 6) name=Nonedecayed_lea

2018-01-02 20:48:12 622

本文介绍卷积3种计算方式卷积：我们先认为图片是由不同的波形组成。在时域空间下，图片就是我们看到的图片，由很多不同频率波形混杂在一起。频域空间下，图片波型变的离散化，可以清楚看到每一个波形的å频率（这块解释非常的粗糙，如果看不明白，搜一下时域图和频域图）。在时域空间下，我们很难把一张图片上噪音完全过滤掉，一种做法，我认为是遍历整张图片，然后修改噪音部分，类似PS过程。另一种办法是将图片转换到频域空间下

2018-01-01 15:06:52 2923 3

原创 Tensorflow(1)-softmax

1 tf.nn.softmax_cross_entropy_with_logits(labels=label, logits=logits)logits = [[0.1,0.2,0.3], [1, 2, 3]] label = [[0,0,1],[0,0,1]]2 tf.nn.sparse_softmax_cross_entropy_with_logits(labels=label1, logit

2017-12-29 16:32:15 266

原创重构-函数

本篇主要介绍9种方法对函数进行重构，通过代码样例解释为什么要修改以及怎么修改。

2017-05-18 15:29:14 1449 1

原创并发中的陷阱-处理器重排序

假设有两个线程分别调用同一个test对象的writer()和reader()。请问，console输出的是什么？(a) 0 (b) 1 (c) 不确定 (d) 不知道 public class test{ private boolean flag = false; private int a = 0; public void writer(){ a

2017-05-16 22:46:02 1650

原创重构(一)

重构（一）通过调整程序结构，在不改变功能的前提下，提高其可读性，降低修改成本。Why:你写的代码计算机能读懂，不代表人能读懂。1 提高代码维护性：项目快速迭代，功能驱动程序设计。随着功能添加，程序逐渐失去自己的结构，可读性大幅下降。新人可以迅速熟悉项目，减少开发公司成本。2 提高代码健壮性：在重构的过程，可以重新梳理代码结构，顺带可以发现一些位置的bug。3 提高开发速度：有过开源项目经验的同

2017-05-16 17:08:32 375

原创 ceilometer监控源码分析之任务队列

本文主要分析ceilometer监控模块任务队列。因为在使用过程中种种问题，生产环境对社区ceilometer做了部分改动。

2016-10-14 16:31:24 1085

原创 nova api limit源码剖析

nova api limitnova的一天请求量大概在30w条，大量的并发操作经常会block到某一个点上，比如数据库读写。如何使得nova集群可以有条不紊的处理请求是保证服务稳定性的一个难点。对于解决上述问题，我们希望在nova拒绝掉处理不过来的请求，而保证用户可以及时获取响应，而不是等待600s后的timeout。*ratelimit是一个用来限制api响应的wsgi中间件，只需要配置即可方便使

2016-10-11 15:22:52 772

原创针对Logstash吞吐量一次优化

Logstash性能优化：场景：部署节点配置极其牛逼（三台 48核 256G内存万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收filebeat（部署在节点机

2016-05-04 15:03:37 41056 14

原创 Elasticsearch调优

1.线程调优（1）jstack 查看当前dump信息（2）统计当先线程执行情况 cat dump.log | grep java.lang.Thread.State | awk ‘{print $2$3$4$5}’ | sort | uniq -c （3）如果有大量的waiting线程，查看具体dump信息，如果线程大多处于空闲状态，说明任务量远远小于线程数，调低线程池。

2016-04-26 19:58:34 917

转载 linux目录结构－/proc

1. /proc目录Linux 内核提供了一种通过 /proc 文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过proc得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取proc文

2015-12-21 23:18:36 573

原创 ELKstack 搭建日志管理平台

ELKstack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

2015-11-06 11:22:27 2648

原创 Sensu监控实战

sensu实现一个简单的监控

2015-10-30 11:31:10 3962

原创 Sensu初探

Sensu 1. Sensu框架 Sensu 是开源的轻量级监控框架，其核心代码1000行左右，使用Ruby开发。提供监控代理，事件处理器和文档 APIs。其架构如下图所示： Sensu提供无差别安装，即客户端与服务器端安装包一样。安装后有三个服务，分别是Sensu-server、Sensu-api以及Sensu-client。Sensu服务器端运行Sensu-server和Sen

2015-09-17 10:50:36 1832

原创 HaProxy 配置Redis高可用集群

目标是做一个高可用的redis集群供 sensu使用。redis集群采用Sentinel + Redis 配置三节点。配置详情可参考之前一篇博文Redis集群配置Sentinel可以做到当master挂掉后，自动选举出新的master，然后它并不是一个proxy。因此我们需要一个proxy提供一个ip给client使用，本文使用HaProxy做代理。考虑到HaProxy单节点故障问题，使用Kee

2015-09-07 11:03:43 4114

原创 Redis集群配置

本博文采用 Sentinel + Redis方式实现Redis高可用集群搭建。Sentinel 是Redis官方提供的Redis Server监控程序。我们可以通过部署Sentinel监控各个Redis Server，当Master Server失效时，通过选举，将Slave提升为Master，继续为客户端提供服务。在使用Sentinel之前，首先要确定客户端是否支持，如不支持，请选择其他第三方方案

2015-09-06 16:01:13 813

原创 Ansible初探

导读：本博文主要总结Ansible一些基本概念以及简单操作，后续会更新使用Ansible部署项目时操作细节。Ansible安装及配置Ansible目录结构Ansible TaskAnsible HandlersAnsible TemplatesAnsible VarsAnsible Meta Ansible安装及配置：安装ansible方法多如星辰，这里

2015-08-28 10:52:36 2590

原创当你输入 nova boot时，client做了什么？

当你输入上图命令后，会发生什么？导读：本博文以nova boot为例分析nova创建虚拟机时, nova client的工作流程。在之后的博文中会分析 nova 创建虚拟机的后续流程。基础简介： nova boot –image 89b959c5-ac9f-4f7e-9094-0a17cd6d78cf –flavor 1 my_instance 该命令为nova创建虚拟机，用到的虚拟

2015-08-20 16:12:43 490

原创 Keystone初探

导读：本博文简要介绍openstack中keystone模块，受众是刚接触openstack的同学。什么是keystone？为什么要keystone?keystone为什么要设计成这样？keystone client有哪些命令？为了形象介绍keystone概念，我们假设OpenStack为一家新成立的公司，其主要业务是对外提供服务，具体服务请自行脑补^^. 新公司刚开业，为首之际当然是招

2015-08-19 12:09:40 503

houzhe_adore的博客