GavinZhou_xd-CSDN博客

原创区块链（BlockChain）介绍 | 系列目录

AI、Block Chain、IoT是今天科技圈出现频率最高的三个词，比特币价格的走高和ICO的流行，也将区块链逐步的带向大众视野。关于区块链，大家听到最多的可能是空气币、ICO、去中心化、比特币这些词，区块链的迅速流行跟财富是有很大关系的，我不懂经济也就不班门弄斧了，这个系列主要从技术的角度来探讨区块链技术。按照圈内的黑话，我们是属于“链圈”的，“币圈”的事情这里就不会涉及。我的一个初步...

2018-08-21 11:21:29 2005

原创 TF-Slim ImageNet数据集制作

TF-Slim(tensorflow.contrib.slim)是TensorFlow的高层API，类似layers，主要可以用来快速的设计、评估模型，有着类似keras般的语法 Tensorflow models包含一个Slim的图像分类库，可以微调、训练、使用预训练模型来对图像进行分类，包含的主要CNN网络有: Inception V1/2/3/4 Inception-Re...

2018-05-08 17:26:52 4888 8

原创图像标注工具

我们在做自己的图像数据集的时候，可能会涉及到图像标注(image annotation)问题. 常见的主要就是两种： Object Detection Semantic Segementation 通俗点说就是对图像进行打框和图像区域的分割. 下面是自己从网上找的做图像标注的一些工具集资料，供参考.主要参考wiki的一份工具清单和Q

2018-01-21 17:59:51 4991 2

原创使用RNN进行图像分类

使用CNN进行图像分类是很稀疏平常的，其实使用RNN也是可以的. 这篇介绍的就是使用RNN(LSTM/GRU)进行mnist的分类，对RNN不太了解的可以看看下面的材料: 1. [LSTM的介绍] http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 2. [The Unreasonable Effectiveness of RNN

2017-12-11 23:02:08 23917 5

原创 Tensorflow实现word2vec

大名鼎鼎的word2vec，相关原理就不讲了，已经有很多篇优秀的博客分析这个了. 如果要看背后的数学原理的话，可以看看这个: https://wenku.baidu.com/view/042a0019767f5acfa1c7cd96.html 一个话总结下word2vec就是使用一个一层的神经网络去学习分布式词向量的方式，相关链接: [Google原版word2vec主页] https://c

2017-12-07 11:51:14 3797

原创使用Tensorflow进行时序预测(TFTS)

时序预测是一个经典的话题，应用面也很广; 结合LSTM来做也是一个效果比较好的方式. 这次准备使用TF来进行时序预测，计划写两篇: 1. 使用Tensorflow Time Series模块 2. 使用底层点的LSTM Cell这就是第一篇啦，Time Series Prediction via TFTS. 来源于此: TFTS介绍，略有加工整理，侵删!TFTSTensorflow Time

2017-11-28 21:16:51 7017 2

原创 Mac安装Texpad1.7.40

Mac下的Latex方案比较优秀的是两种:Sublime Text + skimTexpadTexpad是收费的，原价不便宜(有条件还是要支持下正版的哈)，下面是自己成功的破解方案，现在最新的Texpad的版本是1.7.45，1.7.40也够了哈Step 1:下载Texpad 1.7.40, http://download.csdn.net/download/gavin__zhou/101

2017-11-23 14:17:32 6843 3

原创 win10下配置Tensorflow1.4

今天碰巧帮人配了一台win10 + CUDA8.0 + CUDNN V6.1 + tf 1.4，特此记录配置要求window版本的tf是用不成python 2.X，至少是python 3.5，看官方要求吧，https://www.tensorflow.org/install/install_windows，如下所示:所以总结下就是:Python 2.5 or laterCUDA 8.0 or l

2017-11-08 22:12:51 8104 9

Cifar10数据集不讲了吧，入门必备，下载地址: https://www.cs.toronto.edu/~kriz/cifar.html 官方提供三种形式的下载:可以看出是不提供图片形式的下载的，需要进行数据转换，虽然可以直接读成ndarray，但是对于初学者可能读图更直观点自己写了个转换程序(将bytes形式的文件转换为图片并分类存储):def recover_cifar10(cifar10_

2017-11-06 15:49:37 2438

原创 pip安装报错'not a supported wheel on this platform'

这个错误很常见，解决方法是改名，首先要获得在你的机器的平台上的合法名称： import pip pip.pep425tags.get_supported() 结果可能如下: 上图的意思就是说对于python3.6(cp36)来说，合法的名字只能是这些，比如: ‘cp36_cp36m_macosx_10_12_x86_64.whl’ ‘cp36_cp36m_maco

2017-10-25 23:29:18 1588

原创 python中的装饰器

很多时候我们可能会有这样的需求，就是在调试的时候我们会想打印出某些变量出来看看程序对不对，然后在我们调试好了的时候再把这些print语句注释；这样做确实比较麻烦，我们在想有没有简单的方法：就是在需要打印的时候加上，同时不改变函数的内部代码其实这就是装饰器的思想了： decorators work as wrappers, modifying the behavior of the co

2017-10-24 13:24:35 567

翻译 NLP常用数据集

原文地址: https://machinelearningmastery.com/datasets-natural-language-processing/针对NLP中常见的7个问题进行分类，归纳常用数据集，mark之 Text Classification Language Modeling Image Captioning Machine Tran

2017-10-19 16:25:48 10218 1

原创秋招面试总结（机器学习岗）

好久没更了，最近秋招结束就写下自己的总结吧，首先说下自己比较渣offer并不好，有特别需求的还是去看大牛的总结，就酱。。。上offer情况吧（都是ML岗）： 1. 腾讯（实习转正） 2. 百度凤巢 3. 招行总行智能科学岗 4. 美团点评上海 5. 华为Cloud BU我投的不多，不到10家吧，懒的无可救药…. offer其实对需要的人没有什么借鉴意义，这篇博客也不是说这些，主要是针对大

2017-10-17 16:36:20 2546 1

原创 Mac无法升级six, numpy等

OS 10.10以上，会出现你无法直接使用pip升级向six, numpy等，报错就是各种权限不够，加上sudo结果也一样，原因就是MacOS的系统完整性保护(SIP). 这里有比较详细的讨论: https://stackoverflow.com/questions/29485741/unable-to-upgrade-python-six-package-in-mac-osx-10-10-2解

2017-09-26 18:27:03 1580 1

原创 Out of bag error in Random Forest

sklearn中的RandomForestClassifier有一个参数: oob_score : bool (default=False) Whether to use out-of-bag samples to estimate the generalization accuracy.中文叫‘袋外误差’，可以看出这个参数的意思是：使用oob来衡量test error.关于oob的解释

2017-08-15 10:38:51 4782

转载探究Java的ConcurrentHashMap实现机制

原文地址: http://blog.csdn.net/u011080472/article/details/51392712 在学习ConcurrentHashMap的高并发时，找到了一些高质量的博客，就没有重复转载了。分别列出了JDK6中的Segment分段加锁机制和JDK8中的CAS无锁算法并发机制。基于JDK6在JDK6中ConcurrentHashMap的的并发实现主要利用内

2017-08-06 20:05:54 738

转载深度学习论文资源(截至2016年)

最近看到一篇不错的关于DL的论文索引（截止到2016年），内容质量还是很高的，都是些很经典的论文，值得一看，特此转载. 原文地址: http://www.dlworld.cn/YeJieDongTai/4385.html从全局到枝干、从经典到前沿、从理论到应用、还有最新的研究…，所有你不需要的需要的，现在不需要的未来需要的，你不需要的周边小伙伴需要的…反正全都在这了。拿走不谢，就在AI科技大本营

2017-07-29 17:42:36 2914

转载深度学习优化器详解：梯度更新规则+缺点+如何选择

转载自：https://mp.weixin.qq.com/s/RZc1PUgZs1BqRPeyBmTELA

2017-07-18 14:31:06 2201

转载 WHEN NOT TO USE DEEP LEARNING

转载自: http://hyperparameter.space/blog/when-not-to-use-deep-learning/I know it’s a weird way to start a blog with a negative, but there was a wave of discussion in the last few days that I think serves

2017-07-13 22:05:01 1210

原创 EM算法及其应用

EM算法简介首先上一段EM算法的wiki定义: expectation–maximization (EM) algorithm is an iterative method to find maximum likelihood（MLE） or maximum a posteriori (MAP) estimates of parameters in statistical models

2017-06-02 21:49:18 5012

原创再看CNN中的卷积

这两天在看CS231n的课程笔记，结合着原版英文和知乎上中文版翻译在看，确实Andrej Karpathy写的很棒，很多都是些实践经验不仅仅是理论知识. 我结合着自己的理解和Karpathy的介绍，重新看确实又收获了不少，以前觉得不明白的地方现在也清晰了，所以重新写这个重看篇，仅供参考CNN的组成 convolution layer pooling layer

2017-05-25 11:03:24 7329

原创 fine-tuning的二三事

日常的应用中，我们会很经常遇到一个问题：如何应用强大的model(比如ResNet)去训练我们自己的数据？考虑到这样的几个事实: 通常我们自己的数据集都不会大(<1w) 从头开始训练耗时解决方法就是fine-tuning.方式参考CS231的资料，有三种方式 ConvNet as fixed featu

2017-05-22 20:18:53 5292

转载 java设计模式之创建型模式

转载自: 小宝鸽的博客一、概况总体来说设计模式分为三大类：（1）创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。（2）结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。（3）行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者

2017-05-11 10:33:54 592

原创 GBDT(Gradient Boosting Decision Tree)

GBDT+FFM(FM)+Online Learing(FTRL)是kaggle比赛的重点方法，而且暑期实习面试的时候也有很多面试官问了，还是很有必要学习下的. 我在网上找了下相关资料，感觉讲的都不是很好(可能是我太菜了吧)，所以自己想着写一篇，要是哪里错了，欢迎指正从Ensemble说起Bagging，Boosting和Stacking是集成学习的三种主要的形式.BaggingBagging=Bo

2017-05-03 23:45:38 8204 1

原创 ubuntu14.04+caffe2+OpenCV3.0安装的一些问题

好久不用Caffe了，今天要转换个caffemodel到tensorflow，所以需要caffe的环境，原先预备pull个Docker镜像，最后发现死活下载不下来，只好自己重新装Caffe了，果然每次都有坑，特此记录步骤不多说了，参考宇宙骑士欧老师的，博客在此 Caffe安装博客不过说明下，最新的caffe和tensorflow(>=1.0)都是要CUDA8以上的，低版本的大家不要装了问题编译

2017-05-03 16:25:33 3216

原创机器学习实习生面试总结(阿里腾讯等)

今年来一直在找暑期实习，现在基本已经确定了，前后历经差不多2个月吧，发现了很多自己的缺点，同时也希望写出来供需要的人参考了解先说下我自己的情况吧，暂时决定去腾讯TEG的机器学习岗实习，面试期间(3月初-4月底）投了不少公司的暑期实习，大概有这么多吧(按照投的时间顺序): 完美世界(笔试挂）美团(offer) 阿里(等消息中) 腾讯(offer) 滴滴研究院(offer)

2017-05-01 20:55:28 25010 12

原创 sklearn中的nearest neighbor

KNN介绍基础原理没什么介绍的，可以参考我的KNN原理和实现，里面介绍了KNN的原理同时使用KNN来进行mnist分类KNN in sklearnsklearn是这么说KNN的： The principle behind nearest neighbor methods is to find a predefined number of training samples closest in d

2017-04-23 21:52:37 5049

原创快排和堆排序

别看这个简单也基础，但是真的面试的时候会让你写，纸上手写，嗯快排private static void quickSort(int[] test, int start, int end) { //quick sort的主程序 if(start < end){ int q = partition(test, start, end);

2017-04-17 21:18:19 1019 1

原创二叉排序树的建立和遍历(java)

也是个经典的面试题，要求建立二叉排序树同时实现树的遍历，其实不难，直接上代码吧树节点定义:class TreeNode{ int val; TreeNode left; TreeNode right; TreeNode(){ } TreeNode(int value){ this.val = value; this.left

2017-04-17 10:26:06 1349

原创二叉树的建立和各种遍历(java版)

这是个常见的面试题，比如说通过二叉树的先序和中序遍历，得到二叉树的层序遍历等问题先序+中序 ->建树假设现在有个二叉树，如下：此时遍历顺序是： PreOrder: GDAFEMHZ InOrder: ADEFGHMZ PostOrder: AEFDHZMG 现在给出先序(preOrder)和中序(InOrder)

2017-04-16 22:46:38 1016

原创深度学习中的优化算法

一般来说，深度学习通过仔细的设计Objective function和constraints来确保优化问题是convex的，从而避开一下通用优化算法的难题。优化(optimization)说的有点大，因为存在一阶优化（first-order)和二阶(second-order)优化算法。我们常用的优化算法，比如Adam,SGD等其实都是一阶优化算法（基于gradient)，这篇写的也是一阶优化算法

2017-04-05 18:05:36 2799

原创验证码破解之一：定长文本验证码

之前写过一篇验证码的破解，地址在这，其实效果不好，有很多朋友来问，其实我已经说了只是个demo；既然如此，就写下文本验证码的破解；本次的主题是定长的，就是验证码的长度是个定值，也是大家在上网过程中遇到的最多的验证码。其实挺简单的，网上也有很多的总结性的文章，基本验证码破解就两个思路（deep learning): 定长类：卷积 + 多个Softmax 不定长类: LS

2017-04-03 21:36:30 3163

原创 LSTM入门

之前一直在搞CNN,现在开始学习RNN,先上手一篇LSTM的入门吧原文: Understanding LSTM Networks 中文译文地址: 理解长短期记忆网络摘要：作者早前提到了人们使用RNNs取得的显著成效，基本上这些都是使用了LSTMs。对于大多数任务，它们真的可以达到更好的效果！写了一堆方程式，LSTMs看起来很吓人。希望通过这篇文章中一步一步的剖析，能更好理解它们。

2017-03-31 15:12:24 2345

原创暑期实习面试

最近一直没更新了,对不住关注我博客的各位了,再次道个歉!!! 因为要找暑期实习,所以最近一直忙着各种笔试+面试,实在是没时间,等过段时间我会总结下面试情况, 先这样,后续更新!

2017-03-29 09:35:32 779

原创单链表判断是否有环和环起始节点

面试的滴滴研究院暑期实习生，岗位机器学习，二面除了电话面还要视频面试写代码，两个问题：单链表判断是否有环以及找出环开始的节点建立二叉排序树并进行中序遍历因为第二个之前有写过，所以没什么问题的过了；第一个其实也不难，但是有点紧张，最后面试官告诉我判断是否有环的函数写错了，哎。。。特此重新写下，mark之package acmcoder;class Node_t{ in

2017-03-28 23:28:07 1539

原创 ResNet && DenseNet(实践篇)

上篇博客说了ResNet和DenseNet的原理，这次说说具体实现ResNetdef basic_block(input, in_features, out_features, stride, is_training, keep_prob): """Residual block""" if stride == 1: shortcut = input else: sho

2016-12-05 10:06:28 5512 1

原创 What's the difference of name scope and a variable scope in tensorflow?

Let’s begin by a short introduction to variable sharing. It is a mechanism in TensorFlow that allows for sharing variables accessed in different parts of the code without passing references to the vari

2016-12-03 17:31:56 1797

原创 ResNet && DenseNet(原理篇)

这篇博客讲现在很流行的两种网络模型，ResNet和DenseNet,其实可以把DenseNet看做是ResNet的特例文章地址: [1]Deep Residual Learning for Image Recognition,CVPR2015 [2]Densely Connected Convolutional Networks,CVPR2016本篇博客不讲论文的内容，只讲主要思想和我自己的

2016-12-03 16:29:45 29923 4

转载 Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

转载自: http://www.jianshu.com/p/329d2c0cfca9Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何？在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Residual Conn

2016-11-20 17:23:59 2809

原创 Image Style Transfer Using Convolutional Neural Network(理论篇)

好久没有写博客了,也是惭愧,最近事情比较多,现在抽空写一篇吧今天这篇是关于neual art的,也就是style transfer算法; 文章来源: A Neural Algorithm of Artistic Style, CVPR2015 Image Style Transfer Using Convolutional Neural Networks, CVPR2016前一段时间有一个比较

2016-11-12 23:01:51 11245 5

mnist_normal

word2vec.py

word2vec.tar.gz

OpenCV2.4.8

KNN-mnist识别

KNN识别mnist

空空如也