Echo0713-CSDN博客

原创 Tensorflow Object Detection API使用

安装安装tensorflow-gpu最新版的tensorflow不支持cuda8.0，因此，这里安装了tensorflow1.4，用清华的镜像： pip install \ -i https://pypi.tuna.tsinghua.edu.cn/simple/ \ https://mirrors.tuna.tsinghua.edu.cn/tensorflow...

2018-03-12 09:15:45 519

原创 Lecture4: Supervised Machine Learning - Part2

Naive Bayes Classifier Naive Bayes假设给定一类，模型中的特征都是独立于其他特征存在的，这样，运算速度会非常快，但是范化能力会比较差。实际上，这个假设通常是不成立的，但并不影响使用。通常适用于高维数据随机森林以随机的方式建立一个森林，里面有多颗较为简单的决策树，将这些决策树结合起来，会产生非常好的效果。Neural network 这一部分就不多说了

2017-07-15 09:07:07 367

原创神经网络的可视化

写在前面：好久没有学习深度学习相关知识了，这几天觉得虽然现在工作跟深度学习无关，可是还是要继续下去，所以还是把最近学习的一些内容总结一下，不一定严谨，只是希望自己可以借此好好整理整理思路。我们在训练神经网络的时候，需要调节大量的参数，神经网络的可视化对于调整参数有着很好的指导作用。什么是可视化呢，先举一个简单的例子。我们可以直接看第一层的feature map来观察神经网络是否取得了较好的效

2017-06-23 21:09:02 6174

原创 Python中静态方法和类方法

Python中的类常规的方法是需要指定一个实例的，即通常第一个参数为self，表示一个实例。但有些情况下，我们想要处理与类有关，而不是与实例有关的数据，因此，不希望有实例作为参数传进来，比如说我们希望记录由类创建的实例的个数，或者维护一个类中的实例的列表，等等。对于这样的任务，我们可以在类外写一个函数，访问类的属性，并作出相应操作，如：def printNum(): print Spam.n

2017-06-23 10:51:22 483

原创 Python 相对导入

今天在看 Python cookbook https://python3-cookbook.readthedocs.io/zh_CN/latest/c10/p03_import_submodules_by_relative_names.html 看到了相对引用。相对引用的格式如下： from . import a from .. import a from ..b import b‘.’指

2017-06-22 16:52:14 451

翻译 Sparse Coding 稀疏编码

稀疏编码是无监督学习的一种，它学习一组超完备基的集合用以高效地表示数据，即 x=∑i=1kaiϕi\begin{align}\mathbf{x} = \sum_{i=1}^k a_i \mathbf{\phi}_{i} \end{align} 稀疏编码就是要找到基向量ϕi。虽然PCA等技术可以让我们高效地找到基向量，但我们希望可以找到基向量的超完备集（over-complete）来表示输入向

2017-06-16 17:50:25 1658

原创 PCA Whitening ZCA Whitening

本篇文章主要内容来自于Andrew的书，链接为http://ufldl.stanford.edu/tutorial/unsupervised/PCAWhitening/PCAPCA也就是主成分分析，是用来降维的一种手段，它可以显著地提高算法的运行速度。当你在处理图像的时候，输入通常是冗余的，这是因为图像中相邻的像素点往往是关联的，PCA可以用来将图像的原始输入近似为一个更低维度的输入，并且保证误

2017-06-16 11:07:11 872

原创需要看的教程(更新中)

machine learning 相关1.http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial Andrew Ng写的，有中文版2.Python 相关https://python3-cookbook.readthedocs.io/ 有中文版

2017-06-13 16:53:33 289

原创 scikit-learn中几种regression算法

之前学machine learning只用到了最小平方回归法，或者是加上regularization（L1和L2），最近在学scikit-learn，发现里面提供了很多种回归算法。在学习时稍微总结了下。1. Ordinary Least Squares最小二乘法2. Ridge Regression其实就是加上了L2 regularization scikit-learn不仅提供了Ridge(

2017-06-12 18:08:15 2421

原创 Lecture3: Evaluation

对于模型而言，accuracy可以在一定程度上反映模型的好坏，但有时候远远不够，这里介绍一些其他的评估矩阵。

2017-06-11 22:41:48 415

原创 Lecture 2: Supervised machine learning

这周主要讲监督学习首先介绍了下监督学习的概念以及过拟合和欠拟合，这些就不再赘述了。K邻近法对数据的结构没有做假设，虽然预测较为正确，但是通常不稳定。线性拟合对数据的结构做了些假设，结果较为稳定，但可能不太精确。如果有大量的特征，尤其是很多特征值为0的情况下，最好不要用K邻近法。SVM支持向量机，SVM可以用于classification和regression。具体可以参考《统计机器学习》

2017-06-10 21:39:24 432

转载 Linux扩大虚拟机系统磁盘空间

参考http://www.cnblogs.com/chenyongjun/p/4604222.html 以及http://www.cnblogs.com/leefan/p/5445542.html

2017-06-06 14:51:56 333

原创 Python描述符

看书看到了描述符，没看懂，网上找了几篇文章总结了下。描述符是一个“绑定行为”的对象属性，在描述符协议中，可以通过方法重写属性的访问。这些方法有get(), set(), delete()，如果这些方法中的任何一个被定义在一个对象中，这个对象就是一个描述符。Python中没有私有变量，而描述符和属性这些用来是写类似的功能。描述符被分配给一个类，而不是实例，修改此类，会覆盖或者删除描述符本身，而不是

2017-06-02 18:36:05 295

原创 Python MRO(Method Resolution Order)方法解析顺序

对于Python中多重继承不太清楚，所以看了下相关文章。以下摘自http://www.cnblogs.com/yiranlaobaitu/p/3764422.html 如果一个派生类有多个直接基类，而这些直接基类又有一个共同的基类，则在最终的派生类中保留改间接共同基类数据成员的多份同名成员。在一个类中保留间接共同基类的多份同名成员，这种现象是人们不希望出现的。C++提供虚基类(virtu

2017-06-02 15:23:17 967

主要翻译了http://www.jmarshall.com/easy/http/的内容HTTP是指Hypertext Transfer Protocol，用于在互联网上传输文件或者其他资源，HTTP通常通过TCP/IP socket进行。一个浏览器可以视作一个HTTP client，向HTTP server(Web server)发送请求并接收响应。标准的HTTP server监听的端口为80.HT

2017-06-02 11:13:16 337

原创 Lecture1: Introduction

看完了cs229但没有做过相关的作业，所以想找门应用的课看一看，顺便也学一学Python，所以开始学习Coursera中的Applied machine learning.这门课不会详细介绍原理细节方面，主要偏向如何用一些库实现机器学习。Introduction中介绍了一些机器学习的基本概念，如supervised learning, unsupervised learning等等，这里就

2017-06-02 09:41:07 238

原创 Lecture3 Linear and Logistic Regression

这节课里面讲了下线性回归的例子，介绍了几种常见的优化算法在对数据进行线性拟合后，发现error较大，因此提出了huber loss。 huber loss是在robust regress(稳健回归？)中用到的损失函数，相比平方误差而言，对离散值具有更低的敏感度。在距离均值较远的地方，是线性的。下图是Huber loss (green, δ = 1） squared error lo

2017-03-21 16:50:57 318

原创 Python中装饰器的使用

在学习cs20si中遇到了装饰器，所以这里介绍下装饰器decorator的使用。主要内容依据http://blog.apcelent.com/python-decorator-tutorial-with-example.htmlPython中，所有的东西都是对象，一个函数可以被赋到变量中，传递给另一个函数，或者被其他函数作为返回值。 Python的装饰器就是一个函数，接受函数作为参数，并且用另

2017-03-21 16:06:51 292

原创 Lecture2 Operations

TensorBoard的使用TensorBoard可以方便地查看graph。import tensorflow as tfa = tf.constant(3)b = tf.constant(2)x = tf.add(a, b)with tf.Session() as sess: writer = tf.summary.FileWriter('./graphs', sess.graph)

2017-03-20 21:15:11 354

原创 Lecture1 Overview of Tensorflow

最近发现Stanford新开了一门课cs20si《Tensorflow for Deep Learning Research》准备好好学习一下。第一节课主要介绍Tensorflow的一些基本知识。Note中提出了Tensorflow具有以下重要特种：Python API轻便。可以用一个单独的API实现desktop,server以及移动设备上1个或多个CPU/GPU的计算部署。灵活性。Andr

2017-03-20 15:30:58 284

原创分布式TensorFlow

TensorFlow支持分布式计算，首先看了一下官方文档中如何配置。官方文档中提供了下面一个例子import tensorflow as tfc = tf.constant("Hello, distributed TensorFlow!")server = tf.train.Server.create_local_server()sess = tf.Session(server.targe

2017-03-19 17:04:19 548

原创 TensorFlow中CIFAR10的学习

今天学习了下TensorFlow官方网站上CIFAR10的部分，发现有一些API以前没有见过，这里整理了一下。 CIFAR10教程地址1.首先是一些参数的初始化FLAGS = tf.app.flags.FLAGS# Basic model parameters.tf.app.flags.DEFINE_integer('batch_size', 128,

2017-03-16 22:25:07 3528

原创 TensorFlow(GPU) 安装

今天重新装了下系统，用的Ubuntu16.04，准备安装Tensorflow GPU版安装过程如下： 1. 首先按照官网提示安装Cuda 安装Cuda网站上的步骤安装即可，安装过程中没有出现问题，注意需要设置两个路径PATH和LD_LIBRARY_PATH 之后验证安装是否成功 1) 首先将一些sample文件放在便于修改的路径中 cuda-install-samples-8.0.s

2017-03-14 20:30:26 534

原创 TensorBoard学习

TensorBoard是TensorFlow的一个可视化工具，界面如下所示 Serializing the dataTensorBoard读取TensorFlow的events文件，这些文件在运行TensorFlow时可以保存下来。如果想要记录learning rate和目标函数。可以将tf.summary.scalar放在相应的节点上。tf.summary.scalar("learning

2017-03-14 19:18:04 817

原创 Ubuntu升级系统

今天尝试了下升级Ubuntu系统。原来的系统是12.04太旧了。可以通过lsb_release -a命令来查看系统版本：据说可以用do-release-upgrade命令来进行升级，可是试了下，失败了。查了下似乎是有一些package损坏了，所以安装不能正常进行。用命令grep Broken /var/log/dist-upgrade/apt.log查看broken package

2017-03-13 23:02:28 521

原创 Task4 convolutions

这次的任务是完成卷积神经网络作业中已经给出了一个卷积神经网络，但是只有卷积层，没有池化层。不过learning_rate很小，只有0.05第一个问题增加池化层 def model(data): conv = tf.nn.conv2d(data, layer1_weights, [1, 1, 1, 1], padding='SAME') pool = tf.nn.max_poo

2017-03-11 17:21:30 205

原创 Task3 regularization

这次的作业主要是完成正则化regularization第一个问题是实现L2正则化完成起来也非常简单，直接将上次作业中的损失函数增加一个权重的正则化方程，这个在tensorflow中有现成的函数tf.nn.l2_loss(t, name=None) output = sum(t ** 2) / 2可以比较下正则化和没有正则化的结果首先是logistic regression lambda取

2017-03-10 15:48:43 377

原创 Task2 SGD

这次的作业是把logistics regression改成一个简单的神经网络激活函数是一个ReLU函数，实现非线性化，之后输出的值传递给普通的logistics regression的输入即可batch_size = 128graph = tf.Graph()with graph.as_default(): # Input data. For the training data, we us

2017-03-09 17:32:19 513

原创 Task1 notMNIST

这个作业主要是训练一个logistics regression模型，用来识别图片的字母，字母从’A’到‘J’共十种，与MNIST类似。首先要下载jupyter以及其他包，具体过程见我知乎上的回答 https://www.zhihu.com/question/51996422/answer/150529315问题1 查看样本中的数据是否有效作业中已经给了一个例子了，我这里在每个类中随机

2017-03-09 15:15:13 833

原创 TensorFlow中关于MNIST的学习

TensorFlow中有两部分都介绍了MNIST，其中MNIST for ML Beginners介绍了一些关于Machine Learning的基本知识。这里只介绍Deep MNIST for Experts部分加载MNIST数据类mnist 中存储有training, validation, test用的数据，数据类型为NumPy assays，同时也提供了以minibatches为单位的迭代f

2017-03-06 20:09:49 262

原创 TensorFlow基本概念

tensorflow 提供两个层次的API，底层的TensorFlow Core提供完整的控制，适用于研究者。高层的使用起来则更简单，如tf.contrib.learn，但是contrib仍在更新中TensorFlow Core层的操作TensorFlow中的数据单元都是用tensor表示，tensor的rank代表它的维度使用时首先需要import import tensorflow as t

2017-03-06 11:12:35 2210

ls617386的博客