4 ukakasu

尚未进行身份认证

暂无相关简介

等级
TA的排名 2w+

AsyncProxyPool代理池中间件

import requestsfrom scrapy.downloadermiddlewares.retry import RetryMiddlewarefrom scrapy.utils.response import response_status_messageimport base64import logginglogger = logging.getLogger(__name...

2019-06-26 14:01:43

机器学习导图

2019-04-04 17:02:54

设计最优数据输入管道

设计最优数据输入管道使用 prefetch 函数去重叠 数据读取器 和 数据消耗器的工作。推荐在输入管道的末端添加 prefetch(n) (n是batch size),以重叠 CPU 上的变换 及 GPU/TPU设备上的训练。 dataset = dataset.batch(batch_size=FLAGS.batch_size) dataset = dataset.pre...

2019-01-07 17:16:11

使用TensorFlow Dataset 加速数据处理及训练

使用TensorFlowDataset加速数据处理及训练https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/5_DataManagement/tensorflow_dataset_api.ipynbimporttensorflowastffromtensorflow.examples...

2019-01-07 17:13:11

应用TensorFlow构建lstm

应用TensorFlow构建lstmimport tensorflow as tffrom tensorflow.contrib import rnnfrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("/tmp/data/", one_hot=True)...

2019-01-04 15:48:36

应用TensorFlow高级API构建卷积神经网络(2)--api解释

tf.estimator.inputs.numpy_input_fndef numpy_input_fn(x, y=None, batch_size=128, num_epochs=1, shuffle=None, ...

2019-01-03 09:40:07

应用TensorFlow高级API构建卷积神经网络(1)--代码

应用TensorFlow高级API构建卷积神经网络两个卷积层,两个全连接层输入 [sample * 28 * 28 * 1 ] (灰度图)[ 28 * 28 1 ] --> (32个卷积核,每个大小551,sample方式卷积) --> [ 28 * 28 * 32] --> (池化 22 ,步长2)–> [14 *14 *32][ 14 * 14 32] -...

2019-01-03 09:36:55

应用TensorFlow构建卷积神经网络

应用TensorFlow构建卷积神经网络两个卷积层,两个全连接层输入 [sample * 28 * 28 * 1 ] (灰度图)[ 28 * 28 1 ] --> (32个卷积核,每个大小551,sample方式卷积) --> [ 28 * 28 * 32] --> (池化 22 ,步长2)–> [14 *14 *32][ 14 * 14 32] ...

2019-01-03 09:32:00

应用TensorFlow高级api构建全连接神经网络(2)--api解释

tf.layers.densetf.layers.dense( inputs, units, activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf.zeros_initializer(), kernel_regularizer=None, ...

2019-01-03 09:30:21

应用TensorFlow高级api构建全连接神经网络(1)--代码

应用TensorFlow高级api构建全连接神经网络https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/3_NeuralNetworks/neural_network.ipynbimport numpy as npimport tensorflow as tffrom tensorflow....

2018-12-29 16:04:12

应用TensorFlow构建全连接神经网络

应用TensorFlow构建全连接神经网络https://github.com/sjchoi86/tensorflow-101/blob/master/notebooks/mlp_mnist_xavier.ipynbimport numpy as npimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import...

2018-12-29 16:02:09

TensorFlow深度神经网络配置

建议DNN配置名称配置权重初始化He initialization激活函数ELU归一化Batch Normalization正则化dropout优化器Adam学习速率调整None全连接层from tensorflow.contrib.layers import fully_connectedwith tf.name_scop...

2018-12-29 15:55:12

9 前向神经网络

9 前向神经网络01 常用激活函数Sigmoid激活函数Tanh激活函数ReLU激活函数02 梯度消失Sigmoid激活函数将输入z映射到区间(0, 1) , 当z很大时, f(z)趋近于1; 当z很小时, f(z)趋近于0。 其导数在z很大或很小时都会趋近于0, 造成梯度消失的现象。Tanh激活函数相当于Sigmoid的平移, 同样会出现梯度消失。03 ReLU激活函数的...

2018-12-25 09:42:57

5 非监督学习

5 非监督学习01 聚类聚类是在事先并不知道任何样本类别标签的情况下, 通过数据之间的内在关系把样本划分为若干类别, 使得同类别样本之间的相似度高, 不同类别之间的样本相似度低。02 K均值算法的优缺点缺点: 例如受初值和离群点的影响每次的结果不稳定、 结果通常不是全局最优而是局部最优解、 无法很好地解决数据簇分布差别比较大的情况(比如一类是另一类样本数量的100倍) 、 不太适用于离散...

2018-12-20 09:13:50

4 降维

4 降维01 主成分分析–PCAPCA选择的是投影后数据方差最大的方向。 由于它是无监督的, 因此PCA假设方差越大, 信息量越多, 用主成分来表示原始数据可以去除冗余的维度, 达到降维。02 线性判别分析–LDALDA选择的是投影后类内方差小、 类间方差大的方 向。 其用到了类别标签信息, 为了找到数据中具有判别性的维度, 使得原始数据 在这些方向上投影后, 不同类别尽可能区分开。...

2018-12-20 09:11:18

2 模型评估

2 模型评估01 评估指标准确率的局限性准确率是指分类正确的样本占总样本个数的比例。当不同类别的样本比例非常不均衡时,可以使用更为有效的平均准确率(每个类别下的样本准确率的算术平 均) 作为模型评估的指标。精确率与召回率精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。召回率是指分类正确的正样本个数占真正的正样本个数的比例。F1 score是精准率和...

2018-12-14 08:51:43

1 特征工程

1 特征工程01 特征归一化、标准化方法归一化–线性函数归一化(Min-Max Scaling)标准化–零均值归一化(Z-Score Normalization)原因参数更新速度变得更为一致,收敛速度更快。特点标准化是更常用的手段,归一化的应用场景是有限的。标准化更好保持了样本间距。标准化更符合统计学假设。必须要特征在0到1之间,此时就只能用归...

2018-11-29 16:25:17

keras--earlyStopping获取最佳模型

best_weights_filepath='./best_weights.hdf5'earlyStopping=kcallbacks.EarlyStopping(monitor='val_loss',patience=10,verbose=1,mode='auto')saveBestModel=kcallbacks.ModelCheckpoint(best_weights_fi...

2018-11-16 09:10:45

机器学习年鉴总结之偏差与方差

偏差、方差算法在开发样本集上的错误率为 16%,我们可以把这 16%分成两部分:1.算法在训练样本集上的错误率,本例中为 15%,这通常称作算法的偏差 。2.算法在开发/测试样本集上相对训练样本集上高出的错误率部分, 本例中,算法那在开发样本集上的错误率比在训练样本集上的错误率高 1%,这通常称作算法的方差 。减少可避免的偏差方法如果你的学习算法中的可避免偏差很高,你可以尝试使用下面的方...

2018-11-13 14:22:12

机器学习年鉴总结之数据集

三个数据集:1.训练数据集 — 用来训练你的算法模型2.开发数据集 — 用于调整学习模型,比如调整参数、选择特征等。这部分数据也称 作预留 交叉验证数据集。3.测试数据集 — 用于评估模型性能,这部分数据集不参与模型调整和参数更新。选择最终实际要用的数据,作为开发和测试样本集。使用同一分布的开发和测试数据集。在开发测试集上表现很好,但是在测试集上表现得并不理想。如果你的开发数据...

2018-11-13 14:21:01

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得