- 博客(45)
- 收藏
- 关注
RSS订阅原创 循环构建 Keras 模型，越来越慢的问题
Keras运行迭代一定次数以后，速度越来越慢，甚至有可能出现MemoryError。这很可能是因为在循环迭代过程中增加了新的计算节点，导致计算节点越来越多，内存被占用完，速度变慢。判断是否在循环迭代过程中增加了新的计算节点，可以用下面的语句：import tensorflow as tftf.Graph.finalize()# ortf.get_default_graph().finalize()如果增加了新的计算节点，就会报错，如果没有报错，说明没有增加计算节点。每次keras运行后
2020-10-14 13:49:32
1438
转载 “sample“, “batch“, “epoch“ 分别是什么？
Sample: 样本，数据集中的一个元素，一条数据。例1: 在卷积神经网络中，一张图像是一个样本。例2: 在语音识别模型中，一段音频是一个样本。Batch: 批，含有 N 个样本的集合。每一个 batch 的样本都是独立并行处理的。在训练时，一个 batch 的结果只会用来更新一次模型。一个 batch 的样本通常比单个输入更接近于总体输入数据的分布，batch 越大就越近似。然而，每个 batch 将花费更长的时间来处理，并且仍然只更新模型一次。在推理（评估/预测）时，建议条件允许的情况下..
2020-09-22 09:27:20
3217
原创 Keras学习笔记15——keras.utils
模型可视化keras.utils.vis_utils 模块提供了一些绘制 Keras 模型的实用功能(使用 graphviz)。以下实例，将绘制一张模型图，并保存为文件：from keras.utils import plot_modelplot_model(model, to_file='model.png')plot_model 有 4 个可选参数:show_shapes (默认为 False) 控制是否在图中输出各层的尺寸。show_layer_names (默认为 True) 控制
2020-09-22 09:26:39
2470
转载 Keras学习笔记14——keras.constraints
约束项的使用constraints 模块的函数允许在优化期间对网络参数设置约束（例如非负性）。约束是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。约束层开放 2 个关键字参数：kernel_constraint 用于主权重矩阵。bias_constraint 用于偏置。from keras.constraints import max_normmodel.add(Dense(64, kernel_const
2020-09-21 14:02:29
1089
转载 Keras学习笔记13——keras.regularizers
正则化器的使用正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。惩罚是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。正则化器开放 3 个关键字参数：kernel_regularizer: keras.regularizers.Regularizer 的实例bias_regularizer: keras.regularizers.Regularizer 的实例act
2020-09-21 13:58:11
3914
转载 Keras学习笔记12——keras.initializers
目录初始化器的用法可用的初始化器InitializerZerosOnesConstantRandomNormalRandomUniformTruncatedNormalVarianceScalingOrthogonalIdentitylecun_uniformlecun_normalglorot_normalglorot_uniformhe_normalhe_uniform使用自定义初始化器初始化器的用法初始化定义了设置 Keras 各层权重随机初始值的方法。用来将初始化器传入 Keras 层的参数名
2020-09-21 13:55:08
2882
转载 Keras学习笔记11——keras.applications
来源Keras 的应用模块（keras.applications）提供了带有预训练权值的深度学习模型，这些模型可以用来进行预测、特征提取和微调（fine-tuning）。当你初始化一个预训练模型时，会自动下载权重到 ~/.keras/models/ 目录下。可用的模型在 ImageNet 上预训练过的用于图像分类的模型：XceptionVGG16VGG19ResNet, ResNetV2, ResNeXtInceptionV3InceptionResNetV2MobileNetMob
2020-09-21 11:45:26
1381
原创 Keras学习笔记10——keras.datasets
来源常用数据集 DatasetsCIFAR10 小图像分类数据集50,000 张 32x32 彩色训练图像数据，以及 10,000 张测试图像数据，总共分为 10 个类别。from keras.datasets import cifar10(x_train, y_train), (x_test, y_test) = cifar10.load_data()CIFAR100 小图像分类数据集50,000 张 32x32 彩色训练图像数据，以及 10,000 张测试图像数据，总共分为 100 个类
2020-09-21 11:42:00
1795
原创 Keras学习笔记9——keras.callbacks
目录回调函数使用CallbackBaseLoggerTerminateOnNaNProgbarLoggerHistoryModelCheckpointEarlyStoppingRemoteMonitorLearningRateSchedulerTensorBoardReduceLROnPlateauCSVLoggerLambdaCallback创建一个回调函数例: 记录损失历史例: 模型检查点来源回调函数使用回调函数是一个函数的合集，会在训练的阶段中所使用。你可以使用回调函数来查看训练模型的内在状态和
2020-09-21 11:37:55
1390
原创 Keras学习笔记8——keras.layers.Activation
目录激活函数的用法预定义激活函数softmaxeluselusoftplussoftsignrelutanhsigmoidhard_sigmoidexponentiallinear高级激活函数来源激活函数的用法激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递 activation 参数实现：from keras.layers import Activation, Densemodel.add(Dense(64))model.add(Activation('tanh'))#
2020-09-21 11:12:09
6292
2
原创 Keras学习笔记6——keras.metrics
目录可使用的评价函数binary_accuracycategorical_accuracysparse_categorical_accuracytop_k_categorical_accuracysparse_top_k_categorical_accuracy自定义评价函数评价函数用于评估当前训练模型的性能。当模型编译后（compile），评价函数应该作为 metrics 的参数来输入。from keras import metricsmodel.compile(loss='mean_square
2020-09-21 10:31:53
1865
原创 Keras学习笔记5——keras.losses
损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一：from keras import lossesmodel.compile(loss=losses.mean_squared_error, optimizer='sgd')# ormodel.compile(loss='mean_squared_error', optimizer='sgd')可用损失函数mean_squared_errormean_absolute_errormean_absolute_percent
2020-09-21 10:26:33
728
原创 Keras学习笔记4——keras.preprocessing
目录1. 序列预处理2. 文本预处理3. 图片预处理1. 序列预处理填充序列pad_sequenceskeras.preprocessing.sequence.pad_sequences(sequences, maxlen=None, dtype='int32', padding='pre', truncating='pre', value=0.)将长为nb_samples的序列（标量序列）转化为形如(nb_samples,nb_timesteps)2D numpy array。如果提供了
2020-09-17 08:57:00
4066
原创 Keras学习笔记3——keras.layers
参考:Keras入门简介>>> import keras>>> dir(keras.layers)['Activation', 'ActivityRegularization', 'Add', 'AlphaDropout', 'AtrousConvolution1D', 'AtrousConvolution2D', 'Average', 'AveragePooling1D', 'AveragePooling2D', 'AveragePooling3D', 'Avg
2020-09-15 23:56:16
8540
转载 Keras学习笔记2——keras.models
Sequential() 实例Sequential 采用多个网络层堆叠文章来源：Keras中文文档第一步，模型初始化from keras.models import Sequentialfrom keras.layers import Dense# step1 ：模型初始化model = Sequential()# 使用 .add() 来堆叠模型，构建所需的神经网络# 模型需要知道它所期望的输入的尺寸，顺序模型中的第一层需要接收关于其输入尺寸的信息。model.add(Dense(un
2020-09-15 14:04:55
3179
原创 Keras学习笔记1——Keras简介
Keras简介Keras: 基于 Python 的深度学习库。Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。Keras安装根据已经安装的TensorFlow版本安装Keras： pip install Kears==2.3.1Keras使用参考：深度学习：Keras入门(一)之基础篇Keras的模块结构使用Keras搭建一个神经网络数据格
2020-09-15 11:14:49
833
原创 pandas: concat、append、merge、join
pandas.concatpandas.concat(objs, axis=0, join=‘outer’, join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True)Concatenate pandas objects along a particular axis with optional set logic along..
2020-09-14 14:00:13
122
原创 anaconda 安装Mosek
conda install -c mosek mosekWindows:在“c:\users_userid_”下创建文件夹“\mosek”将license “mosek.lic”放在该文件夹下，即可使用Unix/OS X:/home/userid/mosek/mosek.licWhere userid is your User ID on the computer.
2020-08-18 19:47:03
1367
原创 anaconda 安装 PuLP
在 Ananconda Prompt 中输入搜索pulp包anaconda search -t conda pulp2. 展示安装方式anaconda show conda-forge/pulp安装conda install --channel https://conda.anaconda.org/conda-forge pulp
2020-08-18 19:18:07
8999
3
原创 anconda 安装TensorFlow
解决访问anaconda官网超时问题添加镜像conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls yes删除‘.condarc’文件中的–
2020-08-18 16:39:11
365
原创 Alphalens笔记
数据预处理factor_data = utils.get_clean_factor_and_forward_returns(factor_df, price_df, quantiles=5, bins=None,periods=(1, 5, 10, 20), max_loss=0.5)[email protected] create_full_tear_shee...
2019-11-27 18:32:07
3251
1
原创 按照某个DataFrame创建结构相同的DataFrame
Out[229]: 20060105 20190827Stock_ID 600000.SH 0.069387 0.342941600001.SH 0.154570 NaN600002.SH 0.149585 NaN
2019-08-29 10:11:05
4896
转载 不重启系统使环境变量的更改生效
在“我的电脑”->“属性”->“高级”->“环境变量”中增加或修改环境变量后，不重启系统让它即时生效的一种方法：修改完成后，进入cmd命令提示符，输入：set PATH=C: ，关闭cmd窗口。再次打开cmd窗口，输入：echo %PATH%，可以发现“我的电脑”->“属性”->“高级”->“环境变量”中设置的 PATH 值已经生效。来源：https://...
2019-08-20 14:10:51
854
原创 tensorflow学习笔记1
TensorFlow中文社区什么是TensorFlow？TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线(edges)则表示在节点间相互联系的多维数据数组，即张量（tensor）。张量从图中流过的直观图像是这个工具取名为“Tensorflow”的原因。“数据流图”用“节点”和“线”的有向...
2019-07-09 17:03:40
170
原创 python转到指定目录
>>>import os>>>os.getcwd() #get current work direction>>>os.chdir('E:\\Python_File\\Test') #change direction在这之后可以直接调用’E:\Python_File\Test’目录下的函数...
2019-04-13 18:15:39
3269
原创 差分 pandas.diff()
import pandas as pddf = pd.read_csv('xx.csv', encoding='utf-8')df.diff(2)df.diff(1).diff(1)df.diff(2)与df.diff(1).diff(1)不相同，df.diff(2) : y_{t+2} - y_tdf.diff(1).diff(1)：是数学意义上的二阶差分，即差分的差分...
2018-12-26 20:05:04
6150
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-09-14 14:37:34
141
转载 pandas读写文件乱码问题
在pandas中读取带有中文的csv文件时，读写中汉字为乱码，可加上encoding参数来避免，如： pd.read_csv(“ee.csv”,encoding=”gb2312”) 当然，在导出时记得也加上encoding参数，否则导出后用excel打开也是乱码，editplus打开正常，如： df.to_csv(“sel.csv”,index=False,encoding=”gb2312”)
2016-10-28 11:49:28
7058
转载 电脑屏幕护眼设置
白天晚上都调到亮度30-40（开始会不习惯 时间长一点就好）（晚上最好开灯） 对比度70-80 右键——属性——外观——高级——项目选择——窗口——，在“颜色1（L）”下拉框中选择（其它），将色调改为85，饱和度改为123，亮度改为205，然后，添加到自定义颜色，最后确定。。。 完成这些步骤后，你的电脑屏幕显示的所有文档不再是刺眼的白底黑字，而是非常柔和温馨的豆沙绿。。。 这可是眼科专家专业
2016-08-26 08:32:24
1690
转载 电脑锁屏 快捷方式设置
要锁定桌面，通常的做法是按下组合键Ctrl+Alt+Del，打开“Windows任务管理器”对话框，然后选择“关机”→“锁定计算机”，或者直接按组合键“Windows键+L”。可是习惯了使用鼠标操作的用户，会更希望在桌面上有一个能够锁定计算机的快捷方式，通过双击它而达到锁定计算机的目的。下面这种方法可以帮助我们建立这样一个快捷方式。 1、在桌面的空白处单击右键，然后选择“新建”→“快捷方式”。 2、
2016-08-26 08:31:33
10485
转载 windows下面安装Python和pip终极教程
windows下面安装Python和pip终极教程 http://www.cnblogs.com/yuanzm/p/4089856.html (http://www.cnblogs.com/yuanzm/p/4089856.html)
2016-07-27 08:35:14
215
原创 python： （）&[ ]
python中，某函数名后面加‘（）’，而某数据类型后面加‘[ ]’ 比如，>>> a=range(5)>>> a[0, 1, 2, 3, 4]>>> a[1]1>>> a(1)Traceback (most recent call last): File "<pyshell#37>", line 1, in <module> a(1)TypeError: 'list' o
2016-07-24 10:30:42
304
转载 python: IDLE增加清屏的扩展ClearWindow
作者：金gordon https://www.zhihu.com/question/20917976/answer/32876441 来源：知乎 著作权归作者所有，转载请联系作者获得授权。安装使用的方法。 1、下载ClearWindow.py"""Clear Window ExtensionVersion: 0.2Author: Roger D. Serwy roger.
2016-07-23 11:26:03
1003
转载 金融行业： Sell-side & Buy-side
之所以叫Sell-side和Buy-side，是因为卖方卖金融服务，买方买金融服务。毕竟金融业属于服务业，当然现在属于evil business，呵呵。。。。卖方： 投行部：卖的是企业融资服务（上市，并购，增发，等等) 销售交易部：卖的是流动性服务（做市，黑池，等等） 研究部：卖的是行业研究报告 金融资讯供应商：卖的是终端机和数据买方： 买上述所有服务。 所以买方是食物链的最顶端。卖方白
2016-07-14 16:24:26
644
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人