jwen_-CSDN博客

原创激活函数

参考：常见激活函数的介绍和总结https://www.cnblogs.com/mq0036/p/14281829.html深度学习激活函数们https://www.cnblogs.com/CJT-blog/p/10421822.html激活函数(ReLU, Swish, Maxout)等https://www.cnblogs.com/makefile/p/activation-function.html激活函数https://zhuanlan.zhihu.com/p/47030955也谈激

2021-04-26 12:36:03 114

原创 Google Brain最新论文：标签平滑何时才是有用的？

1、标签平滑（Label Smoothing）4、在这一节中，作者发现在知识蒸馏模型中，尽管标签平滑可以提高教师网络的准确率，但是使用标签平滑训练的教师网络相比于使用硬目标训练的教师网络，其相应的学生网络的表现却要更差。作者以ResNet-56作为教师网络，以AlexNet作为学生网络进行了实验，结果如下：参考：https://www.jiqizhixin.com/articles/2019-07-09-7...

2021-04-25 15:25:44 166

原创 model.evaluate 和 model.predict

model.evaluate输入数据和标签,输出损失和精确度.#评估模型,不输出预测结果loss,accuracy = model.evaluate(X_test,Y_test)print('\ntest loss',loss)print('accuracy',accuracy)model.predict输入测试数据,输出预测结果(通常用在需要得到预测结果的时候)#模型预测,输入测试集,输出预测结果y_pred = model.predict(X_test,batch_size = 1

2021-04-22 22:24:21 5960 3

原创神经网络的参数量、计算量

神经网络中参数量parameters和FLOPs计算：https://www.jianshu.com/p/650e87036fd4模型 FLOPs, MACs, MAdds 关系以及常用计算工具的主要差异：https://www.jianshu.com/p/b5157e31c409神经网络计算量FLOPs ：https://www.pianshen.com/article/626357924/神经网络参数量、数据量计算：https://www.cnblogs.com/hizhaolei/p/1.

2021-04-22 22:20:31 403

原创 jupyter中显示图片，pycharm中不显示

在PyCharm中运行代码，它显示了%matplotlib inline显示语法错误，注释该行之后，显示Process finished with exit code 0退出，并未显示图表。%符号用于magic functions。您引用的特定幻数函数和参数%matplotlib inline用于IPython notebook会话。在正常的python会话中使用magic函数会得到语法错误。%matplotlibmagic函数用于指定matplotlib的后端，如果不在IPython笔记本会话中，参数

2021-04-22 22:13:15 3364 1

原创 Keras | 计算模型的FLOPs、MACCs

FLOPs全称是floating point operations的缩写，翻译过来是浮点运算数，理解为计算量，常用来衡量算法或深度学习模型的计算复杂度。关于计算FLOPs值的函数，网上相关的博客很多，但是能用的很少，下面这个函数是我实际使用过可行的函数，用来计算keras模型的FLOPs值。方法一：# 浮点运行次数# FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。# FLOP

2021-04-18 21:29:19 4950 5

转载 “tensorflow.python.framework.errors_impl.ResourceExhaustedError“错误分析

‘‘tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[?]’’ 错误分析*这是tensorflow 一个经常性错误，错误的原因在于：显卡内存不够。解决方法就是降低显卡的使用内存，途径有以下几种措施:1、减少Batch 的大小2、分析错误的位置，在哪一层出现显卡不够，比如在全连接层出现的，则降低全连接层的维度，把2048改成1042啥的3、增加po

2021-04-18 11:27:09 3513

转载【深度学习】卷积神经网络中Dropout、BatchNorm的位置选择

前言卷积神经网络的设计自然要考虑到各层之间的顺序。这种“考虑”既有原理性的解释也有经验方面的原因。本文主要介绍一些层常见的位置选择，并对其原因进行分析，从中提取共性有利于其他模型的设计。Dropout层的位置Dropout一般放在全连接层防止过拟合，提高模型返回能力，由于卷积层参数较少，很少有放在卷积层后面的情况，卷积层一般使用batch norm。全连接层中一般放在激活函数层之后，有的帖子说一定放在激活函数后，个人推测是因为对于部分激活函数输入为0输出不一定为0，可能会起不到效果，不过对于relu

2021-04-17 23:53:16 4433

原创微课翻转课堂

近年来，在教育信息化领域内讨论最多的话题，恐怕莫过于微课、翻转课堂与慕课，尤其在高等教育领域，这些新概念被热论之火热程度，用“烈火烹油，盛极难复”来形容，恐怕一点不为过。到底什么是“翻转课堂”“微课”和“慕课”，你整明白了吗？1翻转课堂受“网络教学”教学信息化改革风潮的影响，甚至高校内普通全日制学生的教学组织形式也开始出现了某些变化：在传统课堂演讲式教学方式基础之上，各种形式的网络教学开始成为一种辅助性教学方法，进而导致出现一种新型的教学组织形式——“混合式学习”（Blended learning）。

2021-04-17 23:51:01 555

转载 padding valid same区别——就是是否补齐0的问题

If you like ascii art:"VALID" = without padding: inputs: 1 2 3 4 5 6 7 8 9 10 11 (12 13) |______________| dropped |_______________|"SAME" = with zero padding: inputs:

2021-04-17 23:32:55 107

转载 keras 中的 verbose 详解

在 fit 和 evaluate 中都有 verbose 这个参数，下面详细说一下fit 中的 verboseverbose：日志显示verbose = 0 为不在标准输出流输出日志信息verbose = 1 为输出进度条记录verbose = 2 为每个epoch输出一行记录注意：默认为 1evaluate 中的 verboseverbose：日志显示verbose = 0 为不在标准输出流输出日志信息verbose = 1 为输出进度条记录注意：只能取 0 和 1；默认为 1

2021-04-09 23:43:38 659 1

转载 Keras model.fit() 函数

https://keras.io/models/model/fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_st

2021-04-09 23:37:26 390

转载 nvidia-smi命令解读 & windows查看当前cuda版本

以下 nvidia-smi 常用命令行是个人推荐了解的：这是服务器上特斯拉 K80 的信息。上面的表格中：第一栏的 Fan：N/A 是风扇转速，从 0 到 100% 之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）。第二栏的 Temp：是温度，单位摄氏度。第三栏的 Perf：是性能状态，从 P0 到 P12，P0 表示最大性能，P12 表示状态最

2021-04-08 15:15:35 2596

原创 TensorFlow2.x中无法使用Session-打印Tensor详细数值

tf.compat.v1.disable_eager_execution() hello = tf.constant('hello,tensorflow') sess = tf.compat.v1.Session() print(sess.run(hello)) print(sess.run(teacher_predictions)) print(sess.run(hello))运行后，可以显示hello的内容...

2021-04-06 22:41:12 519

原创环境安装教程

安装condaconda --versionconda info --envsconda search --full-name pythonconda create --name tensorflow python=3.7activate tensorflowconda info --envspython --versiondeactivatepip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simpleimport

2020-07-15 22:23:35 101

jwen_的博客