- 博客(111)
- 收藏
- 关注
RSS订阅原创 GAN的训练入门- from Deep-Learning-with-TensorFlow-book-master
GAN的初级代码，分别描述了Generator及Discriminator的基础功能。import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersclass Generator(keras.Model): # 生成器网络 def __init__(self): super(Generator, self).__init__()
2022-03-01 11:21:33
266
原创 VAE 变分自编码器
收集了几篇文章，介绍VAE变分自编码器，如下：1.【干货】深入理解变分自编码器 - 知乎转载自：机器学习研究组订阅 原文链接：【干货】深入理解变分自编码器【导读】自编码器是一种非常直观的无监督神经网络方法，由编码器和解码器两部分构成，自编码器近年来很受研究人员的欢迎。本文是机器学习工程…https://zhuanlan.zhihu.com/p/3518059892.变分自编码器介绍、推导及实现 - 知乎说在前面的话最近几天在看VAE（variational auto-encoder）相关的资料，自己
2022-01-02 15:57:40
861
翻译 对 RNN 中 BPTT 求导过程的解析尝试
（转载一次对 RNN 中 BPTT 求导过程的解析尝试 - 知乎）这篇文章是本人的随笔，目的是为了记录 RNN 的 BPTT 推导过程中容易疑惑或者忽略的关键步骤。适合已熟悉 RNN 基本概念的人，因为这篇文章的内容是 “断章取义” 的，所以如果不了解基本概念可能不能顺利的将其中的符号对号入座从而影响阅读。内容概览及相关背景知识产生本文的契机是学习 CS224N 时，课程中通过对 RNN 的权重求导来解释梯度爆炸，如下图。本文就是对这两页 PPT 和相应 note（如下） 中求导过程的补充，主要
2021-12-24 15:31:26
228
转载 深度学习 Embedding层 两大作用 - 转载
1. one-hot概念首先，我们有一个one-hot编码的概念。假设，我们中文，一共只有10个字。那么我们用0-9就可以表示完。比如，这十个字就是“我从哪里来，要到何处去”。其分别对应“0-9”，如下：我 从 哪 里 来 要 到 何 处 去0 1 2 3 4 5 6 7 8 9那么，其实我们只用一个列表就能表示所有的对话如：我 从 哪 里 来 要 到 何 处 去 ——>>>[0 ...
2021-12-24 15:17:50
1496
转载 转置卷积/反卷积
转置卷积又称反卷积，逆卷积。在主流的深度学习框架之中，如Tensorflow，Pytorch,Kreas中的函数名都是conv_transpose将一个4*4的输入通过3*3的卷积核核进行普通卷积后（无padding,stride=1）,将得到2*2的输出。而转置卷积将一个2*2的输入通过同样的3*3的卷积核，将得到一个4*4的输出。这看起来像是普通卷积的逆过程。事实上，这两者没有任何关系，操作过程也是不可逆的。普通卷积（直接卷积）但在实际计算中，并不是通过卷积核在输入上进行滑动计算，效率太
2021-12-10 14:36:02
2436
转载 Batch Normalization （训练、测试、优点、缺点）
一、使用顺序：Conv=>BN=>ReLU=>dropout=>ConvBN本质上是解决传播过程中的梯度消失问题二、训练下图面试常考！训练时前向传导过程公式：理解：1. 这个可学习重构参数 γ、β，让我们的网络可以学习恢复出原始网络所要学习的特征分布。（因为如果没有 γ、β ，那相当于我这一层网络所学习到的特征分布被你搞坏了）2. 这个 scale 和 shift ，它们的主要作用就是找到一个线性和非线性的平衡点，既能享受非线性较强的表达能力，有.
2021-12-09 14:47:51
2818
转载 LeNet-5详解
一、前言LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一种用于手写体字符识别的非常高效的卷积神经网络。本文将从卷积神经网络结构的基础说起，详细地讲解每个网络层。论文下载：请到文章结尾处下载。二、卷积神经网络（Convolutional Neural Network, CNN）在讲解LeNet-5之前，让我们先看下CNN。卷积神经网络能够很好的利用图像的结构信息。LeNet-5是一个较简单的卷积神经网
2021-12-09 10:11:53
4596
转载 LSTMCell中num_units参数解释
前言关于LSTM原理： http://colah.github.io/posts/2015-08-Understanding-LSTMs/关于LSTM原理（译文）：https://blog.csdn.net/Jerr__y/article/details/58598296关于Tensorflow+LSTM的使用：https://www.knowledgemapper.com/knowmap/knowbook/[email protected]
2021-12-01 15:13:55
540
1
转载 机器翻译自动评价之BLEU详解-BLEU: a Method for Automatic Evaluation of Machine Translation
摘要翻译对机器翻译进行人工评价是广泛的，但价格昂贵。人工评价可能要数月才能完成，并且要用不能够被重复使用的人工劳动。在此提出了一种快速、便宜且语言独立的自动机器翻译评价方法，它和人工评价高度相关，并且每次运行的边际成本很低。当需要快速或频繁的评估时，我们把这种方法作为有相关技术的人工评价的自动化替代。一、本文针对什么问题开展研究，研究的意义如何；人工评价机器翻译质量要衡量翻译的许多方面，包括充分性、通顺性和精确性。对机器翻译进行人工评价存在许多问题，如：①耗时长，可能需要数周甚至数月时间才能
2021-11-21 10:36:19
1021
转载 Metric评价指标-机器翻译指标之BLEU(转载)
一. 原理介绍BLEU（Bilingual Evaluation Understudy），即双语评估替补。所谓替补就是代替人类来评估机器翻译的每一个输出结果。Bleu score 所做的，给定一个机器生成的翻译，自动计算一个分数，衡量机器翻译的好坏。取值范围是[0, 1],越接近1,表明翻译质量越好。机器翻译的一大难题是，一句法语句子，可以有多种英文翻译，这些翻译都是非常好的那怎么去评估一个机器翻译系统的质量是不是好呢？这不像图像识别，只有一个正确答案。通常我们有 BLEU score 来解决。
2021-11-21 10:27:18
2292
转载 Tensorflow_datasets中batch(batch_size)和shuffle(buffer_size)理解
1.shuffle(buffer_size)tensorflow中的数据集类Dataset有一个shuffle方法，用来打乱数据集中数据顺序，训练时非常常用。其中shuffle方法有一个参数buffer_size，文档的解释如下：dataset.shuffle(buffer_size, seed=None, reshuffle_each_iteration=None)Randomly shuffles the elements of this dataset.This dataset f.
2021-08-19 23:13:54
3011
转载 SparseCategoricalCrossentropy
在搭建深度学习模型，构建损失函数经常用到交叉熵函数，同时用到SparseCategoricalCrossentropy。m = tf.keras.metrics.SparseCategoricalCrossentropy()m.update_state( [1, 2], [[0.05, 0.9, 0.05], [0.1, 0.8, 0.1]])# y_true = one_hot(y_true) = [[0, 1, 0], [0, 0, 1]]# logits = log(y_p.
2021-05-15 17:52:12
3603
转载 Tensorflow 数据对象Dataset.shuffle()、repeat()、batch() 等用法
1.Dataset数据对象Dataset可以用来表示输入管道元素集合（张量的嵌套结构）和“逻辑计划“对这些元素的转换操作。在Dataset中元素可以是向量，元组或字典等形式。另外，Dataset需要配合另外一个类Iterator进行使用，Iterator对象是一个迭代器，可以对Dataset中的元素进行迭代提取。2.Dataset方法2.1 产生数据集2.1.1. from_tensor_slicesfrom_tensor_slices 用于创建dataset，其元素是给定张量的切片的元
2021-05-15 17:31:28
1051
原创 安装tensorflow成功，但import出错error
问题描述：安装tensorflow2.3.1版本，提示已经成功安装。C:\Users\***>pip install tensorflow-2.3.1-cp37-cp37m-win_amd64.whl但在import tensorflow时报错，报错截图如下：DLL load failed:The specified module could not be found.电脑的配置如下Windows 10 Enterprise 64-bitInter(R) Xeon(
2021-03-26 10:30:37
1428
转载 深度学习框架Keras中的embedding简单理解
(转载https://www.jianshu.com/p/a3f3033a7379)深度学习keras框架中的Embedding是一种用在在深度学习模型中把原始文本中的单词与向量相关联常用方法，在介绍Embedding之前，先了解以下几个概念：数值张量深度学习模型在处理文本数据时不会直接把原始文本数据作为输入，它只能处理数值张量。文本向量化文本向量化就是把文本数据转化成数值张量的过程，实现方法多是把文本分割成单词或者字符，再把单词或字符转换为一个向量。标记将文本分解而成的单词或字
2021-03-24 13:31:33
1083
原创 Windows 环境 python matplotlib 包画图时 英文数字显示正常 中文乱码问题
在用matplotlib包画图时，如果只是在英文的工作环境，图中英文、数字还是符号一般显示都是正常的。但是，当在图中使用中文的文本显示时，往往会在本应该中文文字显示的区域乱码，乱码的形式有很多种情况，比如说用方框“□”替代每一个中文字符。最根本的问题是，matplotlib这个包在最初始化的状态不含有中文的字体，只能支持像英文、数字或者符号的一些字符的显示。那接下来，根据以下方式在windows的环境中，添加适用为中文的字体。1. 查看地址import matplotlibmatplot
2021-03-16 14:23:47
714
原创 LayerNorm
MXnet LayerNormpytorch LayerNorm说明LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差，因此train()和eval()对LayerNorm没有影响。LayerNorm参数torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise.
2021-01-14 10:42:22
23929
2
原创 Python 处理DataFrame数据 pd.isnull() np.isnan()的方式
数据处理时，经常会遇到处理数据中的空值，涉及几个常用函数，pd.isnull()，pd.notnull()，np.isnan()，pd.notna()，pd.isna()，pd.fillna()、pd.dropna()等等.本文关注pd.isnull()，pd.notnull()，np.isnan()，pd.notna()，pd.isna()。总结：由下可知，np.isnan()和pd.isnull()都可以对不论是DataFrame、Python list还是仅仅一个数值进行空值检测。但一般在实际
2020-12-26 17:37:45
8953
1
原创 Jupyter插件Nbextensions
同事有介绍一个Jupyter的插件Nbextensions很好用，可以使得使用Jupyter的时候交互更便捷一些，因此也开始尝试试用起来。1.安装nbextensions我是用的pythonIDE是anaconda，因此具体安装如下几行：在Anaconda Prompt里面先pip -> 再install -> 再启用nbxtensionspip install juypter_contrib_nbextensionsjupyter contrib nbextens...
2020-05-13 15:07:02
796
原创 机器学习中L1 L2正则化项(范式，惩罚项)
1. 什么是L1 L2？正则化项，范式，惩罚项是不同学科范畴的学者的不同叫法，具体如下：在机器学习称作正则化； 统计学领域称作惩罚项； 数学界会称作范数。L1范数：L1范数就是曼哈顿距离，向量中每个元素绝对值的和L2范数：L2就是欧式距离，向量元素绝对值的平方和再开平方2. 在机器学习中L1 L2起到的作用是？有如下比较普遍的解释：L1正则化：可以产生稀疏权值...
2020-01-28 19:33:17
13425
2
原创 朴素贝叶斯的三个常用模型：高斯、多项式、伯努利
部分内容转自：https://blog.csdn.net/qq_27009517/article/details/800444310.朴素贝叶斯朴素贝叶斯分类（NBC，Naive Bayes Classifier）是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入X，求出使得后...
2020-01-12 18:50:19
5223
转载 multiprocessing 多进程组件 进程池Pool
最近继续使用python3运行一些数据文件，之前因为文件量没有还好，时间可以等待，所以一直都是使用一个for循环去逐个计算运行。但是这次实在是不能等了。电脑配置20核i7，逻辑40核，尽力将资源用到极限，所以想使用多进行进行运算。原文来自：https://www.cnblogs.com/gengyi/p/8620853.html阅读目录(Content)1 进程池Pool...
2019-10-29 11:39:39
1208
原创 matplotlib画图：当循环生成的图过多时，会提示内存不够等或与内存相关的error提示
总会要画大量的图，我是在一个for中循环画图，每当画到第250张到300张左右，总遇到提示说内存不够了或者直接Spyder死掉崩掉这样的情况。一开始也很无奈，看到有的帖子说，要将32位的python换到64位，其实也还是没有解决根本问题。第一种解法:figure 的重复利用能大大节约时间，但是 matplotlib 维护的 figure 有数量上限。并且，不断的创建新的 figure...
2019-10-13 12:31:15
5722
原创 在Anaconda的spyder环境里, 如何查看spyder已经添加好的库的索引文件地址?
在Spyder中有的时候 import一个库或者module时，会报错提示，没有发现该module。那么，首先可以先查一下，Spyder的搜索module的路径中有没有添加上你想要引入的包的路径。import syssys.path()此时，会返回所有的Spyder的库的搜索路径，可以自己查看是否存在。 ...
2019-02-19 14:22:11
9594
3
原创 Leetcode 1. Two Sum
Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution, and you may not use the same el...
2018-04-05 13:58:36
184
原创 使用tensorflow，官网中条目“Getting Started for ML Beginners”遇到的问题解决
Tensorflow学习（1）打算开始学习使用tensorflow，官网网址为：https://www.tensorflow.org/ 。对于国内的网络来说这个网址可能访问不到，那么可以使用：https://tensorflow.google.cn/。进来官网之后，新手的话首先先点击“get started”比较能熟悉这个工具。按照阅读材料进行tensorflow安装即可。安装成功之后，参考这个网...
2018-02-26 14:46:15
365
原创 箱形图box plot 和 小提琴图violin plot
一、箱形图box plot1）箱型图概念箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。箱形图于1977年由美国著名统计学家约翰·图基（John Tukey）发明。它能显示出一组数据的最大值、最小值、中位数、及上下四分位数。2）箱形图包含内容"盒式图"或叫"盒须图""箱形图"boxplot（也称箱须
2018-02-02 10:24:37
75009
1
转载 AUC计算方法理解
一、roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)灵敏度，Sensi
2018-02-01 10:58:06
1279
原创 “git push"时遇到的"assword authentication is not available for Git operations."
先说说我遇到的问题。之前每次用git的流程比较有趣，也是因为想着能偷懒就偷懒。前提：已经安装了git；1）在github网页上新建一个repository。2）用github desktop，将这个repository“clone”下来。3）在本地clone下来的文件中，添加新的文件夹及文件。（这时候要注意，如果只是新建文件夹并且这个文件夹内没有文件，那么之后的git add
2018-01-24 11:53:36
4253
转载 python中的文档字符串(docString)
Python有一个很奇妙的特性，称为 文档字符串 ，它通常被简称为 docstrings 。DocStrings是一个重要的工具，由于它帮助你的程序文档更加简单易懂，你应该尽量使用它。你甚至可以在程序运行的时候，从函数恢复文档字符串！ 使用docStrings#!/usr/bin/python# Filename: func_doc.pydef printMax(x
2018-01-05 15:54:13
9832
转载 线性回归 模型检验
https://wenku.baidu.com/view/1400925eeff9aef8941e068a.htmlhttps://wenku.baidu.com/view/62ea061825c52cc58ad6be0c.html主要是理论理解，对已经拟合好的模型。模型中自变量对预测值的显著能力。及模型对预测值的表示能力。
2017-10-31 15:40:01
3216
转载 线性拟合 相关统计量理解
回归分析法&一元线性回归操作和解释用Excel做回归分析的详细步骤一、什么是回归分析法“回归分析”是解析“注目变量”和“因于变量”并明确两者关系的统计方法。此时，我们把因子变量称为“说明变量”，把注目变量称为“目标变量址(被说明变量)”。清楚了回归分析的目的后，下面我们以回归分析预测法的步骤来说明什么是回归分析法： 回归分析是对具有因果关系的影响因素（自变
2017-10-31 14:35:22
19620
转载 （转）SSE,MSE,RMSE,R-square指标讲解
SSE(和方差、误差平方和)：The sum of squares due to errorMSE(均方差、方差)：Mean squared errorRMSE(均方根、标准差)：Root mean squared errorR-square(确定系数)：Coefficient of determinationAdjusted R-square：Degree-of-freedom
2017-07-19 15:14:48
16625
转载 Hyperopt 安装
1.简介Hyperopt是一个Python库，结合MongoDB可以进行分布式调参，快速找到相对较优的参数。安装的时候需要指定dev版本才能使用模拟退火调参，也支持暴力调参、随机调参等策略。2.Win7安装软件 MongoDB 地址Hyperopt 地址安装 MongoDB一路默认安装即可Hyperopt先进行解压，然后通过命令 p
2017-06-20 21:12:41
7754
转载 关于anaconda 找包，安装包的一些总结（关于Anaconda中PackageNotFoundError： '' Package missing in current win-64 channe）
一、Anaconda作为一个工具包集成管理工具，下载python工具包是很方便的，直接敲：conda install package_name但是有时候安装一个工具包（如xmltodict）的时候，在当前的channels中找不到这个包，会提示：conda install pydot Fetching package metadata ....... Solving
2017-06-20 21:03:08
24524
转载 vs&matlab混合编程-- - mexw64
转载：http://blog.csdn.net/wak0408/article/details/38272163这个文章的流程是，在vs里面生成matlab可以读懂的文件（mexw**），当然也可以在matlab里面编译 .c/.cpp，直接生成（mexw**），matlab的.m文件就可以直接调用了。vs&matlab混合编程，例如文章最后的两个参考文献，但是参考文献都是
2016-11-13 11:19:21
4171
原创 matlab rand(‘seed’，key)函数，是用来做什么的呀
Re:rand('seed',key)是用来做什么的呀 对于固定的key，不是说从此以后产生的随机数都是相同的，而是在相同的key下，第一次调用rand产生的结果是相同的。 就是说每次你要产生随机数的时候，比如你产生rand(10,1),先调用rand('seed',key)，这里key是某个确定的整数，那么你得到的结果是相同的，再体会一下：>> rand('seed',1)
2016-11-07 20:20:36
29711
3
原创 两个字符串的编辑距离-动态规划方法
概念字符串的编辑距离，又称为Levenshtein距离，由俄罗斯的数学家Vladimir Levenshtein在1965年提出。是指利用字符操作，把字符串A转换成字符串B所需要的最少操作数。其中，字符操作包括：删除一个字符 a) Insert a character插入一个字符 b) Delete a character修改一个
2016-10-11 11:51:42
30309
20
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人