4 兔子不吃胡萝卜

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 35w+

pytorch之nn.Conv1d

看代码时遇到pytorch下的nn.Conv1d(),kernel_size参数不太明白,找到了这篇博客,转载链接:pytorch之nn.Conv1d详解kernel_size其实是设置卷积核的大小,卷积核的第二维的维度和词向量维度相同,另外,由于卷积默认是对最后一维卷积,所以需要将word_length这一维转换成最后一维,卷积得到的向量是[batch_size, out_size,1],后边需要跟着Relu()和max_pooling(kernel_size = max_word_length -

2020-10-17 10:50:53

文件与文件系统

1. 文件与文件系统打开文件open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True) Open file and return a stream. Raise OSError upon failure.file: 必需,文件路径(相对或者绝对路径)。mode: 可选,文件打开模式buffering: 设置缓冲encoding: 一般使用utf8errors: 报

2020-08-09 22:17:54

datetime模块

datetime模块datetime 是 Python 中处理日期的标准模块,它提供了 4 种对日期和时间进行处理的类:datetime、date、time 和 timedelta。1. datetime类class datetime(date): def __init__(self, year, month, day, hour, minute, second, microsecond, tzinfo) pass def now(cls, tz=None):

2020-08-07 23:05:56

类与对象

类与对象1. 对象 = 属性 + 方法对象是类的实例。换句话说,类主要定义对象的结构,然后我们以类为模板创建对象。类不但包含方法定义,而且还包含所有实例共享的数据。封装:信息隐蔽技术我们可以使用关键字 class 定义 Python 类,关键字后面紧跟类的名称、分号和类的实现。【例子】class Turtle: # Python中的类名约定以大写字母开头 """关于类的一个简单例子""" # 属性 color = 'green' weight = 10

2020-08-07 23:04:35

类与对象

类与对象1. 对象 = 属性 + 方法对象是类的实例。换句话说,类主要定义对象的结构,然后我们以类为模板创建对象。类不但包含方法定义,而且还包含所有实例共享的数据。封装:信息隐蔽技术我们可以使用关键字 class 定义 Python 类,关键字后面紧跟类的名称、分号和类的实现。【例子】class Turtle: # Python中的类名约定以大写字母开头 """关于类的一个简单例子""" # 属性 color = 'green' weight = 10

2020-08-05 20:32:24

Python基础学习 - 6

函数与Lambda表达式1. 函数还记得 Python 里面“万物皆对象”么?Python 把函数也当成对象,可以从另一个函数中返回出来而去构建高阶函数,比如:参数是函数返回值是函数函数的定义函数以def关键词开头,后接函数名和圆括号()。函数执行的代码以冒号起始,并且缩进。return [表达式] 结束函数,选择性地返回一个值给调用方。不带表达式的return相当于返回None。def functionname(parameters): "函数_文档字符串" fu

2020-08-02 21:35:21

字典

字典1. 可变类型与不可变类型序列是以连续的整数为索引,与此不同的是,字典以"关键字"为索引,关键字可以是任意不可变类型,通常用字符串或数值。字典是 Python 唯一的一个 映射类型,字符串、元组、列表属于序列类型。那么如何快速判断一个数据类型 X 是不是可变类型的呢?两种方法:麻烦方法:用 id(X) 函数,对 X 进行某种操作,比较操作前后的 id,如果不一样,则 X 不可变,如果一样,则 X 可变。便捷方法:用 hash(X),只要不报错,证明 X 可被哈希,即不可变,反过来不可被

2020-07-31 21:17:15

Pytorch 模型的保存与加载

Pytorch 模型的保存与加载想先在一部分数据跑出来几个模型,然后选择最优的加载 在另一部分数据上继续跑,加载时遇到了问题,from_pretrained()显示state_dict中的都参数没加载成功,是因为都多了一层encoder: encoder.encoder.self.attention…所以查找了pytorch保存与加载模型的相关知识,在这里记录一下~来源:https://pytorch.org/tutorials/beginner/saving_loading_models.html

2020-07-28 22:41:17

Python基础学习 - 4

列表这两天时间比较紧,先打卡,之后补上/(ㄒoㄒ)/~~列表简单数据类型整型<class 'int'>浮点型<class 'float'>布尔型<class 'bool'>容器数据类型列表<class 'list'>元组<class 'tuple'>字典<class 'dict'>集合<class 'set'>字符串<class 'str'>1. 列表的定义列表是有序集合,没有

2020-07-28 21:06:12

Python基础学习-1

变量、运算符与数据类型参考链接:https://github.com/datawhalechina/team-learning练习题:1. 怎样对python中的代码进行注释?单行注释:#多行注释:用三个单引号或三个双引号。​ ‘’’ 注释内容’’’ 或者""" 注释内容"""2. python有哪些运算符,这些运算符的优先级是怎样的?算术运算符操作符名称示例/除3 / 4//整除(地板除)3 // 4%取余3 % 4**幂

2020-07-27 00:14:39

Python基础学习-2

位运算参考链接:https://github.com/datawhalechina/team-learning1. 原码、反码和补码二进制有三种不同的表示形式:原码、反码和补码,计算机内部使用补码来表示。原码:就是其二进制表示(注意,最高位是符号位)。00 00 00 11 -> 310 00 00 11 -> -3反码:正数的反码就是原码,负数的反码是符号位不变,其余位取反(对应正数按位取反)。00 00 00 11 -> 311 11 11 00 -> -3

2020-07-27 00:10:47

Python基础学习-3

异常处理笔记参考教程:###https://github.com/datawhalechina/team-learning1. python标准异常了解基本的含义,在程序抛异常时知道是哪方面的BaseException:所有异常的 基类Exception:常规异常的 基类StandardError:所有的内建标准异常的基类ArithmeticError:所有数值计算异常的基类FloatingPointError:浮点计算异常OverflowError:数值运算超出最大限制ZeroDi

2020-07-25 22:43:00

cs224n 作业

#!/usr/bin/env pythonimport numpy as npimport randomfrom utils.gradcheck import gradcheck_naivefrom utils.utils import normalizeRows, softmaxdef sigmoid(x): """ Compute the sigmoid function for the input here. Arguments: x -- A sca

2020-07-06 21:51:26

ELMO,GPT &BERT

ELMOword2vec无法解决一词多义的问题,比如‘apple’这个词在不同的上下文中语义是不同的:Jobs was the CEO of apple.He ate the apple.而ELMO能够对多义词进行建模,使用语言模型获得一个上下文相关的预训练表示。方法:使用的是一个双向的LSTM语言模型,由一个前向和一个后向语言模型构成,目标函数就是取这两个方向语言模型的最大似然。预训练好这个语言模型之后,ELMo就是根据下面的公式来用作词表示,其实就是把这个双向语言模型的每一中间

2020-07-03 20:04:49

[CS224n] n gram & FastText

n gramN-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时

2020-06-30 22:22:19

[CS224n] word2vector & glove

Glove首先是两种方法:一个是基于奇异值分解(SVD)的LSA算法,该方法对term-document矩阵(矩阵的每个元素为tf-idf)进行奇异值分解,从而得到term的向量表示和document的向量表示。此处使用的tf-idf主要还是term的全局统计特征。另一个方法是word2vec算法,该算法可以分为skip-gram 和 continuous bag-of-words(CBOW)两类,但都是基于局部滑动窗口计算的。即,该方法利用了局部的上下文特征(local context)LSA和w

2020-06-27 23:48:48

[CS224n]Word Vectors

为什么用word vectors?开始时使用one-hot编码,其中一位为1,其余全为0,向量长度和词表等长。motel = [0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 1 \ 0 \ 0 \ 0 \ 0]hotel = [0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 1 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0 \ 0]但是存在以下问题:词表长度为百万、千万时,one-hot会极其长,而且只有一位是1。任意两个向量都正交(点乘=0),

2020-06-24 23:43:03

朴素贝叶斯算法

参考资料:李航“统计学习方法”彼得哈灵顿“机器学习实战”一,原理(一)相关知识这篇文章以挑西瓜为例,讲解了先验概率,后验概率,联合概率和条件概率相关概念以及朴素贝叶斯算法的原理。https://mp.weixin.qq.com/s/7xRyZJpXmeB77MZNLqVf3w(二)朴素贝叶斯算法朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。设输入空间为n...

2020-05-21 15:58:08

决策树算法

参考资料李航“统计学习方法”彼得哈灵顿“机器学习实战”一,决策树模型(一)原理分类决策树模型是一种描述对实例进行分类的树状结构,由结点和有向边组成结点有两种类型:内部结点和叶结点,内部结点表示对一种特征的判断,叶结点表示一个类。用决策树分类,从根结点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到子结点,此时,该特征的每一个取值对应一个子结点,递归地对实例进行测试并分...

2020-05-21 15:57:43

跑模型的问题总结(一)

刚开始跑模型遇到了很多问题,感谢大神们的博客,自己对遇到的问题做个小总结~一、tmux的使用:1.新开一个会话---tmux new -s session_name2.会话里启动进程后,回到原本界面的方法----先按下ctrl+b,然后再单独按d3.重新回到会话里查看进程的方法:tmux a -t session_name4.查看会话中历史记录----先按ctrl+b,然后按Page Up ,Page Down5.可以同时新建多个会话s1,s2,s3 在会话间切换的命令: 先按ctr...

2020-05-20 23:59:24

查看更多

勋章 我的勋章
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。