goodfake

原创 pycharm连接远程服务器进行debug，一直出现collecting data，不显示内容

原创 RuntimeError: Input, output and indices must be on the current device

我看了一下模型的输入，都放到了GPU上，然后我在网上查了一下，发现我在模型内部创建了新的模型，这些新的模型也要放在GPU上 self.bert = BertModel.from_pretrained(bert_config) self.multi_head1 = MultiHeadedAttention(8, 768, dropout) self.multi_head2 = MultiHeadedAttention(8, 768, dropout)

原创 中文阅读理解_2021海华AI挑战赛

一、阅读理解基本介绍四种广义的机器阅读理解任务：完形填空 定义：给定文章C，将其中的一个词或者实体a(a属于C)隐去作为待填空的问题，完形填空任务要求通过最大化条件概率P(a|C-a)来利用正确的词或实体a进行填空。 数据集：CNN & Daily Mail、CBT、LAMBADA、Who-did-What、CLOTH、CliCR 多项选择 定义：给定文章C、问题Q和一系列候选答案集合，多项选择任务通过最大化条件概率来从候选答案集合A中挑选出正确答案回答问题Q。 数据集：

原创 Pytorch自动混合精度(AMP)介绍与使用--GradScaler()、autocast

https://www.cnblogs.com/jimchen1218/p/14315008.html

原创 完美解决：RuntimeError: CUDA error: CUBLAS_STATUS_INTERNAL_ERROR when calling `cublasCreate(handle)

报错场景：self.scores = nn.ParameterList() self.scores.append(Parameter(torch.FloatTensor(nfeat, 1))) for i in range(nhidlayer): self.scores.append(Parameter(torch.FloatTensor(nhid, 1)))## 这一句报错，也就是做矩阵乘法@时报错s_i = torch.sigmoid(

原创 在Pycharm中右键运行程序时出现Run ‘pytest in XXX.py‘恢复正常模式

跑项目的时候，不知道怎么回事，右键运行程序变成了pytest，然后网上找答案，大家都说edit configuration,照着它的步骤，治标不治本，没啥用。之后找到一篇博客https://www.jianshu.com/p/350ade95aaf9大致操作如下：将pytest改为Unittests，完事！！...

原创 算法面经总结——慢慢来，才更快

1、交叉熵损失函数的推导过程二分类在二分类中，模型的最后一次通常是sigmoid函数，即预测最终的概率大小。,取值范围为(0,1)。首先二分类的y取值为0，1；当真实标签y=1时，记预测概率 = p(y=1|x)，当真实标签y=0时，记预测概率1- = p(y=0|x)。极大似然估计理解：师傅和徒弟一起去打猎，二人同时射出一箭，一支箭射中野物，我们此时认为该箭是师傅射的概率更大。类比： 表示师傅射的箭，1- 表示徒弟射的箭，当真实标签y=1时，表示射中野物，否则没射中野物。那么此时我

原创 error: invalid command ‘egg_info‘ 安装optuna时报错

错误情况：1、 pip install optuna出现上图错误，查了一些需要安装setuptools；2、 于是pip install setuptools，但是又出现下载文件目录中有缺失文件情况，就离线安装；解决错误：解决错误2：官网下载setuptools,https://pypi.org/project/setuptools/44.1.1/#modal-close解压文件，运行python setup.py install,安装setuptools成功。解决错误1：安装..

原创 有关于spacy，en使用的一些bug

首先遇到这个错OSError: [E050] Can’t find model ‘en’. It doesn’t seem to be a shortcut link, a Python package or a valid path to a data directory.大概是要load('en')，但是没有，那就下载。可是按照下载命令python3 -m spacy download en不行啊，又报这个错requests.exceptions.ConnectionError: HT

原创 离线安装pytorch及显卡驱动对应版本的cuda toolkit

1、下载各类包清华源地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/?C=M&O=D显卡驱动对应版本的cuda toolkit个人显卡驱动为442.50，因此下载的是：pytorch-1.5.1-py3.7_cuda102_cudnn7_0.tar.bz2torchvision-0.7.0-py37_cu102.tar.bz2下载成功之后放到anaconda3\pkgs文件.

原创 OSError: libcudart.so.10.2: cannot open shared object file: No such file or directory

这个错误是我在import dgl时报的，因为我在跑一篇论文的代码，按照论文的要求安装了环境https://github.com/DreamInvoker/GAIN，这类错误一般是版本不对导致的，这位仁兄就是这样子的。https://blog.csdn.net/kangyahui900/article/details/104662849我的就不是了，我装的是dgl-cu102(0.4.3)，在自己的机子上跑是ok的，但是放在服务器上跑就不行，之后我把它卸载重装，pip install dgl==..

原创 Segmentation fault (core dumped) /python/linux

每次遇到这个错误就无从下手，网上搜了许多，说gdb调试，弄来弄去也没弄明白，有点不太聪明的样子。而且最关键的是同样的代码在自己电脑上跑的通，服务器上就报错Segmentation fault (core dumped)。后来呢，就想到一个本方法，反正就是哪条语句的错误，那就笨方法debug，手动加断点。于是就有了，下面的截图。结果就是，发现是导包matplotlib这个地方报错，然后就把两个语句一合并进行百度，就得到了正确的处理结果。但是还是很纳闷，为啥同样的代码，自己电脑能跑通，服

原创 torch 、torchtext、python 对应版本

转载 Pytorch的modle.train，model.eval，with torch.no_grad的个人理解

转载：原博客地址：https://blog.csdn.net/l8947943/article/details/103730804?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLear

原创 多分类的误差个人笔记

官方文档：https://pytorch.org/docs/stable/nn.functional.html?highlight=nll_loss#torch.nn.functional.nll_loss优秀博客：https://www.gentlecp.com/articles/874.html二分类为例：最后结果输出的形状是(batch_size, 2),因为是二分类，所以包含两种状态0和1；如果是五分类就是5而我们的label未经处理时的形状是(batch_size,1)，此时需要s

原创 pytorch有关 Dataset和 DataLoader的心得

先来看看官方文档的说法：https://pytorch.org/docs/stable/data.htmlDataLoader支持两种数据集：map-style datasets 和 iterable-style datasets.一般我们用的最多的是map-style datasets，因此这里只讲map类型的，还有我到目前为止也没用过iterable类型的。（无知导致无能，很抱歉，这部分我不知道~）我们要使用map-style datasets，要实现两种方法__getitem__()和__

原创 ValueError: num_samples should be a positive integer value, but got num_samples=0

1、报错时候的写法，查了很多，就说以下：可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据解决方法： 检查dataset中的路径，路径不对，读取不到数据。 检查Dataset的__len__()函数为何输出为零 2、后来一个个debug，dataset.__getitem__(1)打印输出，确实存在数据的，后来没辙，就找跑的通的代码比对，然后我就发现了不一样的3、发现是直接传的数据，并没

原创 pickle.load(open(‘./data/word2idx.pkl‘, ‘rb‘)) 时报错 AttributeError: Can‘t get attribute ‘Word2Idx

这个链接有个官方解释，但是我看不懂，https://www.cnpython.com/qa/150822，于是乎，我就自己琢磨琢磨，发现我之前没有导入模块，from base_word2idx import Word2Idx导入之后，就没有这个错误了，原理我不懂...

原创 离线插件安装到谷歌浏览器，显示该插件未在谷歌商店发布

1、将文件扩展名改为后缀名为zip然后将zip文件解压，得到解压文件夹2、打开谷歌浏览器，输入下图地址栏地址，勾选开发者模式，直接将上述的解压文件夹拖到该页面，即可使用

转载 RunTime Error : cuda out of memory

cuda out of memory分为两种情况第一种 CUDA out of memory. Tried to allocate 16.00 MiB错误信息：CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 7.93 GiB total capacity; 6.68 GiB already allocated; 18.06 MiB free; 41.28 MiB cached)原因：运行网络模型过程，占满了内存，引发中断

原创 RuntimeError: Expected object of device type cuda but got device type cpu for argument #1 ‘target‘

一般有三点错误device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")1、模型是否放到了CUDA上model = model.to(device) 或 model = model.cuda()2、输入数据是否放到了CUDA上data = data.to(device) 或 data = data.cuda()3、模型内部新建的张量是否放到了CUDA上 p = torch.tensor([1]).t

原创 AttributeError: module ‘torch‘ has no attribute ‘device‘的解决

PyTorch 版本低于0.4，所以conda list检查版本，低于0.4.0的需要升级到其以上

原创 python之多个json文件聚合到一个json文件

import jsonpaths = ['F://weibo-reptile//前2000id数据//','F://weibo-reptile//lab_db//','F://weibo-reptile//my_db//']weibos = ['weibo1.json','weibo2.json','weibo3.json','weibo4.json','weibo5.json']count = 0 #记录数据总条数with open("F://weibo-reptile//weibos-da.

原创 安装pytorch成功之后，使用pycharm导入torch失败

https://mp.csdn.net/console/editor/html/107384693上一篇文章讲了如何安装pytorch问题原因：之前自己单独装了Python，而安装anaconda之后，并未更改pycharm的interpreter解决方法：

原创 anaconda 与 pytorch的安装（清华镜像）

一、anaconda的安装1、下载安装包然后安装https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2、因为我之前安装过python，而anconda是大量包的集合，包含python，因此这里需要重新配置一下环境变量这篇博客讲的很详细https://blog.csdn.net/qq_43529415/article/details/100847887二、pytorch的安装1、清华镜像网站配置conda config -

原创 希尔排序的深入理解

希尔排序是进阶版的插入排序，希尔排序分为两个主要方面：跨度排序、插入排序1、跨度排序： 希尔排序选取特定的步长进行分领域排序，这样可以保证经过一次比较，可以使数据移动较大的距离。 这个移动较大的距离，是希尔排序提高时间复杂度的关键。2、插入排序： 随着步长的减小，最终步长等于1。即最后一步就是一般的插入排序。 ...

原创 快速排序C实现

#include <stdio.h>void sort(int a[],int min,int max){ int low=min,high=max; int key = a[min]; if(min>=max) return; while(low<high){ while(low<high&&a[high]>=key){ high--; } a[...

原创 输入三个字符串，比较大小，并按顺序输出

比较字符串的大小，将比较两个单个的字符串，写成一个函数，那么这样就可以变成类似数字的比较大小了#include <stdio.h>#include <string.h>#define N 10int compare(char s1[],char s2[],int n);int main(){ char s[3][N],min; int i,j...

原创 a,b,c,d是四个不同的正整数，前三个组成等比数列，后三个组成等差数列，且c+d=44，求这四个数

#include <stdio.h>int main(){ int i,j,a,b,c,d; for(i=1;;i++){ a=i; for(j=2;;j++){ b=a*j; c=a*j*j; d=c-b+c; ...

原创 C语言编程：求一个由20项组成的等差数列，其偶数项之和为330，奇数项之和为300，而且每项都是正整数。

#include <stdio.h>#define num 20int main(){ int even=330,odd=300,i,d,p=0; int sum=0,a[num]; d=(even-odd)/(num/2);//先算出公差 while(1){ for(i=1;i<=num;i++){ ...

原创 KMP算法C语言实现，及个人理解

1、KMP算法的用途。 这里不阐述，自行百度。2、next数组实现，即找出模式串的子串的前后缀的关系。 重点思路：通过已经求出的next数组的值，求后续的next数组的值。 整体思路：假设模式串长度为N，记为m[N]，我们此时要求m[x]的next数组的值，即next[x]。 这里假设m[0]~~m[x-1]的next数组的值已经求出来了，...

原创 汉诺塔（Tower of Hanoi）c语言实现

最近在复习C，然后辛辛苦苦打出的代码，不舍得练习完就删了，就copy到这来了，做个纪念#include <stdio.h>#include <stdlib.h>//用到exit;#define N 6 //转移的圆盘个数int pegs[3][N]={0};//二维数组存储柱子及对应圆盘int p_num[3]={0};//存储柱子的圆盘个数int k=0...

原创 springboot项目向前台传递各类数据（万能）

将想要传递的数据封装到map中，前端通过Key，就能取到想要的各类数据

原创 前端中标签属性 id与name的区别

1、前端可以利用id获取数据，也可以利用name获取数据，若后台获取前端提交的数据，只能利用name获取值2、这里如果id或者name对应的值不存在，那么用id 取得值为empty，也就是'';用name取得值为null，也就是null...

原创 springboot项目前后端数据交互问题

数据交互问题的数据大致分为两种情况，一种是JSON数据，另一种为非JSON数据1、JSON数据前后台交互，这里拿表单数据作为Demo前台后台2、非JSON数据格式，这里以集合作为Demo，毕竟集合可以囊括基本所有数据类型了前台后台以上内容，博主已经自己测试过，放心使用...

原创 layui弹出层，数据回显

1、效果图2、具体操作function openUpdateEquipmentAccident(data) {//data为当前行数据，即点击修改的那一行 layer.open({ type: 1, title: '修改人身事故信息', content: $("#updateDiv"), area: ['80...

原创 springboot与layui数据交互，自定义状态码与Layui默认状态码不一致

1、我返回一个自定义的结果集2、前端接收数据3、我自定义结果集的状态码4、这时候就会使得数据显示失败，因为默认成功状态码为0，而我这里是 1两种解决方案 1、将自定义状态码，改回来2、在前端修改默认成功状态码...

原创 springboot跳转error页面报错

1、报错展示org.springframework.expression.spel.SpelEvaluationException: EL1008E: Property or field 'timestamp' cannot be found on object of type 'org.springframework.ui.ModelMap' - maybe not public? ...

原创 layui后台布局，点击左侧栏，只有页面右侧（主体）发生改变

1、进入layUi官网——》示例——》后台布局——》获取该布局代码2、找到内容主体,对比以下内容与原代码区别<div class="layui-body"> <!-- 内容主体区域 --> <div style="padding: 15px;"> <div class="layadmin-tabsbody-it...

转载 maven配置资源拷贝

https://www.cnblogs.com/yaowan/p/8984699.html复制粘贴该链接 的代码到pom.xml就ok了