- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 本地/远程服务器使用Git将项目到Github
账号使用用户名即可，不用邮箱，密码是在github中设置的token。如果需要忽略某个文件夹（例如数据文件等），使用以下命令创建。文件，在文件中写出想要忽略的文件夹名称。
2021-05-11 12:50:31
160
2
原创 Pytorch Debug 记录
对于长度不确定的字典，比如loss里有几项不确定，可以在return时候这样写。把loss和output一起存在一个字典里返回，可以保存。
2023-03-29 16:54:50
92
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（八）
文章目录项目进展后续计划项目进展目前项目的问题生成、问题分类和数据爬取等各个板块均稳步进行并已经接近尾声，在做最后的优化和调整。对于前端设计，团队确定了前端要使用的框架，讨论完成前端计划展示的内容以及icon的设计。后续计划目前正在进行前端设计，本周开始将项目的各个板块合并到一起，并完成项目前后端的连接，争取早日上线。...
2021-05-21 16:37:10
139
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（八）
关于项目未来计划经过一个五一小长假的休整，我们的项目进入了一个新的阶段，经过团队讨论交流，我们打算预留出俩周的时间去查漏补缺并进行前后端的整合。关于项目目前的情况关于前端对于前端的展示，我们小组讨论决定，既然是项目实训那么成品应该是一个可以使用的完整的产品，因此除了对于基本的生成问题展示还应该考虑用户的产品体验，增加产品的实用性和可操作性。为此我们打算使用web的形式对成果进行展示，建立完整的BS体系，免去额外的下载APP的苦恼，并对数据进行可视化处理，让用户更加直观查看到数据，并对数据更加信服。
2021-05-12 12:34:58
105
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（七）
目录项目实训中期检查项目进度1.问题生成部分：2.问题分类：3.正确性判断项目技术部分分析数据清洗文本截断开始模型训练总结体会项目实训中期检查项目实训中期检查圆满结束，我们团队也基本完成了前期的基础开发工作。在中期检查上，老师们依次检查了我们团队每位成员的代码成果以及项目实训博客，表示予以通过，但同时也提出了一些疑问和建议，我们也给出了自己的回应。检查结束之后，内部再次开了个小会于是我们再次开始开发研究工作。.项目进度1.问题生成部分：田婕与张亦琪分别使用不同的模型实现问题生成，目前田婕使用un
2021-05-07 20:35:43
245
原创 创新实训个人工作日志（五）
文章目录1. 近期工作2. 模型评测2.1 BLUE2.2 ROUGE-1，ROUGE-2，ROUGE-n2.3 结果3. 下一步计划1. 近期工作准备中期检查的相关事宜：梳理个人日志，整理项目代码对生成的问题与原问题比较，进行评测再次阅读源码，修正不规范部分2. 模型评测目前在问题生成领域普遍使用BLEU,METEOR,ROUGE-L三种自动评估指标来对模型进行评测。2.1 BLUEBLEU 采用一种n-gram的匹配规则，原理比较简单，就是比较译文和参考译文之间n组词的相似的一个占比
2021-04-21 11:00:57
170
原创 python用法杂记
文章目录逐行读取.txt文件逐行写入.txt逐行读取.json逐行读取.txt文件cand=[]with open(cand_path, 'r', encoding='utf-8') as f: lines=f.readlines() for line in lines: cand.append(line)逐行写入.txt# -*-coding:utf8-*-# encoding:utf-8name_list = [1, 2, 3]for i in tqdm(name_l
2021-04-21 10:56:46
104
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（六）
目录问题生成评估方面疑问句判断数据集xgboost模型疑问句分类问题生成正在进行预处理和疑问词分类工作。评估方面疑问句判断数据集疑问句判断数据集已建立，格式如下。label 1表示是疑问句，label 0不是疑问句xgboost模型本部分使用的是xgboost模型。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，其中包括两个以上kaggle比赛的夺冠方案。在工业界规模方面，xgboost的分布式版本有广泛的可移植性，支持在YARN,MPI, Sungrid Engine等
2021-04-11 17:54:31
137
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（五）
目前项目正稳步进展。问题生成方面进展正在调试unilm的相关代码数据集处理标签分类代码体系构建评估创新方面进展正在制作疑问句肯定句数据集，项目完成后将发布调试相关代码，从多个角度对生成的问句进行评估项目计划计划在月底基本完成分工的各项任务，然后应用团队设计的评估方法重新训练模型，最后进行前后端的设计。...
2021-04-06 16:11:43
107
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（四）
目录项目进度统一版本项目执行疑问词分类问题生成总结项目进度本周五我们小组开会讨论各自部分的进展，并进行交流与总结。对各自面对的问题共同进行探讨，商量解决办法。同时，我们对接下来的一周制定详细计划，稳步执行。统一版本在自然语言处理方面，市面上流行python语言，于是我们统一使用较新版本的Python，例如python3.7,python3.8 。在pytorch, cuda 版本上我们也尽量做到统一，以方便后续的代码执行。项目执行疑问词分类为了更加精准地生成问题，我们在QG前加一个疑问词分类器
2021-04-01 21:14:30
192
原创 创新实训个人工作日志（二）
上周对整个项目的完成思路进行了进一步的明确和梳理，决定采用先疑问词分类，后根据分类获得的疑问词问题生成的思路进行。具体思路如下图：项目基于百度的DuReader数据集进行，通过分析数据集发现数据集还需要进行数据清洗、分词等预处理工作才能使用，因此本周计划任务之一为完成数据集的预处理工作。此外，在查阅资料的基础上发现，BERT不适宜做生成问题的预训练模型，因而决定使用uniLM模型，本周的第二个任务就是学习uniLM模型，并且开始完成疑问词分类任务参考资料：uniLM模型的更新迭代Let Me
2021-03-23 15:39:23
277
1
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（三）
目录项目进度关于框架关于项目的实现1、评估标准1.1、CNN背景1.2、CNN结构与作用1.2.1、输入层1.2.2、卷积层1.2.3、池化层1.2.4、全连接层1.2.5、输出层2、关于问题生成3、总结项目进度我们小组于本周五进行了各自负责部分进度的交流与总结，对目前出现的问题进行集中的处理，以下是我们对目前项目进度的总结。关于框架由于我们的项目中无论是问题的生成还是对生成问题的评估，都计划使用深度学习的框架，但是我们是分工进行而非同步进行，问题也就因此产生。在开发的前期不会产生任何问题，各自使用
2021-03-23 15:30:12
366
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（二）
目录项目技术介绍序列模型注意力机制copy机制技术创新目标语言检验方法技术路线疑问词分类问题生成参考文献项目技术介绍序列模型Seq2Seq 是一种循环神经网络的变种，包括编码器 (Encoder) 和解码器 (Decoder) 两部分。Encoder 用于编码序列的信息，将任意长度的序列信息编码到一个向量 c 里Decoder 是解码器，解码器得到上下文信息向量 c 之后可以将信息解码，并输出为序列注意力机制注意力机制是从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的
2021-03-13 13:32:26
236
原创 创新实训个人工作日志（一）
在确认项目目标与内容之后，我阅读了问题生成方向的19年发表的综述文章，该文章从NQG的学习范式、输入形式、评价指标等多个方面全方位的介绍了问题生成方向的研究进展和发展前景，让我对项目的技术路线有了思路并增加了完成项目内容的信心。在精读过该文献后，我和小组成员共同谈论，完善了项目申请表中的内容。文献链接：Recent Advances in Neural Question Generation思维导图链接：下为文章内容框架的概述，若有不当之处，欢迎批评指正！文章目录1. introduction2.
2021-03-05 21:04:27
383
原创 2021年山东大学软件学院创新项目实训QG研发团队工作日志（一）
目录1. 项目背景2. 项目介绍3. 前期准备1. 项目背景问题生成（Question Generation，QG） 任务是指根据给定的文本段落和答案自动生成对应问题，要求能够对输入材料深度理解并能够推断出相关上下文语境，生成语法语义正确的问题。问题生成在现实中有很广泛的应用前景。在教育领域，以长篇段落信息为背景生成相关问题能够帮助考察学生的阅读理解能力并提高学生的自主学习能力，同时还能辅助教师教学，减轻教学压力。在问答系统领域，在网上与大量基于事实的文章、新闻、电子文学作品等，但缺少与之匹配的问
2021-03-05 20:25:02
233
原创 Ubuntu vmware tools安装与彻底卸载
从早上开始捣鼓的晚上vmtools一直不好用，突然发现是早上看教程的时候漏了一段，一天净瞎搞，记录一下，防止下次再犯。文章目录一、安装二、彻底卸载一、安装参考文章：VMware Tools安装点击虚拟机——安装VMware Tools（因为我已经安装完成了，所以这里会显示重新安装）这时候Ubuntu里边会显示出DVD的图标，我理解的是相当于VMware在你的Ubuntu里边插了一个光盘将VMwareTools-10.3.21.14772444.tar.gz压缩包拷贝到根目录的o.
2020-11-04 20:14:20
9519
4
原创 python图像处理(opencv，matplotlib)
目录一、报错1. 路径中英文混杂一、报错1. 路径中英文混杂报错信息：Traceback (most recent call last):error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'cv::imshow'解决方法：把路径以及文件名换成全英文格式...
2020-10-16 20:43:47
163
1
原创 菜鸟的机试准备——王道机试指南&&算法笔记
这里写目录标题日期问题所需知识：常见输出格式样例——场宽日期问题今天第几天？（清华）#include <iostream>#include <cstdio>using namespace std;int month_tab[2][13]={ {0,31,28,31,30,31,30,31,31,30,31,30,31}, {0,31,29,31,30,31,30,31,31,30,31,30,31}};bool is_leapyear(int
2020-10-11 11:05:14
652
原创 C++STL用法杂记
一、 输入输出1.cin cout 与 printf scanfcin、cout比scanf、printf慢，有时候刷算法超时，可能因为使用了cin、cout2. 获取一行字符串C中？？ scanf("%s",ch);？？？C++中string s;getline(cin,s);//获取一行数据cout<<s;二、常用函数1.sort()int a[]={2,1,5,0,-1,5,9};sort(a,a+7);sort(s.begin(),s.end());
2020-10-10 18:38:30
126
原创 Matlab使用成长日记（四）——连乘&阶乘&数值积分
本文用来记录使用matlab时出现的一些问题，内容主要是matlab中与其他编程语言（Java、C++、python）在使用上的细小区别以及matlab特有的一些用法。内容不全面，分类也不完整，如若哪里存在错误，欢迎批评指正：）Matlab使用成长日记（四）——连乘&阶乘&数值积分简单函数写法连乘数值连乘——cumprod()向量的累计乘积矩阵中每列的累计乘积矩阵中每行的累计乘积含变量的连乘——symprod()含已知变量的连乘含有未知变量的连乘阶乘数值积分简单函数写法例：f(.
2020-05-23 23:53:35
11900
1
原创 【杂】操作系统实验问题整理
本文主要是用来整理存放在进行操作系统实验时遇到的问题、原因以及解决方案，不当之处，欢迎读者批评指正。实验环境：Linux（Ubuntu18.04.4）随着实验的进行会经常更新的 : )【杂】操作系统实验过程问题整理1. 进入root权限临时使用root权限打开一个有root权限的终端2. setpriority()函数用法及注意事项（C）函数说明函数用法头文件函数定义返回值使用注意事项1. 进入root权限使用sudo命令，并在系统提示的时候输入密码。临时使用root权限直接在sudo后空.
2020-05-11 15:07:11
242
原创 Matlab使用成长日记（三）——符号变量&求导数值
本文用来记录使用matlab时出现的一些问题，内容主要是matlab中与其他编程语言（Java、C++、python）在使用上的细小区别以及matlab特有的一些用法。内容不全面，分类也不完整，如若哪里存在错误，欢迎批评指正：）Matlab使用成长日记（三）——符号变量&求导数值符号变量求导数值求出导数表达式求出某处具体函数值符号变量syms x使用上述语句后，可进行带参数...
2020-05-03 01:02:25
944
原创 Matlab使用成长日记（二）——不等号&求逆&冒号&点号&画线段&限制坐标范围
Matlab使用成长日记——（二）不等号&求逆&冒号&点号&画线段&限制坐标范围matlab中的不等号matlab求逆运算冒号的使用方法在for循环中的用法在矩阵中的用法. 号用法.* 与 * 的区别绘图——已知两点画线段限制坐标轴的范围本文用来记录使用matlab时出现的一些问题，内容主要是matlab中与其他编程语言（Java、C++、python）...
2020-04-27 21:33:24
5738
原创 Matlab使用成长日记（一）——常见矩阵&符号函数避坑
Matlab使用成长日记Matlab中常见矩阵的生成语法参数设定一种特殊矩阵——魔方矩阵矩阵特点语法示例符号函数的使用语法参数设定示例实数复数向量矩阵（摸鱼小白每周在线，持续不定期更新使用记录 ：）Matlab中常见矩阵的生成语法矩阵类型生成代码零矩阵zeros()全一矩阵ones()单位矩阵eye()参数设定以生成零矩阵zeros()为例...
2020-04-12 10:28:19
357
思维导图_综述-Recent Advances in Neural Question Generation_.pdf
2021-03-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人