- 博客(80)
- 收藏
- 关注
RSS订阅原创 StanfordCoreNLP配置方法
pip install stanfordcorenlp去官网下载CoreNLP解压CoreNLP，得到stanford-corenlp-4.2.0unzip stanford-corenlp-latest.zip简单实用示例：>>> from stanfordcorenlp import StanfordCoreNLP>>> nlp = StanfordCoreNLP('./stanford-corenlp-4.2.0')>>> s .
2021-04-08 15:48:21
839
转载 Data Augmentation in NLP
Data Augmentation in NLPWord SubstitutionSynonym-based substitutionWord embedding substitutionMasked language modelTF-IDF-based word substitutionThe basic idea is that words with a low TF-IDF score are meaningless, so they can be r...
2020-07-15 15:09:05
352
原创 经管复习总结
经管复习总结第一章 经济与管理概述第一节 经济与管理的基本概念经济问题与经济学人类欲望的无限性和资源的稀缺性由于人类需要的无限性与经济 资源的稀缺性产生了人类社会面临的经济问题经济学家们认为，经济学产生于客观存在的稀缺性及由此所引起的选择的需要经济学研究的基本问题总量既定的生产资源用来生产哪些产品？采用什么生产方法？生产的产品在社会成员之间如何分配？一个社会既定的生...
2019-06-23 22:31:42
4536
原创 编写MapReduce任务
编写MapReduce任务实验要求本次实验输入为包含各科成绩文本，每一行分别为科目和成绩，要求使用MapReduce模型进行编程，输出单科最高分。要求实验报告包含编写的代码以及实验步骤。将数据上传到hdfshadoop fs -mkdir /datahadoop fs -put ~/subject_score.txt /data查看hadoop fs -ls /data将ja...
2019-06-16 13:24:36
614
原创 Hive配置实验
Hive配置实验内嵌模式配置下载Hivewget https://www-eu.apache.org/dist/hive/hive-2.3.5/apache-hive-2.3.5-bin.tar.gz解压包tar -xvf apache-hive-2.3.5-bin.tar.gz 将解压后的Hive文件夹放到Hadoop文件夹下cd /cloud/hadoop-3.2.0/mv...
2019-06-16 11:22:25
246
原创 大数据复习
大数据复习大数据概述三次信息化浪潮的标志及解决的关键问题信息化浪潮发生时间特点标志解决问题第一次浪潮1980数字化个人计算机信息处理第二次浪潮1995网络化互联网信息传输第三次浪潮2010智能化物联网、云计算和大数据信息爆炸信息科技需要解决的最核心的三个问题：信息存储、信息传输和信息处理数据产生方式经历的三个阶段：运营式系...
2019-06-13 14:41:28
1495
原创 HBase配置实验
HBase配置实验Zookeeper配置tar -zxvf zookeeper-3.4.14.tar.gzcd zookeeper-3.4.14/mkdir zkdatamv conf/zoo_sample.cfg conf/zoo.cfg修改conf/zoo.cfgvim conf/zoo.cfg修改如下dataDir=/home/apps/zookeeper-3.4.14...
2019-06-07 10:36:11
204
原创 Hadoop配置实验
hadoop配置实验安装java jdk服务器cd /homemkdir software在本地下载 https://download.oracle.com/otn/java/jdk/8u212-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64.tar.gz本地终端scp /Users/xujiaxing/Downlo...
2019-06-06 21:16:18
270
原创 图计算学习
图计算学习本文总结自AMiner《图计算研究报告》概述图计算定义图（Graph）是一种重要的数据结构，它由节点 VVV（或称为顶点，即个体） ，与边 EEE（即个体之间的联系）构成，我们一般将图表示为 G（V，E）G（V，E）G（V，E） 。图数据的典型例子有网页链接关系、社交网络、商品推荐等。图计算系统中最基础的数据结构由顶点 VVV（或节点）、边 EEE、权重 DDD 这三因素组成，...
2019-03-30 17:30:08
10244
3
原创 How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response GenerationAbstract本文调研了各种nlg系统的metric近期的nlg metric从MT发展而来，本文发现这些metric与人类在Twitt...
2019-03-07 20:55:08
664
原创 CS224n学习笔记
CS224n学习笔记CS224n: Natural Language Processing with Deep Learning代码及笔记在 https://github.com/AngusMonroe/CS224n 持续更新
2019-02-10 13:59:27
366
原创 Google-ML-Recipes-Chs-sub-and-code学习笔记
Google-ML-Recipes-Chs-sub-and-code学习笔记Google-ML-Recipes-Chs-sub-and-code代码及笔记在 https://github.com/AngusMonroe/GoogleMachineLearning 持续更新
2019-02-10 13:56:53
257
原创 计网复习
计网复习体系结构OSI 7层模型 & TCP/IP 模型协议是控制两个对等实体（或多个实体）进行通信的规则的集合在协议的控制下，两个对等实体间的通信使得本层能够向上一层提供服务。要实现本层协议，还需要使用下面一层提供的服务协议是水平的，即协议是控制对等实体之间通信的规则，但服务是垂直的，即服务是由下层向上层通过层间接口提供的。另外，并非在一个层内完成的全部功能都称为服务，只有那...
2019-01-07 14:54:52
2104
原创 编译复习
编译复习第一章 绪论基本概念低级语言字位码、机器语言、汇编语言特点：与特定的及其有关，功效高，但使用复杂、繁琐、费时、易出错高级语言Fortran、Pascal、C语言等特点：不依赖具体机器，移植性好，对用户要求低，易使用，易维护源程序：用汇编语言或高级语言编写的程序称为源程序目标程序：用目标语言所表示的程序目标语言：可以是介于源语言和机器语言之间的中间语言，可以是某...
2019-01-05 22:28:06
1054
原创 银行虚拟化部署设计方案
一. 引言随着银行开发项目的数量和规模日益增长，对项目质量控制的要求也越来越高，目前采用的目前采用CDC传统的数据中心解决方案已经满足不了目前的应用需求，运维带来很多不便，存在着成本、管理、故障（容灾）等问题，服务器利用率低，缺乏灵活性和管理型，达不到高可用性要求。针对大作业要求，本文细致分析了存储系统的用户需求；提出了存储技术与网络拓扑整体设计方案；具体分析了存储方案与成本，以及网络拓扑结构...
2018-12-31 17:58:56
2450
1
原创 Dialogue System Survey
Dialogue System SurveyTask-orientedNon-task-orientedDiscussionTask-oriented dialogue system目的：帮助用户完成某些特定任务，比如查找产品、客服等特点：通常需要在外部知识库上进行查询Pipeline Methods基于管道的面向任务的对话系统的四个组成部分：自然语言理解（NLU）：...
2018-11-05 09:28:32
1409
原创 Hierarchical Recurrent Encoder-Decoder
Hierarchical Recurrent Encoder-DecoderBuilding End-to-End Dialogue Systems Using Generative Hierarchical Neural Network ModelsIntroductionseq2seq的典型方法，用前N-1句话生成第N句话。假如说现在A, B对话内容是：a1,b1,a2,b2a1,b1,...
2018-10-21 11:01:42
1391
原创 主题感知的响应生成——TA-Seq2Seq model
主题感知的响应生成——TA-Seq2Seq《Topic Aware Neural Response Generation》概述本文介绍了一种将topic model与seq2seq的方法，主题来自于预训练LDA模型，为了增加主题词出现在回答中的可能性，该模型通过添加额外的概率项来偏向整体分布来修改主题词的生成概率。该模型利用主题来模拟人类的先验知识，指导他们在对话中形成信息性和有趣的反应，...
2018-10-20 00:37:19
1039
原创 操作系统第一次实验——Linux的基本使用和管理
操作系统第一次实验报告Linux的基本使用和管理一、实验内容简要描述1、实验目标完成Linux的安装和配置了解Linux基本环境与使用熟悉Linux文件处理学习vi编辑器的使用2、实验要求熟悉linux操作系统的基本安装和配置；了解linux操作系统的启动过程和桌面环境；掌握VirtualBox虚拟机的使用了解Linux的命令格式，掌握Linux中的操作命令；学会使用各种...
2018-10-08 16:47:46
11962
原创 Response Generation中BLEU、NIST评测方法的使用
最近准备AI Challenger的时候要用到BLEU、NIST等评价指标对机器翻译的效果进行评价，BLEU比较好找，NIST就比较麻烦了，在这记录一下使用方法关于BLEU的介绍可以参考对话响应生成的无监督评估指标的实证研究NIST(National Institute of standards and Technology)方法是在BLEU方法上的一种改进。最主要的是引入了每个n-gram的...
2018-10-05 11:56:48
2545
1
转载 linux下添加，删除，修改，查看用户和用户组
一.组操作1.创建组groupadd test增加一个test组2.修改组groupmod -n test2 test将test组的名子改成test23.删除组groupdel test2删除 组test24.查看组a）查看当前登录用户所在的组 groups，查看apacheuser所在组groups apacheuserb）查看所有组 cat ...
2018-09-14 10:37:33
536
原创 对话系统调查：最新进展与新前沿
对话系统调查：最新进展与新前沿paper:A Survey on Dialogue Systems: Recent Advances and New Frontiers该paper来自于京东数据团队，论文引用了近124篇论文，是一篇综合全面的介绍对话系统的文章简介通常将现有的对话系统划分为面向任务和非任务（聊天机器人）的模型传统的对话系统处理方法是将对话响应视为管道，使用手...
2018-08-25 10:35:56
2161
原创 对话响应生成的无监督评估指标的实证研究
对话响应生成的无监督评估指标的实证研究paper:How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation简介这个文章的工作：指出现存的metric的缺点，提出一个更好的metric的...
2018-08-25 09:52:23
842
转载 序列标注中的几种标签方案
标签说明标签方案中通常都使用一些简短的英文字符[串]来编码。标签是打在token上的。对于英文，token可以是一个单词（e.g. awesome），也可以是一个字符（e.g. a）。对于中文，token可以是一个词语（分词后的结果），也可以是单个汉字字符。为便于说明，以下都将token试作等同于字符。标签列表如下：B，即Begin，表示开始I，即Intermedi...
2018-08-14 10:11:37
2922
2
原创 numpy学习笔记
numpy学习笔记Why numpy？numpy是科学运算中非常重要的一个模块，在数据分析、机器学习、深度学习等方面都有应用其优点包括：运算速度快：numpy都是采用C语言编写消耗资源少：采用的是矩阵运算，会比 python 自带的字典或者列表快很多安装一般anaconda环境会自带numpyNumpy的安装文件地址是这里。里面有不同版本，有开发者版本和稳定版...
2018-08-02 15:41:27
339
转载 服务器后台运行python程序并输出到日志文件
转载自后台运行python程序并输出到日志文件现在有test.py程序要后台部署, 里面有输出内容使用命令:nohup python -u test.py > test.log 2>&1 &最后的&表示后台运行 2 输出错误信息到提示符窗口 1 表示输出信息到提示符窗口, 1前面的&注意添加, 否则还会创建一个名为1的文件 最后会把...
2018-07-12 17:32:33
5302
原创 服务器部署python服务常用命令
最近在实验室负责微信公众号后台的搭建，为了方便以后查询，在这里记录一下常用的命令。登录服务器ssh -t <用户名>@<公网IP>指定端口登录ssh -t <用户名>@<公网IP> -p <端口号&am
2018-07-09 10:07:15
821
原创 Nginx 部署 HTTP 静态服务
搭建静态网站，首先需要部署环境。下面的步骤，将告诉大家如何在服务器上通过 Nginx 部署 HTTP 静态服务。安装 Nginx在Ubuntu 16.04.3上apt install nginx安装完成后，启动Nginx：nginx配置静态服务器访问路径外网用户访问服务器的 Web 服务由 Nginx 提供，Nginx 需要配置静态资源的路径信息才能通过 url...
2018-07-06 15:30:45
527
原创 非root权限安装pip
在实验室拿到的服务器账号只是一个普通用户，没有root权限，导致很多软件包的安装受到阻碍。关于安装pip、和必要的python包，这里给出一种创建虚拟环境的办法进行解决，其中的主要原理在于圈定自己的一个运行范围。该方法适用于：python2.7, python3.x（3.0及其以后版本）1. 安装pipwget https://bootstrap.pypa.io/get-pip.p...
2018-07-06 10:47:18
3920
1
原创 使用filezilla+vsftpd向服务器传输文件
使用filezilla+vsftpd向服务器传输文件搭建好云服务器后，我们经常需要将本地文件上传到服务器，或者将服务器上的文件下载到本地。这就需要在服务器上搭建FTP服务。 安装vsftpdvsftpd是一个高安全性的运行在UNIX类操作系统上的FTP服务器。在root用户下apt-get update # 更新软件apt-get install vsftpd ...
2018-07-01 09:07:04
2275
1
原创 数据库期末复习提纲
数据库期末复习提纲高频单词Integrity 完整Constraint 约束property 性质Schema 模式Entity 实体tuple 元组domain 域01-Introduction数据是较低的抽象层次; 是信息的载体，信息是数据的解释数据操作的主要类别：数据管理——数据库数据处理——电脑程序数据传输——计算机网络数据管理任...
2018-06-15 20:50:46
10338
原创 python3将json对象存入Redis以及数据的导入导出
Redis数据类型String:二进制安全,可以包含任何数据Hash:一个键值(key=>value)对集合List:简单的字符串列表Set:string类型的无序集合Zset:每个元素都会关联一个double类型的分数,redis通过分数来为集合中的成员进行从小到大的排序Redis基本命令Key: set, get, deleteHash: hmset, ...
2018-06-09 18:40:34
14304
1
原创 macOS上Redis的安装与测试
Redis简介Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis运行在内存中，同时支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Why Redis?作为key-value型数...
2018-06-09 00:59:19
4426
原创 GloVe学习笔记
GloVe是一种用于获取词汇向量表示的无监督学习算法。 对来自语料库的聚合全局字词同现统计进行训练，并且所得到的表示展示了词向量空间的有趣的线性子结构。官网主页地址：https://nlp.stanford.edu/projects/glove/Github：https://github.com/stanfordnlp/GloVe论文下载地址：https://nlp.stanford....
2018-04-20 16:45:39
2245
原创 Python中msgpack库的使用
msgpack用起来像json，但是却比json快，并且序列化以后的数据长度更小，言外之意，使用msgpack不仅序列化和反序列化的速度快，数据传输量也比json格式小，msgpack同样支持多种语言。安装直接pip即可pip install msgpack使用import msgpackvar = {'a': 'this', 'b': 'is...
2018-04-18 11:42:45
24124
转载 Markdown 添加 Latex 数学公式
转载自https://www.cnblogs.com/peaceWang/p/Markdown-tian-jia-Latex-shu-xue-gong-shi.html添加公式的方法行内公式 $行内公式$行间公式 $$行间公式$$Latex 数学公式语法角标（上下标）上标命令^{}下标命令_{}上下标命令用来放在需要插入上下标的地方，华括弧内为上下标的内容，当角标为单个字符时候，可...
2018-04-09 10:25:21
710
原创 C#与C++的一些语法区别
这学期有C#的课，由于之前有C和C++的一些基础，所以并没有从头开始学习其语法，在这里总结一下实际使用中发现的C#与C++的一些区别，便于以后使用时进行查阅（其实是为了考期复习方便2333）C、C++与C#在宏观上的区别C是完全面向过程的语言，用于开发规模较小的程序效率很高，但是程序较大，就显得代码量多，编写效率下降了。C++是半面相对象的，引入了类的封装性、继承性、多态性大大简化...
2018-03-15 16:41:16
6717
原创 Google Colab免费GPU配置方法
前言因为最近在Mac上跑模型实在是心累，所以就想要找一些免费的云服务器来进行模型训练经了解，Google推出的免费GPU服务器Google Colab（Colaboratory）就很合适Google Colab特征Colaboratory是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个Jupyter Notebook环境，不需要进行任何设置就可以使...
2018-03-13 16:57:42
9080
3
原创 Python中graphviz库的使用
最近在做数据可视化的时候用到了graphviz库，用于生成决策树、流程图效果拔群，在这里记录一下用法安装pip install graphviz直接pip，不多解释了使用以下代码均在python3.6.1下编译通过导入库from graphviz import Digraph创建表dot = Digraph(name, comment)添加点d...
2018-03-07 11:42:29
35197
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人