3 Hi-Cloud

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 5w+

Hadoop-2.7.5 + Spark-2.2.0分布式集群搭建过程(2)

文章目录接上篇 https://blog.csdn.net/muumian123/article/details/902012865.3 启动并验证Hadoop分布式集群5.3.1 启动Hadoop分布式集群5.3.2 验证Hadoop 分布式集群至此,我们成功构建了Hadoop 分布式集群并完成了测试!六、搭建 Spark集群6.1 安装Scala - 2.12.46.1.1 Scala下载6....

2019-05-14 13:36:09

Hadoop-2.7.5 + Spark-2.2.0分布式集群搭建过程(1)

这里写自定义目录标题前提条件:一、 Java下载与安装配置1.1 Java下载1.2 Java安装:1.3 其他服务器的Java安装二、SSH安装及设置2.1 安装并验证 SSH2.2 设置 ssh 免密登录三、设置主机名和IP地址的对应关系3.1 修改主机名称3.2 配置host3.3 三台服务器间SSH免密登陆四、Rsync 安装配置五、搭建Hadoop集群5.1.hadoop安装配置5.1....

2019-05-14 11:27:57

使用 Docker 部署 Vue.js + Go 项目

最近公司要求搞一个 dashboard ,前端用 Vue.js 框架,后端用 Go 语言写的。在决定用 Docker 进行部署的时候,遇到了很多问题,特此记录。由于这个项目需要使用 AWS 中的 DynamoDB,因此需要先在 Docker 的 image 中安装 aws-cli,然而 aws-cli 只能依赖 Python 进行安装。因为我考虑先从运行一个 Ubuntu 基础镜像(如果是 C...

2019-05-14 10:13:59

Linux 常用命令总结

切换目录: cd /home 切换至home路径 cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd 进入个人主目录 cd ~user1 进人个人主目录 cd - 返回上次所在目录 显示当前工作路径: pwd 查看当前路径下文件及文件夹:ls 查看目录中的文件 ls -l 显示文件和目录的详细资...

2019-05-12 11:07:00

Flask 项目 Docker 化

最近完成了一个以 Flask 为框架的项目,为了更方便的对其进行部署,我选择先将该项目进行 Docker 化。1. Flask 项目建立一个 python 虚拟环境:pip install virtualenvmkdir Webcd Webvirtualenv venvvenv\scripts\activate# deactivate # 退出虚拟环境pip insta...

2019-05-12 10:20:25

Docker 十分钟快速入门

1. 下载源码git clone https://github.com/ruanyf/koa-demos.git2. 编写 “.dockerignore” 文件.gitnode_modulesnpm-debug.log上面代码表示,这三个路径要排除,不要打包进入 image 文件。如果你没有路径要排除,这个文件可以不新建。3. 编写 DockerfileFROM ...

2019-05-11 12:31:39

剑指offer经典66答案汇总(2)

目录34第一个只出现一次的字符35数组中的逆序对 36两个链表的第一个公共结点37数字在排序数组中出现的次数38二叉树的深度39平衡二叉树40数组中只出现一次的数字41和为S的连续正数序列42和为S的两个数字43左旋转字符串44翻转单词顺序列45扑克牌顺子46孩子们的游戏(圆圈中最后剩下的数)47求1+2+3+…...

2019-03-23 20:07:40

剑指offer经典66答案汇总(1)

目录1二维数组中的查找2替换空格3从尾到头打印链表4重建二叉树5用两个栈实现队列6旋转数组的最小值7牛客网斐波那契数列8牛客网跳台阶9牛客网变态跳台阶10矩形覆盖11牛客网二进制中1的个数12牛客网数值的整数次方13调整数组顺序使奇数位于偶数前面14链表中倒数第k个结点15反转链表16合并两个排序的列表...

2019-03-22 15:57:41

安装并在本地 Kubernetes 上运行服务

前提条件Win10 专业版/企业版1 安装1.1 Docker下载 Docker:https://hub.docker.com/editions/community/docker-ce-desktop-windows为了下载 Docker,你必须先注册账号并登录。如果你之前下载过 Docker Toolbox,可能会出现“could not read CA certific...

2019-03-07 13:39:33

Docker 创建并推送镜像到 AWS

背景描述:以前,我们需要输入很多 docker 命令来 build 和 push image,现在开发人员只需要填写自动 build 和 push image所需的文档。主要流程如下:1 如何填写配置文件1.1 填写 Dockerfile 和 .dockerignore 文件将它们都放到一个特殊的文件夹中,例如:“/var/local/preview_dockerfile”,并...

2019-03-07 12:25:32

Python 处理命令行参数

有的时候需要用到对命令行中的参数进行捕获的需要,Python 有两种方式可以实现,一是使用基础包 sys 进行实现,二是可以使用更高级有效的函数 getopt 进行实现。1. sys 模块Python sys模块通过sys.argv提供对任何命令行参数的访问。这有两个常用指令: sys.argv 返回的是包含命令行参数的一个 list len(sys.argv) 返回的是命...

2019-01-28 11:17:11

Zero-Shot 进行事件抽取思维导图解读

目前唯一一篇用迁移学习做事件抽取的论文,原件为.xmind格式,有需要的小伙伴请留言。   

2019-01-13 16:35:00

TensorFlow分布式计算

分布式Tensorflow底层的通信是gRPC。gRPC首先是一个RPC,即远程过程调用,通俗的解释是:假设你在本机上执行一段代码num=add(a,b),它调用了一个过程call,然后返回了一个值num,你感觉这段代码只是在本机上执行的,但实际情况是,本机上的add方法是将参数打包发送给服务器,然后服务器运行服务器端的add方法,返回的结果再将数据打包返回给客户端。TensorFlow集群就...

2019-01-12 20:14:29

Liberal Event Extraction and Event Schema Induction

【文章来源】http://anthology.aclweb.org/P/P16/P16-1025.pdf我们提出了一种全新的“自由”事件提取范式,可以同时从任意输入语料库中提取事件和发现事件模式。我们结合符号(如抽象意义表示)和分布语义来检测和表示事件结构,并采用联合类型框架来同时提取事件类型和参数角色,发现事件模式。在一般和特定领域的实验表明,该框架可以构造具有许多事件和参数角色类型的高...

2019-01-12 19:53:34

A Transition-based Algorithm for AMR Parsing

【文章来源】A Transition-based Algorithm for AMR Parsing:http://aclweb.org/anthology/N/N15/N15-1040.pdf我们提出了一个两阶段框架来解析一个句子到它的抽象意义表示(AMR)。 我们首先使用依赖解析器为句子生成依赖关系树。在第二阶段,我们设计了一种新的基于转换的算法,该算法将依赖树转换为AMR图。这种方法...

2019-01-10 23:05:44

Zero-Shot Transfer Learning for Event Extraction

【文章来源】事件提取的Zero-Shot迁移学习:https://arxiv.org/pdf/1707.01066.pdf摘要大多数先前的事件提取研究严重依赖于从带注释的事件提及中派生的特征,因此不能应用于没有注释工作的新事件类型。在这项工作中,我们重新审视事件提取并将其建模为接地问题。我们设计了一个可转移的神经结构,使用结构和组合神经网络将事件提及和类型联合映射到共享语义空间,其中每...

2019-01-10 22:50:24

ACE事件类型及模板

事件类型及子类型每个事件类型和子类型都有自己的一组潜在参与者角色,用于在其范例范围内出现的实体。在某些情况下,潜在事件是否可标记的问题将取决于是否存在填充某些角色的实体。(对于代词和明确描述的名词回指案例,这一要求会有所放宽。)事件参数任何可标记的事件参数都将与事件的触发器词在同一个句子中出现。我们首先简要讨论不同类型的参数。活动参与者:大多数事件参数都是参与者。这些将是以...

2019-01-02 15:02:25

指代消除文献综述

基本介绍概念指代是自然语言中的一种重要的表达方式,它使得语言表达简洁连贯,然而在篇章中大量使用指代,增加了计算机对篇章理解的难度.指代消解的主要任务是识别篇章中对现实世界同一实体不同的表达的过程.从计算语言学的角度,指代消解可以看成是一个分类或者一个聚类的过程.分类的过程主要是判断实体表达之间是否指向同一个实体,聚类的过程主要是判断一个实体表达能否加入到指向某个实体的集合中.从数学的角度上来说...

2019-01-02 14:50:55

NLP 中的语言模型预训练&微调

1 引言语言模型(Language Model),语言模型简单来说就是一串词序列的概率分布。具体来说,语言模型的作用是为一个长度为m的文本确定一个概率分布P,表示这段文本存在的可能性。在实践中,如果文本的长度较长,P(wi | w1, w2, . . . , wi−1)的估算会非常困难。因此,研究者们提出使用一个简化模型:n元模型(n-gram model)。在 n 元模型中估算条件概率...

2018-12-13 16:41:23

Python&Java版【LeetCode】简单题答案整理02

时隔几日,我又回来啦!继续上篇文章的内容。仍旧是Python和Java双语言版本。题目目录198. 打家劫舍202. 快乐数203. 移除链表元素204. 计数质数205. 同构字符串206. 反转链表217. 存在重复元素219. 存在重复元素 II225. 用队列实现栈226. 翻转二叉树231. 2的幂232. 用栈实现队列234. 回...

2018-12-13 16:25:31

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。