- 博客(105)
- 收藏
- 关注
RSS订阅原创 Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark
Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark1 Scala安装1.1 下载安装包1.2 解压1.3 迁移目录1.4 配置环境变量1.5 启动scala2 安装Spark2.1 下载安装包2.2 解压2.3 迁移目录2.4 配置环境变量3 PySpark3.1 安装Python3.2 启动PySpark4 构建Spark Standalone Cluster运行环境4....
2019-01-30 15:55:58
2731
原创 Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境
Spark+Hadoop集群搭建：（二）集群节点上搭建Hadoop环境1 集群规划1.1 节点规划1.2 VirtualBox网卡设置2 构建data12.1 复制生成data12.2 设置网卡2.3 配置data1服务器2.3.1 配置网络配置文件2.3.2 编辑hostname主机名2.3.3 设置hosts文件2.3.4 配置core-site.xml2.3.5 配置YARN-site.xm...
2019-01-30 10:58:06
664
原创 Spark+Hadoop集群搭建：（零）简介与说明
Spark+Hadoop集群搭建：（零）简介与说明1 背景2 主要内容3 参考文献1 背景2 主要内容利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群，并进行一些简单的实验。主要包括1 单节点Hadoop环境搭建2 多节点（集群）Hadoop环境搭建3 Spark安装及pyspark的使用4 Spark Standalone Cluster的使用3 参考文献...
2019-01-27 17:22:13
313
原创 Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境
Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境1 安装JDK2 下载安装Hadoop2.1 下载Hadoop2.2 解压2.3 配置Hadoop环境变量2.3.1 设置JDK与Hadoop安装路径2.3.2 设置HADOOP其他环境变量、链接库等2.3.3 保存设置2.4 修改Hadoop配置设置文件2.4.1 配置Hadoop-env.sh2.4.2 配置core-sit...
2019-01-27 16:56:07
900
原创 在VirtualBox 6虚拟机上安装Ubuntu Linux 18.04操作系统
在VirtualBox虚拟机上安装Ubuntu Linux操作系统1 VirtualBox虚拟机的安装2 设置VirtualBox存储文件夹3 在VirtualBox中创建虚拟机3.1 新建虚拟机欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
2019-01-26 16:37:06
12050
1
原创 Git学习——安装与配置
Ubuntu上安装Git（其他系统安装查看git官网)命令行输入以下内容： sudo apt-get install git初次运行Git之前的配置： 1.设置用户信息，其中Your Name换位自己名字，YourEmail换为自己的邮箱git config --global user.name "Your Name"git config --global user.em...
2018-06-13 20:17:03
220
原创 Git学习——起步，概念介绍
版本控制：是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。三类版本控制本地版本控制系统集中化的版本控制系统分布式版本控制系统Git属于分布式版本控制系统，诞生于2005年，由Linux开源社区开发 Git的一些基础概念： １．直接记录快照，而非差异比较 Git和其他版本控制系统的主要差别在于对待数据的方法。其它大部分系统以文件变更列表的...
2018-06-13 20:00:50
169
原创 python学习——为pip更换国内下载镜像网址
1.pip源配置文件的放置位置（没有则自己创建）：Linux/Unix：(亲测有效） ~/.pip/pip.confWindows: C:\ProgramData\PyPA\pip\pip.conf (Windows 7及以后)2.pip的部分国内镜像：阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https:...
2018-06-10 16:09:20
4222
原创 JavaScript——表单验证
JavaScript 可用来在数据被送往服务器前对 HTML 表单中的这些输入数据进行验证。被 JavaScript 验证的这些典型的表单数据有： 用户是否已填写表单中的必填项目？ 用户输入的邮件地址是否合法？ 用户是否已输入合法的日期？ 用户是否在数据域 (numeric field) 中输入了文本？必填（或必选）项目：下面的函数用来检查用户是否已填写...
2018-05-16 00:51:08
237
原创 JavaScript——错误
JavaScript 抛出错误：当错误发生时，JavaScript 引擎通常会停止，并生成一个错误消息。描述这种情况的技术术语是：JavaScript 将抛出一个错误。JavaScript 测试和捕捉：try 语句允许我们定义在执行时进行错误测试的代码块。catch 语句允许我们定义当 try 代码块发生错误时，所执行的代码块。JavaScript 语句 try 和 catch...
2018-05-08 19:44:06
152
原创 JavaScript——循环
JavaScript 支持不同类型的循环：for - 循环代码块一定的次数for/in - 循环遍历对象的属性while - 当指定的条件为 true 时循环指定的代码块do/while - 同样当指定的条件为 true 时循环指定的代码块For 循环：语法：for (语句 1; 语句 2; 语句 3){ 被执行的代码块}语句 1 在循环（代码块）开始前执行...
2018-05-08 16:58:55
307
原创 JavaScript——比较和逻辑运算符
比较运算符：比较运算符在逻辑语句中使用，以测定变量或值是否相等。给定 x=10，下面的表格解释了比较运算符： 运算符 描述 例子 == 等于 x==8为false === 全等（值和类型） x===10为true，x===”10”为false != 不等于 x!=8为true > 大于 x>8...
2018-05-08 16:44:22
344
原创 JavaScript——运算符
JavaScript 算术运算符：算术运算符用于执行变量与/或值之间的算术运算。给定 y=10，下面的表格解释了这些算术运算符： 运算符 描述 例子 结果 + 加 x=y+2 x=12 - 减 x=y-3 x=7 * 乘 x=y*2 x=20 / 除 x=y/2 x=5 % ...
2018-05-08 16:31:48
276
原创 JavaScript——函数
函数是由事件驱动的或者当它被调用时执行的可重复使用的代码块。JavaScript 函数语法：函数就是包裹在花括号中的代码块，前面使用了关键词 function：function functionname(){这里是要执行的代码}调用该函数时，会执行函数内的代码。可以在某事件发生时直接调用函数（比如当用户点击按钮时），并且可由 JavaScript 在任何位置进行调用。...
2018-05-08 15:42:54
158
原创 JavaScript——对象
JavaScript 中，对象是拥有属性和方法的数据属性和方法：属性是与对象相关的值。方法是能够在对象上执行的动作。举例： 对象：汽车 属性：名称、重量、颜色 方法：启动、驾驶car.name=Fiatcar.weight=850kgcar.color=white car.start()car.drive() 所有汽车都有这些属性...
2018-05-08 15:32:24
173
原创 JavaScript——基础知识
script 标签:如需在 HTML 页面中插入 JavaScript，请使用 <script> 标签。<script> 和 </script> 会告诉 JavaScript 在何处开始和结束。脚本可被放置在 HTML 页面的 <body> 和 <head> 部分中,也可以把脚本保存到外部文件中。外部文件通常包含被多个网页使用的...
2018-05-08 15:18:17
163
原创 CSS——样式设置小技巧
水平居中设置:行内元素: 被设置元素为文本、图片等行内元素时，水平居中是通过给父元素设置 text-align:center来实现的。定宽块状元素: 满足定宽和块状两个条件的元素是可以通过设置“左右margin”值为“auto”来实现居中的。<style>div{ width:200px;/*定宽*/ margin:20px auto...
2018-05-07 17:13:33
162
原创 CSS——单位和值
颜色值:设置颜色的方法也有很多种：1、英文命令颜色p{color:red;}2、RGB颜色由 R(red)、G(green)、B(blue) 三种颜色的比例来配色。p{color:rgb(133,45,200);}每一项的值可以是 0~255 之间的整数，也可以是 0%~100% 的百分数。如：p{color:rgb(20%,33%,25%);}3、十六进制颜色现在比较普遍使...
2018-05-07 16:15:38
143
原创 CSS——代码缩写，占用更少的带宽
盒模型代码简写:盒模型外边距(margin)、内边距(padding)和边框(border)设置上下左右四个方向的边距是按照顺时针方向设置的：上右下左。具体应用在margin和padding的例子如下：margin:10px 15px 12px 14px;/*上设置为10px、右设置为15px、下设置为12px、左设置为14px*/通常有下面三种缩写方法:1、top、right、bo...
2018-05-07 16:06:38
295
原创 CSS——布局模型
布局模型是建立在盒模型基础之上,CSS包含3种基本的布局模型.1、流动模型（Flow）2、浮动模型 (Float)3、层模型（Layer）流动模型:流动（Flow）是默认的网页布局模式,具有2个比较典型的特征：一，块状元素都会在所处的包含元素内自上而下按顺序垂直延伸分布，因为在默认状态下，块状元素的宽度都为100%。实际上，块状元素都会以行的形式占据位置。二，在流动模型下，内...
2018-05-07 15:54:00
475
原创 CSS——元素分类与盒模型
元素分类:在CSS中，html中的标签元素大体被分为三种不同的类型：块状元素、内联元素(又叫行内元素)和内联块状元素。常用的块状元素有：<div>、<p>、<h1>...<h6>、<ol>、<ul>、<dl>、<table>、<address>、&a
2018-05-07 15:03:35
233
原创 CSS——段落排版
缩进:p{text-indent:2em;}注意：2em的意思就是文字的2倍大小。行间距（行高）：如下代码实现设置段落行间距为1.5倍。p{line-height:1.5em;}中文字间距、字母间距:h1{letter-spacing:50px;}注意：这个样式使用在英文单词时，是设置字母与字母之间的间距。单词间距设置:h1{word-spac...
2018-05-07 14:24:53
1619
原创 CSS——文字排版
字体:我们可以使用css样式为网页中的文字设置字体、字号、颜色等样式属性。下面代码实现：为网页中的文字设置字体为宋体。body{font-family:"宋体";}这里注意不要设置不常用的字体，因为如果用户本地电脑上如果没有安装你设置的字体，就会显示浏览器默认的字体。（因为用户是否可以看到你设置的字体样式取决于用户本地电脑上是否安装你设置的字体。）现在一般网页喜欢设置“微...
2018-05-07 13:55:14
452
原创 CSS——继承
继承:CSS的某些样式是具有继承性的，那么什么是继承呢？继承是一种规则，它允许样式不仅应用于某个特定html标签元素，而且应用于其后代。比如下面代码：如某种颜色应用于p标签，这个颜色设置不仅应用p标签，还应用于p标签中的所有子元素文本，这里子元素为span标签。p{color:red;}<p>三年级时，我还是一个<span>胆小如鼠</span&g...
2018-05-07 13:40:32
1263
原创 CSS——选择器
什么是选择器？每一条css样式声明（定义）由两部分组成，在{}之前的部分就是“选择器”，“选择器”指明了{}中的“样式”的作用对象，也就是“样式”作用于网页中的哪些元素。形式如下：选择器{ 样式;}标签选择器：标签选择器其实就是html代码中的标签。如<html>、<body>、<h1>、<p>、<img>。...
2018-05-07 13:21:18
177
原创 CSS——基础知识
CSS全称为“层叠样式表 (Cascading Style Sheets)”，它主要是用于定义HTML内容在浏览器内的显示样式，如文字大小、颜色、字体加粗等。CSS代码语法:css 样式由选择符和声明组成，而声明又由属性和值组成。 p{font-size:12px;color:red;}选择符：又称选择器，指明网页中要应用样式规则的元素，如本例中是网页中所有的 ...
2018-05-05 00:57:14
161
原创 Html 5——基本标签
<html></html>根标签 <head></head>定义文档的头部 <body></body>网页的主要内容 <hx></hx>x级标题 <p></p>段落 表示强调： <em>
2018-05-04 01:14:22
114
原创 python学习——if __name__ == "__main__"的作用
python编译器在读取源文件时候会执行它找到的所有代码。在执行代码之前，会根据当前运行的模块是否为主程序而设定 name 的值。 如果是主程序，则设为 main 否则设为模块名。 因此，该语句为真时表明现在执行的脚本为主程序。 如果有一些命令，只希望在模块被当做主程序运行时才执行，被当作引用模块时不执行，则可把这些命令放在此判断语句之后。...
2018-05-02 14:25:32
120
原创 python学习——time
利用time输出当前时间import timet = time.strftime("%m%d_%H%M%S")t输出格式： ‘0502_114451’ （5月２日，１１点４４分５１秒）
2018-05-02 11:48:11
79
原创 Ubuntu16.04——Anaconda3安装
1.进入Anaconda官网，复制Anaconda3下载链接地址。 https://repo.continum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh 2.进入终端输入命令： wget https://repo.continum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh 等待下载。...
2018-04-16 14:29:22
561
原创 python学习——python的OS平台编程
一 OS平台编程的需求 1.目录文件的操作，对系统的目录、文件的操作方法 2.程序定时执行 3.python程序向可执行程序的转换二 目录文件的操作及OS库的介绍 1.OS库介绍 OS库是python自带的函数库，用于处理操作系统的相关功能 常用函数介绍： os.getcwd() 获得当前工作目录 os.listdir(path) 返回指定目录下
2018-01-25 21:57:47
323
原创 python学习——python库安装综述
一 python库的自定义安装 找到库所在的网站，然后根据指示下载安装二 python库的工具安装 使用pip工具 通过pip安装库函数，需要计算机连接互联网三 python库的文件安装 通过.whl文件直接安装 下载.whl文件，下载地址为：http://www.lfd.uci.edu/~gohlke/pythonlibs 示例：下载安装pywin32库
2018-01-25 17:17:25
205
原创 python学习——pyinstaller库 打包python文件
1.通过命令行进入要打包的文件所在的目录2.输入如下命令（以 打包文件dpython.py为例）： pyinstaller dpython.py3.执行命令后会在源文件所在目录下生成两个新的文件夹build和dist，其中build文件夹存储打包过程中生成的临时文件，可安全删除dist文件夹下的dpython文件中包含生成的可执行文件dpython.exe4.使用pyins
2018-01-24 21:59:58
674
原创 Anaconda下使用PIP进行下载的方法
1.打开 开始——Anaconda3——Anaconda Prompt2.输入 pip install <name> 如 pip install pyinstaller（打包python程序的第三方库）等待安装完成即可3.pip的常用命令 install 安装库 uninstall 卸载库 list 列出已经安装库的信息 show 列出已经安装库的详细信息 search 通过PyPI搜...
2018-01-24 21:03:36
8778
原创 spark开发环境——PyCharm开发python的spark项目
1.点击运行-编辑结构2.在python的环境变量中新加一个PYTHONPATH在其值中加入本地的spark中的python文件夹D:\spark\spark-2.2.0-bin-hadoop2.6\python以及本地的spark中的python文件夹中的lib下的py4j-0.10.4-src.zip D:\spark\spark-2.2.0-bin-hado
2018-01-17 18:29:22
2918
原创 python环境——PyCharm安装
1.下载安装包https://www.jetbrains.com/pycharm/download/#section=windows（社区版即可）（注 汉化方式，下载汉化包，如图将文件放在安装目录的lib文件中）2.运行Pycharm新建工程，设置解释器为已存在的本地的Anaconda3目录中的python.exe即可也可以在setting中设置，点击对应齿轮后
2018-01-17 16:40:37
284
原创 spark开发环境——本地安装spark2.x及启动
利用python开发spark项目需要在本地安装spark一 本地安装1.下载http://spark.apache.org/downloads.html选择适合本机的hadoop版本，点击链接下载2.点击链接完成下载3. 解压文件4.配置环境变量新增SPARK_HOME=D:\spark\spark-2.2.0-bin-hadoop2.
2018-01-17 15:43:13
1706
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人