3 smallpizza

尚未进行身份认证

暂无相关描述

等级
TA的排名 13w+

docker操作web化(三)

 前一章节中,讲解了项目的建立。从后面的章节就主要讲系统的开发。本章节讲解docker版本信息开发1.前端界面(jquery+bootstrap)页面代码:<divstyle="width:65%;margin:0auto;"><formid="dockerczf">请选择系统版本:...

2018-07-17 15:11:31

docker操作web化(二)

上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是:yuminstalldocker2.IDEA中建立项目(dockerweb是项目名)在dockerweb目录中创建dockercontroller.py,dockerweb.config, execcmd.py,service.py文件dockercontrolle...

2018-07-16 12:20:13

docker操作web化(一)

近段时间在学习docker和django,感觉光看资料没什么进步和实际应用经验,于是做了一个采用django开发了一个web版操作docker的项目。项目源码地址:https://github.com/ldysix/dockerweb.git这一章主要介绍一下项目开发环境 Docker是一个开源的应用容器引擎。它可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然...

2018-07-16 11:37:06

MapReduce重写FileInputFormat和FileOutputFormat

在mapreduce中默认的mapper输入时LongWritable和Text,reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。1.自定义mapper输入是重写FileInputFormat和RecordReader类,而真正产生mapper输入的key和

2017-09-22 10:57:58

hive简介——java连接和数据管理的方式

在hadoop中hive担任的是数据仓库的角色,主要用来存储数据,而且存储的数据是不再修改的数据。hive集成了SQL技术,提供了类SQL的查询语句,称为HQL(和类SQL语句操作一样,在此就不再详细介绍)。在类SQL的增删改查操作中,HQL提供了INSERT(增)和SELECT(查)操作。hive提供内部表(managedtable)、外部表(externaltable)、分区(parti

2017-09-19 20:33:17

MapReduce程序编程模型

在hadoop平台中,有一个很重要的组件——MapReduce(hadoop自带的,不用单独安装),它是一个分布式计算框架,该框架提供两个很重要的部件——Mapper和Reducer。MR的基本执行流程:从图中,我们可以看出,MR程序从hdfs中读入数据进行分片,形成一个

2017-09-18 09:55:21

hdfs——hadoop文件读写操作

在hadoop中,有三大法宝——HDFS,MapReduce,Hbase,但是无论是MapReduce,Hbase还是hadoop中的其他组件如:Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心,因此对HDFS的文件读写操作显得十分重要。importjava.io.BufferedReader;importjava.io.IOE

2017-09-18 09:24:44

mapreduce链接job流

在我们的日常的数据处理中,往往不是一个MapReduce就可以把需求解决,而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢?在MR框架中提供了三种方法,分别是线性MRjob流,复杂MRjob流,job设置预处理和后处理。1.线性MRjob流:一个MR作业是将数据输入经过处理输出到hdfs上,在处理复杂的问题时,我们可以用多个MR作业,让他们按一定的顺序执行,上

2017-09-17 23:28:02

mapreduce计算平均值

当我们有每一位同学的每一科成绩时,我们计算他们的平均成绩,用传统的方法比较麻烦,如果我们用hadoop中MapReduce组件的话就比较简单了。测试数据如下:代码如下:importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoo

2017-09-17 21:10:49

mapreduce topN算法实现 获取前10个音乐数据

上次通过爬虫获取了音乐的数据,并把数据导入到hdfs中,根据他的点击量获取前10个音乐,测试了半天现在终于弄好了,分享一下,如有更好的思路请指教。部分原始数据(主要用于测试)如下:代码如下:importjava.io.IOException;importjava.net.URI;importjava.util.Collections;importjava.util.Comp

2017-09-12 22:18:42

javascript解析json数组

最近写一个程序时,遇到js解析json数组的问题,现在记录如下,供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下:{“data”:[{“a_number”:0,”s_id”:1,”m_singer”:”大塚愛\t”,”m_number”:1},{“a_number”:0,”s_id”:2,”m_singer”:”\”WeirdAl\”Yankovic\t”

2017-09-04 17:07:54

python爬取百度音乐(二)——保存数据到mysql中

上篇博客只是爬取了网页上的数据并打印出来,但是在实际开发应用中,数据是要持久保存起来的,数据可以保存到关系型数据库如:mysql中或NoSQL数据库中如:mongodb这篇博客是把数据保存到mysql数据库中采用的模块是pymysql,[使用方法]http://www.runoob.com/python3/python3-mysql.html本程序的数据代码段:#保存音乐信息到数据库中d

2017-08-20 09:46:31

Python-爬取百度音乐

最近闲来无事,无意间就看到了百度音乐,于是就写了一个小爬虫来爬取其音乐。使用的模块:urllib2,beautifulsoupurllib2的使用链接:https://docs.python.org/2/library/urllib2.html#beautifusoup的使用链接https://www.crummy.com/software/BeautifulSoup/bs4/doc/ind

2017-08-17 15:13:16

Linux中虚拟内存设置

因为我的云服务器的内存时1G,没有足够的物理内存,如果在执行一些消耗内存的任务,比如编译软件,可能会造成系统崩溃,解决方法就是设置虚拟内存。以下操作都是在root用户下进行的。1.进入根目录cd/2.创建一个目录swapmkdirswap3.设置虚拟内存大小ddif=/dev/zeroof=/swap/swapfilebs=4kcount=512000

2017-07-05 21:06:34

数据仓库hive安装配置——腾讯云

今天来说说如何在腾讯云上安装部署hive安装坏境:腾讯云:1G内存,1M带宽,20G硬盘操作系统:Ubuntu-16已经安装好hadoop(版本是2.6.5),jdk的安装路径是:/usr/local/jdk1.8.0_101hive下载地址:http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/先在本地下载好hive,

2017-04-30 12:30:32

hbase伪分布式安装——腾讯云

上一篇写了如何在腾讯云上安装部署伪分布式hadoop,今天给大家说说如何在腾讯云上安装部署伪分布式hbase。环境:腾讯云——1G内存,20G硬盘,1M带宽

2017-04-17 09:45:33

hadoop伪分布式安装-腾讯云

最近学习hadoop,为了方便,于是我在腾讯云上安装部署了hadoop伪分布式环境:腾讯云——1G内存,20G硬盘,1M带宽;系统是Ubuntu16java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinxike/9600178)hadoop版本是hadoop-2.6.5.tar.gz(下载地址

2017-04-16 18:16:34

docker中安装nginx服务

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。今天就来看看如何在docker中安装nginx服务安装环境:virtualBox,64位的Ubuntu-server-16.04版本,采用ubuntu中自带的相应的docker。所有操作都是root用户1.查看内核:#uname-r2.更新一下源#apt-g

2017-04-16 16:48:56

java多线程(一)

今天我们来谈谈java中多线程,线程:系统中最小的执行单元。java对线程的支持分别是Thread类和Runnable接口,并且它们都继承java.lang包Runnable接口可以避免Thread类的方法的缺陷,Runnable的代码可以被多个线程共享,可以处理共享同一资源。Thread类的用法:packagethread;classMyThreadex

2017-04-02 16:17:07

docker容器,Dockerfile创建 ssh 镜像

docker创建镜像有两种方式:一种是dockercommit指令,一种是通过dockerbuild和Dockerfile今天在这里给大家介绍如何通过dockerbuild和Dockerfile来创建ssh镜像以下操作环境是:Ubuntu-16.04-server版,用户是root1.我们在daocloud上pull一个基础镜像下来:#docke

2017-03-20 17:59:51

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!