- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 docker操作web化（三）
前一章节中，讲解了项目的建立。从后面的章节就主要讲系统的开发。本章节讲解docker版本信息开发1.前端界面（jquery+bootstrap）页面代码：<div style="width: 65%;margin: 0 auto; "> <form id="dockerczf"> 请选择系统版本: ...
2018-07-17 15:11:31
365
原创 docker操作web化（二）
上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是：yum install docker2.IDEA中建立项目（dockerweb是项目名）在dockerweb目录中创建dockercontroller.py , dockerweb.config , execcmd.py , service.py文件dockercontrolle...
2018-07-16 12:20:13
213
原创 docker操作web化（一）
近段时间在学习docker和django，感觉光看资料没什么进步和实际应用经验，于是做了一个采用django开发了一个web版操作docker的项目。项目源码地址：https://github.com/ldysix/dockerweb.git这一章主要介绍一下项目开发环境 Docker 是一个开源的应用容器引擎。它可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然...
2018-07-16 11:37:06
448
原创 MapReduce重写FileInputFormat和FileOutputFormat
在mapreduce中默认的mapper输入时LongWritable和Text，reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。 1.自定义mapper输入是重写FileInputFormat和RecordReader类，而真正产生mapper输入的key和
2017-09-22 10:57:58
2929
原创 hive简介——java连接和数据管理的方式
在hadoop中hive担任的是数据仓库的角色，主要用来存储数据，而且存储的数据是不再修改的数据。hive集成了SQL技术，提供了类SQL的查询语句，称为HQL（和类SQL语句操作一样，在此就不再详细介绍）。在类SQL的增删改查操作中，HQL提供了INSERT（增）和SELECT（查）操作。 hive提供内部表（managed table）、外部表（external table）、分区（parti
2017-09-19 20:33:17
1025
原创 MapReduce程序编程模型
在hadoop平台中，有一个很重要的组件——MapReduce（hadoop自带的，不用单独安装），它是一个分布式计算框架，该框架提供两个很重要的部件——Mapper和Reducer。 MR的基本执行流程： 从图中，我们可以看出，MR程序从hdfs中读入数据进行分片，形成一个
2017-09-18 09:55:21
472
原创 hdfs——hadoop文件读写操作
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。import java.io.BufferedReader;import java.io.IOE
2017-09-18 09:24:44
2552
原创 mapreduce链接job流
在我们的日常的数据处理中，往往不是一个MapReduce就可以把需求解决，而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢？ 在MR框架中提供了三种方法，分别是线性MR job流，复杂MR job流，job设置预处理和后处理。 1.线性MR job流：一个MR作业是将数据输入经过处理输出到hdfs上，在处理复杂的问题时，我们可以用多个MR作业，让他们按一定的顺序执行，上
2017-09-17 23:28:02
321
原创 mapreduce计算平均值
当我们有每一位同学的每一科成绩时，我们计算他们的平均成绩，用传统的方法比较麻烦，如果我们用hadoop中MapReduce组件的话就比较简单了。 测试数据如下： 代码如下：import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoo
2017-09-17 21:10:49
4380
原创 mapreduce topN算法实现 获取前10个音乐数据
上次通过爬虫获取了音乐的数据，并把数据导入到hdfs中，根据他的点击量获取前10个音乐，测试了半天现在终于弄好了，分享一下，如有更好的思路请指教。 部分原始数据（主要用于测试）如下： 代码如下：import java.io.IOException;import java.net.URI;import java.util.Collections;import java.util.Comp
2017-09-12 22:18:42
4761
原创 javascript解析json数组
最近写一个程序时，遇到js解析json数组的问题，现在记录如下，供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下： {“data”:[{“a_number”:0,”s_id”:1,”m_singer”:” 大塚愛 \t”,”m_number”:1},{“a_number”:0,”s_id”:2,”m_singer”:”\”Weird Al\” Yankovic \t”
2017-09-04 17:07:54
854
原创 python爬取百度音乐（二）——保存数据到mysql中
上篇博客只是爬取了网页上的数据并打印出来，但是在实际开发应用中，数据是要持久保存起来的，数据可以保存到关系型数据库如：mysql中或NoSQL数据库中如：mongodb 这篇博客是把数据保存到mysql数据库中采用的模块是pymysql，[使用方法]http://www.runoob.com/python3/python3-mysql.html 本程序的数据代码段:# 保存音乐信息到数据库中d
2017-08-20 09:46:31
1958
1
原创 Python-爬取百度音乐
最近闲来无事，无意间就看到了百度音乐，于是就写了一个小爬虫来爬取其音乐。使用的模块：urllib2，beautifulsoup urllib2的使用链接：https://docs.python.org/2/library/urllib2.html# beautifusoup的使用链接https://www.crummy.com/software/BeautifulSoup/bs4/doc/ind
2017-08-17 15:13:16
666
原创 Linux中虚拟内存设置
因为我的云服务器的内存时1G，没有足够的物理内存，如果在执行一些消耗内存的任务，比如编译软件，可能会造成系统崩溃，解决方法就是设置虚拟内存。以下操作都是在root用户下进行的。1.进入根目录cd /2.创建一个目录swapmkdir swap3.设置虚拟内存大小dd if=/dev/zero of=/swap/swapfile bs=4k count=512000
2017-07-05 21:06:34
2297
原创 数据仓库hive安装配置——腾讯云
今天来说说如何在腾讯云上安装部署hive安装坏境：腾讯云：1G内存，1M带宽，20G硬盘操作系统：Ubuntu-16已经安装好hadoop（版本是2.6.5），jdk的安装路径是：/usr/local/jdk1.8.0_101hive下载地址：http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/先在本地下载好hive，
2017-04-30 12:30:32
684
原创 hbase伪分布式安装——腾讯云
上一篇写了如何在腾讯云上安装部署 伪分布式 hadoop，今天给大家说说如何在腾讯云上安装部署伪分布式 hbase。环境：腾讯云——1G内存，20G硬盘，1M带宽
2017-04-17 09:45:33
1072
原创 hadoop伪分布式安装-腾讯云
最近学习hadoop，为了方便，于是我在腾讯云上安装部署了 hadoop伪分布式环境：腾讯云——1G内存，20G硬盘，1M带宽；系统是Ubuntu16java是jdk-8u101-linux-x64.tar（下载地址：http://download.csdn.net/detail/qinxike/9600178）hadoop版本是hadoop-2.6.5.tar.gz（下载地址
2017-04-16 18:16:34
2405
原创 docker中安装nginx服务
Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。今天就来看看如何在docker中安装nginx服务安装环境：virtualBox ，64位的Ubuntu-server-16.04版本，采用ubuntu中自带的相应的docker。所有操作都是root用户1.查看内核：# uname -r2.更新一下源# apt-g
2017-04-16 16:48:56
8720
1
原创 java多线程（一）
今天我们来谈谈java中多线程，线程：系统中最小的执行单元。java对线程的支持分别是Thread类和Runnable接口，并且它们都继承java.lang包Runnable接口可以避免Thread类的方法的缺陷，Runnable的代码可以被多个线程共享，可以处理共享同一资源。Thread类的用法：package thread;class MyThread ex
2017-04-02 16:17:07
327
原创 docker容器，Dockerfile创建 ssh 镜像
docker 创建镜像有两种方式：一种是docker commit 指令，一种是通过docker build 和 Dockerfile今天在这里给大家介绍如何通过 docker build 和 Dockerfile来创建 ssh 镜像以下操作环境是：Ubuntu-16.04-server版，用户是 root1.我们在daocloud上pull一个基础镜像下来：# docke
2017-03-20 17:59:51
348
翻译 java网络通信——socket
最近闲来没事，在慕课网上看了socket网络编程，在此做些笔记，希望对感兴趣的同志有所帮助。在java中对于网络的支持，它是根据不同的网络层次，java有不同的类的支持。1.InetAddress：用于标识网络上硬件资源的（网络的ip）2.URL：通过URL可以直接读取网络上的资源和直接把资源写入到网络上，组成（协议名称和资源名称，之间用冒号隔开）3.Sockets：用TC
2017-03-18 11:52:27
407
原创 docker容器，docker commit创建ssh容器
在写这个之前给大家推荐一个很好用的docker image 下载地方——daocloud（http://get.daocloud.io/）对于docker容器的操作，我们可以通过docker exec -it /bin/bash或者docker attach 进入容器内部操作，其实有很多的时候我们可以通过 ssh 连接从而来操作容器，今天就来跟大家分享一下如何用do
2017-03-17 18:29:09
733
原创 docker二进制安装
最近一直在弄docker离线安装，把我的安装步骤写入下，希望能对感兴趣的有所帮助，安装环境：Ubuntu-server-16.04一.docker对于安装环境要求很高，下面就让我们来看看其要求：1.必须是64位的操作系统2.检测内核版本（要求是3.10 或者更高的版本）sudo uname -r（查看版本）sudo uname -a（可以查看所有系统信息）3.检
2017-03-05 21:06:58
5033
2
原创 docker commit 创建镜像
上一篇写了用docker build和Dockerfile来创建我们的镜像，这次将介绍我们如何用docker commit指令来创建我们的镜像说明：docker commit 指令是把一个已经存在的容器（我们的应用是在容器中先部署好）创建为一个镜像使用方法如下：1.我们先运行一个容器（容器名是 test1）docker run --name test1 -it ld
2016-12-08 17:03:12
3141
原创 Dockerfile 创建第一个镜像，docker
在上一篇 《运行第一个docker容器》中我说过docker build 指令是一个相对其他指令比较复杂的指令，这里呢就跟大家一起来分享一下该指令。docker build 指令是用来创建一个镜像的指令，但是创建镜像需要一个文件叫做Dockerfile（文件名只能是这个）其实使用docker build 指令复杂不是指它自己而是指 Dockerfile 文件编写相对很复杂编
2016-11-12 17:43:00
1074
原创 docker指令介绍
运行第一个Docker容器运行指令为：docker <指令>让我们来看看docker指令的运用吧 * 1.info ：查看docker程序工作 、、、 sudo docker info 、、、 2.run :运行（创建）一个容器 参数介绍： **1. -i ：保证容器中的STDIN是开启 、、、 sudo docker run -i ubuntn /bin/bash 、、、
2016-11-10 11:51:05
309
原创 docker安装
目前Docker已经支持非常多的lInux的平台，比如Ubuntu，centos，RHEL；docker也可以在windows和OS X中用Docker Toolbox安装。在这里介绍的是在Ubuntu和centos上安装docker。在安装docker之前它需要一些先决条件，64位的CPU架构，Linux内核版本是3.8及以上的，但是2.6.x的也可以安装docker。先介绍在Ubunt
2016-11-09 18:20:17
500
3
系统虚拟化
2017-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人