superce的博客

原创 Hadoop完全分布式搭建 【可行】

1. 首先根据之前的文章搭建好hadoop单节点环境2. 分布式集群规划名称 IP HDFS YARNmaster 192.168.56.100 NameNode ResourceManagerdata1 192.168.56.101 DataNode NodeManagerdata2 192.168.56.102 DataNode NodeMa

原创 手机发送数据给虚拟机Docker中的flume

原创 python使用flask socket-io向echarts传递多个一维数组实现动态柱状图

原创 python+flask+socket-io+echarts数据可视化

查看本机python版本安装psutil       打开window power shell安装psutil       PSC:\Users\space> pip install psutil       Collectingpsutil         Downloadinghttps://files.pythonhosted.org/packages/c6/bf/09b13c17f5...

原创 flume与spark-streaming联通（测试过程）

安装好flume       配置flume配置文件，确定flume数据源以及要将数据发送给谁安装telnet       apt-getinstall xinetd telnetd              安装后使用显示       root@master:/usr/local/hadoop-2.7.5/sbin#telnet         bash:telnet: command not ...

原创 Docker中ubuntu安装mysql

原创 spark中python读取json

找到json文件       /usr/local/spark/examples/src/main/resources/people.json编写应用程序jsontext.py       frompyspark import SparkContext       importjson       sc=SparkContext('local','JSONAPP')       inputFile...

原创 在集群上运行python编写的spark应用程序（过程记录）

启动hadooproot@master:/usr/local/hadoop-2.7.5/sbin#./start-all.sh This script is Deprecated. Instead use start-dfs.shand start-yarn.shStarting namenodes on [master]master: starting namenode, logging to/...

原创 pyspark之词频统计（解释）

要让python程序具有spark的功能，能够编写出在spark上运行的程序，需要先导入pyspark的包       frompyspark import SparkContext然后假设要从一个文本文件中读取数据，进行词频统计，那么就要先读取文本文件       textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/wo...

原创 docker中hadoop分布式集群导出保存

步骤       将容器保存为镜像       将镜像打包       将打包文件导出将容器保存为镜像       $sudo docker ps       CONTAINERID        IMAGE               COMMAND             CREATED             STATUS              PORTS               N...

原创 毕业设计说明书（论文）结构-系统设计方面

摘要       一两句话交代系统开发的背景，引出要解决的问题       概述介绍系统的概要设计和主要贡献       系统开发取得的效果       关键词：4、5个，得到大家公认的Abstract       英文翻译       注意语法目录第一章 引言       选题背景与意义：引出要解决的问题       国内外研究现状：分析针对该问题已有的解决方案       研究内容：概述本文从...

原创 docker内搭建spark分布式集群（python）

原创 docker搭建hadoop分布式集群

查看当前镜像 spc@spc-virtual-machine:~$ sudo docker images //这是镜像REPOSITORY TAG IMAGE ID CREATED SIZEhello-world latest e38bc07ac1...

原创 MapReduce计算成绩

原创 S3C2410A芯片sys_init代码注释 辅助理解（部分内容）

原创 【MPI并行程序】矩阵乘法

    具体思路为创建矩阵，给每个进程分配矩阵的不同部分，每个进程根据进程号的不同处理矩阵的不同部分，计算完成后将每个进程的数组发送给一个特定的进程，由该进程合成一个完整的矩阵输出出来。问题是不一定每个进程都能分配到等长的矩阵行数。 首先是创建一个矩阵，这里在创建时使用行数和列数的自定义关系作为随机数种子生成随机数     每个进程根据自己的进程号去取矩阵的不同部分进行计算，不过这里需要考...

原创 【MPI并行计算】Parallel Rank程序

该题的背景是不同的进程在运行时可能会有不同的状态，在这里用数值表示，有时需要让每个进程知道自己在所有进程中处于什么位置。首先每个进程使用自己的进程号作为随机数种子生成自己的一个随机数由于选择一个进程对所有进程数值进行排序时，该进程不仅要知道每个进程的数值，还要知道这个数值来自于哪个进程，所以这里使用结构体来存储进程号和进程数值，使用MPI_Gather时传递的是一个结构体用于计算的进程接收所有结构...

原创 【MPI并行计算】对一个大规模数组求最大值

1. 首先要创建一个大规模数组，这里使用python程序生成指定长度的随机数数组，然后写入到txt文件中 2. 查看txt文件中生成的随机数数组 3. 编写mpi程序读取文件中的每一行，然后生成一个数组，这里创建10个进程，1~9进程负责计算数组的一部分，然后将其负责部分数组的最大值发送给0进程，0进程将收到的数组组成一个数组，然后对这个数组求最大值，得出最终结果   4....

原创 【MPI并行计算】计算cosx在a~b的积分

先将a~b分成p份，然后将每个p份分为n份，对于最小的n份，其在x轴的长度为(b-a)/p/n=h，那么这最小的一份的面积就是h乘以高度，高度是cos(该长方形的在x轴的中点的坐标)，其中该长方形的在x轴的中点的坐标=a+(i*n+j)+h/2(也就是按最小的长方形来计算，从a开始到这个长方形有几个，然后加上该长方形的宽的一半)，所以其具体流程为：创建n个进程，将a~b分成n-1大份，然后将每一大...

原创 安装MPICH，并运行点到点通信程序

一、安装Linux操作系统（Ubuntu） 如图所示按照步骤一步一步创建虚拟机即可，此次是用的Ubuntu14.04的镜像，64位系统，由于之前已经创建好了虚拟机，此次实验中并没有创建新的虚拟机。   二、安装Docker，并运行Ubuntu镜像 1. 安装docker，首先安装需要使用的软件，如curl 2. 添加与daocloud服务器的链接 3. 同步 /etc/...

原创 MYSQL数据库操作

删除表mysql> drop table workerlist;Query OK, 0 rows affected (0.29 sec)创建表CREATE TABLE workerlist(_id int(11) primary key AUTO_INCREMENT,email varchar(30),password varchar(30),name varchar...

原创 Docker常用命令

1. docker版本hduser@hadoop:~/Desktop$ sudo docker versionClient: Version: 17.04.0-ce API version: 1.28 Go version: go1.7.5 Git commit: 4845c56 Built: Mon Apr 3 18:01:08 2017 OS...

原创 微信小程序常用代码段

添加转发功能在.js的page中添加onShareAppMessage:function(){ return{ title:'创收生活', path:'pages/index/index' } },点击事件处理在.wxml中设置组件 <view class="usermotto"> <text c...

原创 SSM处理接收到的android传来的request请求

@RequestMapping("/adduser.json")public void adduserFromClient(HttpServletRequest request, HttpServletResponse response) throws Exception { System.out.println(request.getParameter("email")); ...

原创 android连接SSM发送和接收数据

//注册账户 URL url=null; HttpURLConnection httpURLConnection=null; String result=null,re=""; BufferedReader bufferedReader=null; int y=0,l=0; ...

原创 Android studio解析来自SSM的json的一个小问题

在intentservice中解析从SSM收到的json字符串String result=null,re=""; JSONObject jsonObject = null; try{ result = httpURLConnection.getResponseMessage(); ...

原创 Spinner获取SQLite数据库数据生成自定义下拉框（下拉选择收货地址）

Activity代码@Overrideprotected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_display); Toolbar toolbar = (Toolbar) findVi...

原创 Android Studio 根据点击的列表项内容的不同生成不同的ScrollingActivity

首先是对列表项点击的处理，在启动ScrollingActivity的intent中放入需要传递的数据final List<Map<String,Object> > listItems = new ArrayList<Map<String,Object>>(); for(int i=0 ;i <title.length;i++...

原创 用URL在IntentService中下载图片并更新到ImageView

整个流程还是采用的之前的逻辑，即在Activity触发事件，交给IntentService去处理，并将处理的结果用broadcastReceiver发给Activity内的broadcastReceiver内部类处理，实现对UI的更新，而这个下载图片的过程则是放在了IntentService中进行处理用URL下载网络上的图片首先要获取网络权限，否则执行到url.openStream()会重启...

原创 FreePlane使用指南（思维导图、流程图、相关图）

首先，freeplane的文档 https://www.freeplane.org/wiki/index.php/Main_Page 其次，freeplane的特点不再介绍主要说如何使用freeplane表现出层次、相关和流程（逻辑顺序）关系。freeplane是一个思维导图软件，但是思维导图只能体现出概念间的层次关系，如果想要以流程图或概念相关图为主体，对于每一个节点使用思维导图的方式...

原创 使用IntentService与BroadcastReceiver实现后台服务(Android7.0可用）

IntentService的优点IntentService会创建单独的线程处理所有的Intent请求，会处理onHandleIntent方法实现的代码，隐藏开发者无须处理多线程问题，当所有请求处理完成后，IntentService会自动停止Action的使用Action其实就是一个字符串，可以起到一个标识的作用BroadcastReceiver的使用Broadcast...

原创 Android Studio开发APP常用方法（一）

选择菜单，弹出子菜单，点击选项跳转到新Activity SubMenu prog = menu.addSubMenu("启动程序"); prog.setHeaderTitle("选择要启动的程序"); MenuItem item = prog .add("设置"); item.setIntent(new Intent(this,SetAct...

原创 PCA9685控制8路SG90舵机实现四足机器人行走

四足机器人外观和结构前进代码 /* USER CODE BEGIN 2 */ printf("INIT begin\n"); PCA9685_Go(); SetPWMFreq(50); printf("INIT\n"); SetPWM(0, 0, SERVO045); SetPWM(1, 0, SERVO135)

原创 STM32控制16路舵机控制板PCA9685

介绍PCA9685 是最新的快速模式 Plus（Fm+）系列中的一员。 Fm+器件可以提供更高的频率（高达 1MHz）和更频繁（densely populated） 的总线操作（高达 4000pF）。OE引脚一定要至低使能，或者直接接地网上Arduino的教程很多，商家给的也是Arduino的驱动文件，那怎么在STM32上用呢？STM32与驱动板的连接驱动板 STM32VCC 3.3VGN

原创 麒麟座MINI板串口乱码（HAL库晶振配置）

网上说STM32默认是8MHZ晶振，但是用其他频率的晶振都可以 之前用的ZET6的开发板，没有注意过这个问题，现在MINI板CBT6使用的12MHZ晶振，用和原来一样的串口代码输出的是乱码，变了很多个波特率都是乱码 网上有一些教程说怎么改，不过大部分是标准库的，不是HAL库，不能用，所以在HAL库中配置如下STM32CUBEMX提供了配置时钟的页面，在下面的input frequency中之前是

原创 LINUX下实现UDP传输文件

客户端使用sendto 服务器端使用recvUDP要想用send需要先使用connect客户端代码#include <stdio.h>#include <sys/socket.h>#include <sys/types.h>#include <string.h>#include <netinet/in.h>#include <errno.h>#include <memory.h> #

原创 WINDOW与LINUX的TCP/IP通信

本次实验要求：3、 在上次文件传输的程序基础上，利用循环面向连接、循环无连接方式完成linux和windows平台的文件传输,并完成客户端、服务器端代码的封装。客户端与服务器端通信流程客户端Linux 建立socket 确定服务器scokaddr_in结构体 点分十进制IP转换 使用connect连接 打开文件 准备缓冲区 缓冲区初

原创 WINDOWS下使用CODEBLOCK编译socket程序出错

版本：codeblocks 16.01 解决方法： 找到CodeBlocks的Settings->Compiler 点击Linker settings，在Link libraries中添加WS2_32.lib的路径 【注意】 在我的电脑里有四个WS2_32.lib文件，他们是适用于不同的环境，不要弄错了

原创 VLAN的基本配置和包传输路径测试

VLAN基本配置网络拓扑如下配置S2创建vlanSwitch#%SYS-5-CONFIG_I: Configured from console by consoleSwitch#conf tEnter configuration commands, one per line. End with CNTL/Z.Switch(config)#vlan 10Switch(config-vlan)

原创 利用TCP/UDP完成文件传输的设计和实现

利用TCP/UDP完成文件传输的设计和实现1） 利用循环面向连接的模型完成固定文件的传输（考虑服务器地址、端口号的设定方式） 2） 由固定文件扩展成手动输入或选择文件； 3） 参考connectTCP的方式对程序进行抽象、封装；客户端建立socket确定服务器scokaddr_in结构体 点分十进制IP转换使用connect连接打开文件准备缓冲区缓冲区初始化置空将文件内