- 博客(52)
- 收藏
- 关注
RSS订阅原创 Spark学习总结
第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算，经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成：Hadoop 是由Java语言编写的，部署在分布式服务器集群上，用于存储海量数据并运行分布式分析应用的开源框架；其重要组件有，HDFS 分布式文件系统、MapReduce 编程模型、Hbase 基于HDFS的分布式数据库：擅长实时随机读/写超大规模数据集。Spark是由Scala
2022-03-07 00:55:18
7003
原创 对Spark中一些基础概念的了解
1、Driver：运行应用程序的main函数，并创建SparkContext进程。初始化SparkContext是为了准备Spark应用程序的运行环境，在Spark中由SparkContext负责与集群进行通信，并进行资源的申请、任务的分配和监控等。当Worker节点中的Executor部分运行完毕后，Driver同时负责将SparkContext关闭。2、Executor：在Worker节点中，是Driver进程申请完资源后，被Spark应用所启动的一个进程，它可以运行task，也可以在内存或者磁盘中保
2022-02-13 17:24:34
668
原创 了解 Spark中的master、worker和Driver、Executor
master和worker是物理节点，是在不同环境部署模式下和资源相关的两大内容Driver和executor是进程，是在spark应用中和计算相关的两大内容1、master和worker节点master节点常驻master守护进程，负责管理worker节点，并且会从master节点提交应用。worker节点常驻worker守护进程，会与master节点进行通信，并且管理executor进程。在搭建spark集群时，就已经设置好了master节点和worker节点，一个集群中可以有多个master
2022-01-16 10:54:54
3798
1
原创 spark学习——scala基础篇
1、基础语法1.1 两种变量类型Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值在Scala中声明变量必须有这两者其一的定义，但类型不是必须的，因为Scala可以自己判断。1.2 控制台输入输出语句输入：scala.io.Stdln read输出：print()、println()、printf()1.3 读写文件写入文件：java.io.PrintWriter读取文件：Scala.io.Source
2021-10-13 23:51:04
2581
原创 eclipse导入web项目，在jsp页面出现 javax.servlet.jsp.JspException cannot be resolved to a type问题的解决方法
出错原因：错误可能是服务器自带的servlet库未导入解决方案：1.项目--属性--Targeted Runtimes,把原项目的tomcat去掉勾选,换成自己的,确定即可2. 右键项目-build path->选择configure build path...->选择 java build path->Add Library –> server Runtime -> Click Next->选择 Server runtime (我的是 Tomcat 7.
2021-01-10 15:26:15
413
1
原创 数字河
#include <stdio.h>#define N 1000int a[N],b[N],c[N];//1,3,9三条数字河int numN[100];//存入用于测试的数字int count=0;//记录输入测试数的个数void river(int a[N]);bool search(int num,int a[N]);void init();int main(){ int i; int t,sum; init(); for(i=0;i<count...
2020-10-10 19:24:25
210
原创 DB2 v11.1安装步骤
DB2 v11.1安装步骤Windows下安装DB2-Express-C一、IBM官网下载DB2-Express-C 最新的是11.1.2.2，下载地址https://www.ibm.com/developerworks/cn/downloads/im/udbexp/index.html下载解压后：二、安装DB2-Express-C1.运行setup程序（最好以管理员身份运行setup.exe）2.点击安装新产品3.默认下一步4.接受条款下一步5.选择典型
2020-09-26 17:40:47
2969
2
原创 LeetCode（C语言）26.删除排序数组中的重复项
给定一个排序数组，你需要在 原地 删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。思路1：双指针i,j，用i对数组进行遍历，如果i和i+1指向的元素值不同，则将j向右移动一格，并将i+1的值赋给 j，以此保证j的指向轨迹是一个新的不重复的数组。int removeDuplicates(int* nums, int numsSize){ int i,j; i
2020-09-15 09:58:43
160
原创 Python——基础语法
1.搭建环境由于已经安装好了软件，所以想偷个懒。这里就先不详细写如何安装的过程了，直接上两个较好的相关文章链接：如何下载安装Python致Python初学者2.Python基础2.1 变量类型Python有五个标准数据类型：数字（Numbers）、字符串（String）、列表（List）、元组（Tuple）、字典（Dictionary）Python支持四种不同的数字类型：int（有符号整型）、long（长整型）、float（浮点型）、complex（复数）字符串：
2020-07-21 14:55:06
194
原创 Maven的安装、配置以及在Eclipse中安装maven插件
一、需要准备的东西 （原文链接）1.首先确保安装了JDK，并且成功配置了JDK的环境变量。2. 已安装Eclipse3. Maven程序包二、maven下载与安装1. 前往https://maven.apache.org/download.cgi下载最新版的Maven程序：2. 将文件解压到D:\Program Files\Apache\maven目录下:3....
2019-06-02 15:02:45
36454
6
原创 Linux学习笔记（8）——gcc的使用与开发（2）
gcc的使用（2）基本使用格式$ gcc [选项] <文件名>1.常用选项及含义 gcc常用选项 选项 含义 -o file 将经过gcc处理过的结果存放为文件file，这个结果文件可能是预处理文件、汇编文件、目标文件或最终的可执行文件。假设被处理的源文件为source.suf...
2019-05-14 08:54:30
825
原创 Linux学习笔记（7）——gcc使用与开发（1）
一、GCC与gcc介绍1.GCC是由GNU之父Stallman所开发的Linux下的编辑器，GCC最初的全名是CNU project C and C++，之后随着GCC支持的语言越来越多，其全称变为 CNU Compiler Collection即GNU编译器集合。目前可以编译的语言包括：C,C++,Objective-C,Fortran,Java,and Ada2.gcc是GCC编译器集...
2019-05-07 10:22:37
278
原创 Linux学习笔记（6）——shell（3）
一、Shell流程控制1.if else(1)if语句语法格式：if conditionthen command1 command2 ……. commandNfi(2)if else 语法格式：if conditionthen command1 command2 ……. commandNelse...
2019-04-30 09:57:52
160
原创 Linux学习笔记（5）——shell编程（2）
1.shell参数传递用$n来获取参数，n代表第几个参数。实例：向脚本传递3个参数，并分别输出，其中$0 是执行的文件名。执行脚本，输出结果：2.shell基本运算符Shell支持的运算符：算数运算符、关系运算符、布尔运算符、字符串运算符、文件测试运算符expr是一款表达式计算工具，使用它能完成表达式的求值操作。例：两数相加（注意：使用的数反引号``,不是单...
2019-04-23 09:56:30
202
原创 Linux学习笔记（4）——Shell编程（1）
Shell是一个用C语言编写的程序它是用户使用Linux的桥梁。Shell既是一种命令语言，又是程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Windows Explorer是一个典型的图形界面Shell。1.Shell脚本Shell脚本（shell script）是一种为shell编写的脚本程序。业界所说的shell通常都是...
2019-04-16 09:55:39
220
原创 程序设计与算法学习（1）——枚举
枚举：即一个一个的试，直到找到符合条件的答案为止。1.生理周期人有体力、情商、智商的高峰日子，它们分别每隔 23天、28天和33天出现一次。对于每个人，我们想 知道何时三个高峰落在同一天。给定三个高峰出现 的日子p,e和i（不一定是第一次高峰出现的日子）, 再给定另一个指定的日子d，你的任务是输出日子d 之后，下一次三个高峰落在同一天的日子（用距离d 的天数表示）。例如：给定日子为10，下...
2019-04-13 08:58:21
205
原创 Linux 学习笔记 （3） vi/vim
Linux vi/vimVim具有程序编辑的能力，可以主动的以字体颜色辨别语法的正确性，方便程序设计。1.什么是vim？Vim是从vi发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。简单的来说，vi是老式的字处理器，不过功能很齐全。Vim可以说是程序开发者的一项很好用的工具。Vim官网（http://www.vim.org）也说vi...
2019-04-11 15:36:23
135
原创 Linux学习笔记（2）
一、Linux文件属性Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件的权限做了不同的规定。在Linux中我们可以使用ll或ls -l命令来显示一个文件的属性及文件所属的用户和组。如：在Linux中第一个字符代表这个文件时目录、文件或是链接文件等。如在以上实例中，最后一个 user文...
2019-04-09 09:44:34
109
原创 第五届蓝桥杯省赛 （C语言B组） 部分题目代码实现
李白打酒啤酒和饮料切面条奇怪的分式蓝桥杯第十届省赛结束不久。最近在整理文件的时候，看见准备省赛的时候写过的一些题。都是一些比较基础的题，但是还是想整理一下放在CSDN上，说不定还能让下一届参加竞赛的人。用来参考参考。个人经验，如果准备时间不是很充分，还想拿个省奖的。可以直接上手真题，先把每一届真题的6道题写一下。后面的大题用的时间会稍多一些。可以留在后面写。准备了一个月左右吧，期间...
2019-04-02 09:53:24
250
原创 蓝桥杯：奇怪的分式
标题：奇怪的分式上小学的时候，小明经常自己发明新算法。一次，老师出的题目是：1/4 乘以 8/5小明居然把分子拼接在一起，分母拼接在一起，答案是：18/45 （参见图1.png）老师刚想批评他，转念一想，这个答案凑巧也对啊，真是见鬼！对于分子、分母都是 1~9 中的一位数的情况，还有哪些算式可以这样计算呢？请写出所有不同算式的个数（包括题中举例的）。显然，交换分子分母后，例如：4/...
2019-04-02 09:38:40
171
原创 蓝桥杯：切面条
标题：切面条一根高筋拉面，中间切一刀，可以得到2根面条。如果先对折1次，中间切一刀，可以得到3根面条。如果连续对折2次，中间切一刀，可以得到5根面条。那么，连续对折10次，中间切一刀，会得到多少面条呢？答案是个整数，请通过浏览器提交答案。不要填写任何多余的内容。本题主要是找到前几项的规律，然后编写程序。代码#include <stdio.h>#include...
2019-04-02 09:35:00
207
原创 蓝桥杯：啤酒和饮料
标题：啤酒和饮料啤酒每罐2.3元，饮料每罐1.9元。小明买了若干啤酒和饮料，一共花了82.3元。我们还知道他买的啤酒比饮料的数量少，请你计算他买了几罐啤酒。简单枚举代码：#include <stdio.h>int main(){ int a,b; double sum; for(a=1;a<50;a++) { for(b=1;b<50;b+...
2019-04-02 09:31:34
295
1
原创 蓝桥杯:李白打酒
标题：李白打酒话说大诗人李白，一生好饮。幸好他从不开车。一天，他提着酒壶，从家里出来，酒壶中有酒2斗。他边走边唱：无事街上走，提壶去打酒。逢店加一倍，遇花喝一斗。这一路上，他一共遇到店5次，遇到花10次，已知最后一次遇到的是花，他正好把酒喝光了。请你计算李白遇到店和花的次序，可以把遇店记为a，遇花记为b。则：babaabbabbabbbb 就是合理的次序。像这样的答案一共有多少呢？请...
2019-04-02 09:28:20
196
原创 Linux学习笔记（1）
一、Linux简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991 年10 月5 日（这是第一次正式向外公布时...
2019-04-02 09:20:49
189
原创 蓝桥杯17年省赛 日期问题
标题：日期问题小明正在整理一批历史文献。这些历史文献中出现了很多日期。小明知道这些日期都在1960年1月1日至2059年12月31日。令小明头疼的是，这些日期采用的格式非常不统一，有采用年/月/日的，有采用月/日/年的，还有采用日/月/年的。更加麻烦的是，年份也都省略了前两位，使得文献上的一个日期，存在很多可能的日期与其对应。 比如02/03/04，可能是2002年03月04日、20...
2019-03-22 21:39:55
454
原创 二分查找
注意：二分查找的前提是：有序序列！ 所以记得要先将序列排序，再进行二分查找（一般默认为在升序序列进行二分查找）#include <iostream>using namespace std;//二分查找 在有序数组中查找x，默认为升序！ int Binary_search(int* a,int n,int x){ int left=0; int right=n-1;...
2019-03-20 09:22:29
110
原创 蓝桥杯练习系统：0 1字串
问题描述对于长度为5位的一个01串，每一位都可能是0或1，一共有32种可能。它们的前几个是：0000000001000100001100100请按从小到大的顺序输出这32种01串。输入格式本试题没有输入。输出格式输出32行，按从小到大的顺序每行一个长度为5的01串。样例输出00000000010001000011<以下部分省略>...
2019-03-11 20:12:13
83
原创 蓝桥杯算法训练：审美课
问题描述 《审美的历程》课上有n位学生，帅老师展示了m幅画，其中有些是梵高的作品，另外的都出自五岁小朋友之手。老师请同学们分辨哪些画的作者是梵高，但是老师自己并没有答案，因为这些画看上去都像是小朋友画的……老师只想知道，有多少对同学给出的答案完全相反，这样他就可以用这个数据去揭穿披着皇帝新衣的抽象艺术了（支持帅老师^_^）。 答案完全相反是指对每一幅画的判断都相反。输入格式 第...
2019-03-11 20:10:00
152
原创 蓝桥杯练习系统：字母图形
问题描述利用字母可以组成一些美丽的图形，下面给出了一个例子：ABCDEFGBABCDEFCBABCDEDCBABCDEDCBABC这是一个5行7列的图形，请找出这个图形的规律，并输出一个n行m列的图形。输入格式输入一行，包含两个整数n和m，分别表示你要输出的图形的行数的列数。输出格式输出n行，每个m个字符，为你的图形。样例输入5 7样例输出...
2019-03-09 22:32:10
2266
原创 蓝桥杯练习系统：特殊的数字 水仙花数
问题描述 153是一个非常特殊的数，它等于它的每位数字的立方和，即153=1*1*1+5*5*5+3*3*3。编程求所有满足这种条件的三位十进制数。输出格式 按从小到大的顺序输出满足条件的三位十进制数，每个数占一行。（其实也就是三位数的水仙花数！）#include <stdio.h>int main(){ int i; int a,b,c; for(...
2019-03-06 11:42:15
167
原创 蓝桥杯系统练习：回文数、特殊回文数
1.回文数问题描述 1221是一个非常特殊的数，它从左边读和从右边读是一样的，编程求所有这样的四位十进制数。输出格式 按从小到大的顺序输出满足条件的四位十进制数。#include <stdio.h>int main(){ int i,y,k; for(i=1000;i<10000;i++) { k=i; y=0; while(k&g...
2019-03-06 11:31:53
407
原创 蓝桥杯练习系统：十进制转十六进制
问题描述 十六进制数是在程序设计时经常要使用到的一种整数的表示方式。它有0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F共16个符号，分别表示 十进制数的0至15。十六进制的计数方法是满16进1，所以十进制数16在十六进制中是10，而十进制的17在十六进制中是11，以此类推，十进制的30在十六进制中是1E。 给出一个非负整数，将它表示成十六进制的形式。输入格式 ...
2019-03-04 12:45:08
205
原创 蓝桥杯练习系统：十六进制转换为十进制
问题描述 从键盘输入一个不超过8位的正的十六进制数字符串，将它转换为正的十进制数后输出。 注：十六进制数中的10~15分别用大写的英文字母A、B、C、D、E、F表示。样例输入FFFF样例输出65535关键字：进制转换、字符处理、判断#include <iostream>#include <string>#include <mat...
2019-03-04 12:44:45
144
原创 蓝桥杯系统练习：十六进制转八进制
问题描述 给定n个十六进制正整数，输出它们对应的八进制数。输入格式 输入的第一行为一个正整数n （1<=n<=10）。 接下来n行，每行一个由0~9、大写字母A~F组成的字符串，表示要转换的十六进制正整数，每个十六进制数长度不超过100000。输出格式 输出n行，每行为输入对应的八进制正整数。 【注意】 输入的十六进制数不会有前导0，比如012A。 输出的八...
2019-03-02 11:32:27
203
原创 STL简单了解
STL（Standard Template Library，标准模板库）：•是一种类型参数（type parameterized）的程序设计方法，基于模板的标准类库。其实质是一个高效的，可重用的C++常用的基本数据结构和基本算法的集合。STL不是面向对象的技术，不强调类的层次结构，而是以效率和实用为目标，STL中的所有容器都是类模板•组成–（1）容器（container）：是能够保...
2019-02-18 12:03:39
329
原创 C++ 运算符重载实现复数的四则运算
需求：定义复数类 real+imag*i;-->r+m*i; 1.实现：+、-、*、/ 加法：（r1+m1*i）+(r2+m2*i)=(r1+r2)+(m1+m2)*i; 减法：（r1+m1*i）-(r2+m2*i)=(r1-r2)-(m1-m2)*i; 乘法：（r1+m1*i）*(r2+m2*i)=(r1*r2-m1...
2019-01-02 00:13:43
2655
1
原创 C++ 动态创建二维数组空间、实现矩阵的加、减、乘
题目描述：1.用c++动态创建二维数组 2.实现矩阵的加减乘运算（除法运算规则比较复杂此处就不做具体实现了！）知识运用：c++基础语法、动态创建数组、撤销数组空间。 矩阵的四则运算（此处只是基本的算法实现不做过多解释，具体的运算规则自行百度理解）函数声明：1. 动态创建二维数组（矩阵）int** createMat(int row,int col);2.撤销二维数组空间void...
2018-12-19 00:04:32
4579
2
原创 C语言：将学生信息存储到文件中
描述：从键盘输入两个学生的有关数据，然后把它们转存到磁盘文件上去。基础知识点：1.定义结构体变量，存储复杂一点的变量（对象） 2.用到了C语言中对文件的处理 3.排序文件处理基本步骤：1.定义指针变量，打开文件FILE *fp;fopen(文件名，操作方式);例如：// fp是一个文件指针，sText.txt是需要处理的文本文件，w是对文件的读操作fp=fopen...
2018-12-15 19:23:13
30494
7
原创 输入一句话，找出其中最长的单词，并输出
理解题意：1.先输入一句话。2.在这句话中找到最长的那个单词并输出显示。这个题是我们老师上课的时候给我们留的作业。因为刚好学过了二维数组所以果断采用二维数组来解题。个人觉得，这个逻辑思路其实相较一维数组来解会更简单一些。我的思路是：要找最长单词，就要获取每个单词的长度然后进行比较，直到找到最大的那一个。详解：将每一个单词当做一个一维数组，而这个句子就成了一个二维数组。因此要找到最长的单...
2018-12-10 19:57:55
15464
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人