自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(73)
  • 资源 (2)
  • 收藏
  • 关注

原创 爱心网页浪漫,博主司机搞事情啦,附百度网盘源码自取哦

刚刚过完了白色情人节,都别酸了,爱情哪有学习重要不是嘛。。。。。。好像我自己也不太信,上天赐予我一个小姐姐!!!啊,扒拉了几句废话,这篇博客主题偏了,博主主要是想分享一下前辈写的爱心表白网页,好好看,我自己稍微改了一下下,放出我的效果。还好吧感觉,博主个人网站:www.包子没有米.xyz超链接不知道有效没有,也可以自己粘贴到浏览器打开。哪天打开啥都没有了,那就是博主云煮鸡到期了哈,那样的话网站也没法喽,博主只买了半年云服务器玩,????。好了,说正事,百度网盘自取源码,永久有效的分享链

2021-03-18 10:54:34 3588 1

原创 好用的Markdown编辑器typora 附阿里云镜像

要在本地打开.md markdown文件,用了几个软件,个人感觉还是typora好用,but,但是,,,typora1.几几后的版本竟然收费了,找到了大佬们放在gitee的国内镜像下载,是0.几几的免费版本,好耶,赶紧下载到本地顺便存到自己网盘,啊哈哈哈。https://gitee.com/typora-mirror/Typora-Mirror/releases喜欢这个界面,舒服。...

2022-01-02 22:16:43 569

原创 顺序表基本操作

bool ListInsert(SqList &L,int i,ElemType e){ if (i<1 || i>L.length+1)//判断范围有效用的是位序,从1开始的 return false; if (L.length>=MaxSize) return false; //判断i 范围有效及存储空间是否满 for(int j=L.length;j>=i;j--) L.data[j]=L

2021-08-24 10:59:47 259

原创 行业大数据期末复习

一。个人笔记总结数据的分类维基百科(Wikipedia):规模庞大,结构复杂,难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集。美国国家标准技术研究院(NIST):具有规模巨大(Volume)、种类繁多(Variety)、增长速度快(Volocity)和变化频繁(Variability)的特征,且需要一个可扩展体系结构来有效存储、处理和分析的广泛的数据集。IBM给出了一个“4V特性”的定义:强调了大数据的数量(Volume)、多样性(Variety)、速度(Volocity)和真

2021-07-07 23:22:03 1740

原创 大数据平台复习12.Spark streaming与Flume/kafka的结合(程序已更新,上传到资源里了大家可以免费下载)

Flume的介绍一个分布式的、高可靠、高可用日志收集和汇总的工具能够将大批量的不同数据源的日志数据收集、聚合、移动到数据中心进行存储是Apache软件基金会下、Hadoop生态系统中的一个开源项目在实际中,Flume的使用不仅仅局限于日志数据收集聚合,还可以用于传输网络流量数据、社交媒体数据、电子邮件消息等。Flume通过在数据产生的节点上启动agent来收集数据,并推送给其他的Flume的agent或者HDFS、Hbase等数据存储系统。一个agent就是一个java进程,它包括了三个组件:S

2021-07-06 23:44:55 260 4

原创 大数据平台复习11.Spark streaming

流数据大数据的两种存在形式:静态和动态静态大数据:已经积累产生并存在那里的大数据动态大数据:随着时间的推移不断的产生的大数据各种摄像头的监控数据12306的订票请求银行的交易请求Storm最早是由Nathan Marz和他的团队于2010年在数据分析公司BackType开发2011年BackType公司被Twitter收购,接着Twitter开源Storm2014年成为Apache顶级项目Storm被业界称为实时版的Hadoop,它与Hadoop、Spark并称为Apache基金会三大

2021-07-06 23:18:56 394 5

原创 大数据平台复习10.基于pySpark的TF-IDF算法实践

from pyspark import SparkConf, SparkContextimport math #以下为计算过程中需要用到的几个函数# 该函数主要是统计一个文档中包含哪些单词def word_contains(words_list): words_set=set(words_list)#将列表转为set,去除重复的单词 return list(words_set)#再将set转为列表返回 # 计算每个单词的逆文档频率idfdef computeIDF(w

2021-07-06 22:35:03 268

原创 大数据平台复习九.Spark的进一步实践

spark +hbaseHbase:一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化的松散数据基于Scala语言新建一个maven项目来测试如何读写Hbase中的数据该项目将读取我们在介绍Hbase时创建的usr_beha表中的数据该表包含了两个列族:attr和beha。attr: attr列族主要存储用户属性数据,目前只包含了一个名为name的列beha: beha列族主要存储用户的行为数据,目前只包含了一个名为watch的列项目的任务:首先从该表中读取数据,

2021-07-06 19:02:02 92

原创 大数据平台复八.Scala语言与Spark的基本操作

Scala是类似于Java的编程语言,集成了面向对象和函数式语言的特点是一门非常纯粹的面向对象编程语言,Scala中每个值都是对象,每个操作都是方法调用它运行于Java虚拟机之上,兼容Java语言,Scala程序可以使用Java类型,调用Java方法,继承Java类和实现Java接口通过借鉴函数式编程的思想,它相比于Java等面向对象程序可以以一种更简洁更容易的方式编写程序,同时也能够更好的支持分布式环境下的并行计算val textFile = sc.textFile("file:///home/

2021-07-06 18:36:50 117

原创 大数据平台复习七.spark基本原理

MapReduce的编程模型表达能力有限MapReduce计算框架将计算任务抽象为map和reduce两个计算任务,这简化了编程过程,但也导致MapReduce的编程模型表达能力有限。当实际中有些处理过程比较复杂时,我们需要建立多个MapReduce过程并连接起来,这也使得MapReduce的编程过程变得复杂。无法实现快速的迭代计算当一个复杂的需求涉及多个MapReduce计算任务时,MapReduce只能一个任务完成之后将结果写入磁盘,另一个计算任务才能开始,无法实现快速的迭代计算。MapRed

2021-07-06 13:33:35 249

原创 大数据平台复习五.Hbase的基本原理

HDFS可以支持海量的数据存储但是,无法支持海量数据的随机读写!!2006年12月,Google发布了其云计算技术的第三篇著名论文《Bigtable: A Distributed Storage System for Structured Data》是Bigtable的开源实现,第一个可用版本于2007诞生Hadoop的重要分支,是建立在HDFS之上的一个分布式、面向列的开源数据库系统具有高可靠性、高性能、列存储、可伸缩、实时读写等重要特征文件系统最常见的数据存储方式文件都是由某个具体的应用

2021-07-05 22:54:29 334 1

原创 大数据平台复习四.实现conbiner和统计单词总个数以及总结

Combine 这个类它继承的是reducer 在单个词频统计这个任务中和reducer除了名字外几乎没有不同的地方。二.实现统计文本的单词总个数把第一个mapreduce 的结果作为第二个mapreduce的输入,这里再写一个mapper。本人最开始的mapper类写法。把整个whilez都注释掉了,没有注意到context write 那个操作也被注释掉了,结果就是,程序跑下来没有报错,但是第二个job的输出是空的什么都没有。后来发现没有write进去任何东西,修改。设置第一个job的输出作

2021-07-05 22:21:16 257 1

原创 大数据平台复习三.Hadoop的数据类型与MapReduce输入格式

Hadoop自定义数据类型的原因Hadoop在数据的存储和传输过程中将数据进行了序列化序列化就将数据以字节流的形式进行存储和传输由于Hadoop中的计算涉及集群中的各个节点,大量的数据需要在集群中传输,序列化的目的就是使得不同的数据类型以统一的格式在集群中进行存储和传输,从而便于对数据传输的管理和控制。在计算过程中,当一个节点收到序列化之后的字节流数据时,根据数据原始的类型通过反序列化操作,便可得到原始格式的数据细看实验及实验报告,FileInputFormat的getSplits方法,Line.

2021-07-05 17:42:07 95

原创 大数据平台复习二. MapReduce

简述什么是MapReduceHadoop下的一个负责分布式计算的组件一个软件系统,运行于HDFS之上定义了一种实现分布式计算的框架负责计算任务在集群中的分配调度、负载均衡、容错处理、网络通信等一系列问题方便编程人员在不熟悉分布式并行编程的情况下,能够编写程序对分布式环境下的大数据进行处理借鉴了函数式编程函数:集合之间的一种映射关系不同于命令式编程,函数式编程关注集合之间的映射关系函数可以作为另一个函数的输入和输出MapReduce框架将分布式环境下的并行大数据处理过程抽象为两个函数:

2021-07-05 16:58:17 166

原创 大数据平台复习一. HDFS

什么是文件系统操作系统的一部分是一个软件程序在用户和计算机的存储设备之间建立桥梁主要职责建立了一个硬盘等存储设备中存储内容的目录结构一般采用树形结构,表示存储内容的不同层次目录中的每个组成项称为一个文件,目录的树形结构也存储了文件之间的关系提供了相应的命令和接口来便于用户对存储设备的读写操作当面临海量的数据时……单台计算机的文件系统可能无法存储所有的数据!利用网络将大量的计算节点互联,向下将各个节点中的存储容量进行集中管理,向上为用户提供透明化服务,人们在使用分布式文件系统时,就像使用本

2021-07-05 16:10:14 166 2

原创 深度学习期末复习

学期内容回顾一、人工智能的概念,发展历程及每个历程的特点和代表性理论或算法,或主要驱动力二、人工神经网络ANN的前向传播计算和误差反向回传原理三、卷积神经网络CNN的前向传播计算和误差反向回传原理注意对比分析ANN与CNN的相同之处和不同之处,深入理解卷积运算的概念和本质掌握卷积后的特征图尺寸的计算方法四、神经网络优化掌握常见激活函数了解权值初始化的技术理解训练神经网络的优化技术:SGD,Momentum,Adagrad, RMSProp,Adam等五、深入理解各种类型的卷积操作NiN

2021-07-04 14:30:16 5290 2

原创 记一次电脑花屏

上完自习回来,书包太重了不经意压到了的笔记本上,结果开机后,emm花屏了,右下角明显看到有一块是碎了的,啊~~淘宝了一下发现屏好贵,而且我自己拆机装的话没装好又出了其他幺蛾子什么的就不好了。于是,俺买了个便携显示屏,发现还能连接手机,嘿嘿嘿,真香。看起来还好没什么瑕疵,不过临近放假又消费了一笔,好心痛,呜呜呜。...

2021-07-03 14:16:03 114

原创 Java web上机考试系统(源码自取)

博主项目仓库地址https://gitee.com/zhangsiji/exam-system需要源码自行下载以下为部署在服务器后的效果

2021-06-28 10:41:08 869

原创 malloc 操作系统 C/C++ 自己实现

每个进程有自己独有的虚拟地址空间,此虚拟地址空间包括五部分:Text section(要由处理器执行的二进制指令)、BSS(包括初始化为0的静态数据等)、Heap(包括动态分配的数据)、Stack(包括自定义变量、函数参数等)Heap由下(头部)向上(尾部)增长,程序中断指针或brk指针指向heap的尾部如果想要在heap中分配更多的内存,需要向系统申请brk。Sbrk系统调用可以操控program break:Sbrk(0):提供程序中断的当前地址。Sbrk(x):向系统申请x字节的内存Sbr

2021-04-16 10:38:36 388

原创 银行家算法 面向对象实现 C/C++

面向对象的代码找不到了,只有之前备份的结构化代码,面向对象的话改成两个类就好了,并不复杂。#include <iostream>#include <fstream>#define PROGRESS 5 //进程数量#define REC_NUM 3 //资源种类数量using namespace std;int Available[PROGRESS]; //定义可用资源向量Availableint sign[PROGRESS],wor

2021-04-16 10:31:35 152 1

原创 操作系统 页面置换算法 面向对象实现 C/C++ FIFO,LRU,LFU,OPT(需要源码的自取)

项目的结构job工作类头文件#ifndef JOB_H#define JOB_H#include <iostream>#include <vector>using namespace std;class Job{ public: Job(); /* 父类的一些函数,子类如果想要在自己的构造函数中初始化某些内容, 可以声明来使用:如子类FIFO: FIFO:FIFO()

2021-04-16 10:23:23 838

原创 操作系统 fork父进程子进程

#include <stdio.h>#include <stdlib.h>#include <unistd.h>int main(){ int x =0 ; int rc = fork(); if (rc <0) { fprintf (stderr,"creat child failed \n"); exit(1); }else if (rc == 0) { printf ("the value of x in child is {x

2021-03-18 11:04:52 252

原创 myshell

#include<stdio.h>#include<string.h>#include<stdlib.h>#include<unistd.h>#include<sys/types.h>#include<sys/wait.h>#include<readline/readline.h>#include<readline/history.h>#define MAXCOM 1000 // max num

2021-03-18 11:03:26 482

原创 机器学习与数据挖掘 编程实现k均值算法

编码实现k均值算法,设置三组不同的k值、三组不同的初始中心点,在西瓜数据集4.0上进行实验比较,并讨论什么样的初始中心有利于取得好结果。一、已经给定部分代码,补充完整的代码,需要补充代码的地方已经用红色字体标注,包括:(1)#补充随机初始化中心点的代码(2)补充计算数据点到中心点的距离,并判断该数据点所属中心点的代码;(3)#补充k均值代码;二、将补充完整的代码提交,并提交实验结果;(也可以自己重写这部分的代码提交)import numpy as npimport matplotlib.pyp

2021-01-11 16:24:18 1214

原创 软件工程期末复习自我总结(六) 软件测试与维护 敏捷开发

Individuals and interactions over processes and tools个人和交流重于过程和工具 Working software over comprehensive documentation可以运行的软件本身重于复杂的文档 Customer collaboration over contract negotiation与客户的沟通和交流重于使用合同约束客户 Responding to change over following a p...

2021-01-07 17:29:55 237

原创 软件工程期末复习自我总结(五)面向对象分析设计 软件体系结构

这里写目录标题第八讲 第九讲 面向对象分析第十讲 面向对象设计第十一讲 软件体系结构与设计模式第八讲 第九讲 面向对象分析面向对象分析:找出并规定该问题域中根据系统各项要求而行动并相互作用的对象,并依据这些对象及其关系建立问题域模型。面向对象分析过程从分析陈述用户需求的文件开始。用例建模过程① 定义系统:银行储蓄账户管理系统② 确定参与者 客户:到银行办理储蓄业务的人,负责输入密码 银行职员:银行工作人员,代表客户进行储蓄业务的操作 系统管理员:银行计算机的管理人员,负责账户

2021-01-07 17:15:39 314

原创 软件工程期末复习自我总结(四)UML建模工具

第七讲 UML建模工具用好UML首先需要掌握OOAD的基本原则和方法,并在一定的软件开发过程(如统一过程UP/RUP、ICONIX等)的指导下进行有取舍的运用不能简单地把UML的构造块按随机的方式放在一起 像任何语言一样,UML有一套规则 描述了一个结构良好的模型看起来应该像什么UML有用于描述如下事物的语义规则:命名:任何一个UML基本图素和模型图都必须命名作用域:UML成员所定义的内容起作用的上下文环

2021-01-07 16:45:31 251

原创 软件工程期末复习自我总结(三) 面向对象基础

第六讲 面向对象基础面向对象技术基于对象概念,以对象为中心,以类、组合、继承为构造机制,充分利用接口和多态提供灵活性,来认识、理解、刻划客观世界和设计、构建相应的软件系统面向对象技术发展-历史60年代后期:Simul67,基本思想70年代后期:Smalltalk80,实用化80年代:理论基础,C++等,商业化90年代:面向对象与设计方法学B.H. Sellers等提出喷泉模型G. Booch提出面向对象开发方法等P. Coad和E.Yourdon提出OOA和OODJacobson提出OO

2021-01-07 16:11:02 216 2

原创 软件工程期末复习自我总结(二)结构化分析 数据流图及审查 数据字典 加工逻辑 结构化设计 内聚与耦合 抽象与求精 系统结构图

第四讲 结构化分析接上面画数据流图审查第五讲 结构化设计重点!重点!重点!说三遍“信息隐藏”,更准确地描述应是“细节隐藏”,因为隐藏的不是信息,而是实现的细节。...

2021-01-07 00:04:22 660

原创 软件工程期末复习自我总结(一) 概述,软件过程及问题定义,面向过程分析基础

这里写目录标题第一讲 课程介绍和概述第二讲 软件过程和问题定义第三讲 需求工程及面向过程分析基础第一讲 课程介绍和概述软件=程序+数据+文档程序是按事先设计的功能和性能要求执行的指令序列程序=算法+数据结构数据是指程序初始化数据、测试数据、以及研发数据、维护数据等文档是与程序开发、维护和使用有关的图文材料软件是一种逻辑实体,而不是具体的物理实体,因而它具有抽象性。软件是被开发或设计的,而不是传统意义上的被制造。软件不会磨损。虽然软件产业正在向基于构件的组装前进,大多数软件仍然是定制。

2021-01-06 18:49:34 829

原创 实现拉普拉斯修正的朴素贝叶斯分类器

编码实现拉普拉斯修正的朴素贝叶斯分类器,基于给定的训练数据,对测试样本进行判别。import numpy as npdef loaddata(): X = np.array([[1,'S'],[1,'M'],[1,'M'],[1,'S'], [1, 'S'], [2, 'S'], [2, 'M'], [2, 'M'], [2, 'L'], [2, 'L'], [3, 'L'], [3, 'M'], [3, 'M'], [3, 'L'], [3

2021-01-06 16:40:41 1372 2

原创 编程实现AdaBoost算法

编码实现AdaBoost算法,以决策树为基学习器,训练一个AdaBoost集成模型,对测试样本进行判别。from sklearn.tree import DecisionTreeClassifierfrom sklearn.ensemble import AdaBoostClassifierfrom sklearn.datasets import load_irisfrom sklearn.metrics import accuracy_scorefrom sklearn.model_select

2021-01-06 00:08:44 886

原创 编程实现误差逆传播算法(BP算法)

掌握误差逆传播算法(BP算法)的工作流程编码实现标准BP算法和累积BP算法,在西瓜数据集3.0上分别用这两个算法训练一个单隐层网络,并进行比较import pandas as pdimport numpy as npfrom sklearn.preprocessing import LabelEncoderfrom sklearn.preprocessing import StandardScalerimport matplotlib.pyplot as pltseed = 2020imp

2020-12-19 12:04:43 1625 2

原创 梯度下降法求解线性回归问题 python

机器学习与数据挖掘(1)编码实现基于梯度下降的单变量和多变量线性回归算法,包括梯度的计算与验证;(2)画数据散点图和求得的直线;(3)画梯度下降过程中损失的变化图;(4)基于训练得到的参数,输入新的样本数据,输出预测值;(1)编码实现基于梯度下降的单变量和多变量线性回归算法,包括梯度的计算与验证;(2)画数据散点图和求得的直线;(3)画梯度下降过程中损失的变化图;(4)基于训练得到的参数,输入新的样本数据,输出预测值;import numpy as npfrom matplotlib impor

2020-10-10 20:20:49 1047 2

原创 数据结构 学习总结7 图

目录标题概念图的类型定义图的存储结构图的遍历深度优先搜索(遍历)广度优先搜索(遍历)求最小生成树求最短路径图的应用概念特点:非线性结构,是研究数据元素之间的多对多的关系。在这种结构中,任意两个元素之间可能存在关系。即结点之间的关系可以是任意的,图中任意元素之间都可能相关。图的应用极为广泛,已渗入到诸如语言学、逻辑学、物理、化学、电讯、计算机科学以及数学的其它分支。图:记为 G=( V, E )其中:V 是G的顶点集合,是有穷非空集;E 是G的边集合,是有穷集。问:当E(G)为空时,图G存在否?

2020-06-19 15:12:31 1031

原创 数据结构 学习总结6 树和二叉树

目录标题树的基本概念二叉树的性质二叉树的存储结构遍历二叉树和线索二叉树线索二叉树(Threaded Binary Tree)树和森林Huffman树及其应用特点:非线性结构,一个直接前驱,但可能有多个直接后继(1:n)树在计算机领域中广泛应用,例如:在编译程序中,用树来表示源程序的语法结构;在数据库系统中,可用树来组织信息;在分析算法的行为时,可用树来描述其执行过程等等。树的基本概念由0个或多个(n≥0)结点组成的有限集合T,有且仅有一个结点称为根(root),当n>1时,其余的结点分为

2020-06-19 13:41:05 570

原创 数据结构 学习总结5 串、数组和广义表

目录标题串的定义串的表示和实现串的模式匹配算法KMP算法数组广义表串的定义串即字符串,是由零个或多个字符组成的有限序列,是数据元素为单个字符的特殊线性表。串长:串中字符个数(n≥0). n=0 时称为空串 。空白串 由一个或多个空格符组成的串。子串:串s中任意个连续的字符序列叫s的子串; S叫主串子串位置 子串的第一个字符的序号字符位置:字符在串中的序号。串相等 串长度相等,且对应位置上字符相等。串的抽象数据类型定义ADT Sting{Objects: D={ai | a

2020-06-19 11:42:56 4962

原创 数据结构 学习总结4 队列

目录标题概述操作假溢出与循环队列循环队列的操作小结概述只能在表的一端进行插入运算,在表的另一端进行删除运算的线性表 (头删尾插)与同线性表相同,仍为一对一关系。顺序队或链队,以循环顺序队更常见只能在队首和队尾运算,且访问结点时依照先进先出(FIFO)的原则。关键是掌握入队和出队操作,具体实现依顺序队或链队的不同而不同。基本操作有入队或出队,建空队列,判队空或队满等操作。队列 (Queue)是仅在表尾进行插入操作,在表头进行删除操作的线性表。表尾即 an 端,称为 队尾 ; 表头即 a1 端

2020-06-19 10:34:51 615

原创 数据结构 学习总结3 栈

目录标题顺序栈表达式求值栈与递归栈:限定只能在表的一端进行插入和删除运算的线性表(只能在栈顶操作)逻辑结构与同线性表相同,仍为一对一关系存储结构 用顺序栈或链栈存储均可,但以顺序栈更常见只能在栈顶(表尾)运算,且访问结点时依照后进先出(LIFO)或先进后出(FILO)的原则关键是编写入栈和出栈函数,具体实现依顺序栈或链栈的不同而不同。基本操作有入栈、出栈、读栈顶元素值、建栈、或判断栈满、栈空等。堆栈是什么?它与一般线性表有什么不同堆栈是一种特殊的线性表,它只能在表的一端(即栈顶)进行插入

2020-06-19 09:10:45 4004

原创 数据结构 学习总结2 线性表

目录标题2.1 线性表的类型定义2.2线性表的顺序表示和实现线性结构的定义:若结构是非空有限集,则有且仅有一个开始结点和一个终端结点,并且所有结点都最多只有一个直接前趋和一个直接后继。可表示为:(a1 , a2 , ……, an)线性结构的特点:① 只有一个首结点和尾结点;② 除首尾结点外,其他结点只有一个直接前驱和一个直接后继。简言之,线性结构反映结点间的逻辑关系是 一对一 的线性结构包括线性表、堆栈、队列、字符串、数组等等,其中,最典型、最常用的是线性表2.1 线性表的

2020-06-16 13:45:11 952

flume kafak实验报告.docx

flume /kafka 与spark streaming 结合

2021-07-07

flume kafak实验报告.docx

flume /kafka 与spark streaming 结合

2021-07-07

flume kafak实验报告.docx

flume /kafka 与spark streaming 结合

2021-07-07

flume kafak实验报告.docx

flume /kafka 与spark streaming 结合

2021-07-07

操作系统页面置换算法 Page(面向对象).zip

操作系统页面置换算法面向对象实现C++/C

2021-07-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除