- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ubuntu中解决Failed to connect to 127.0.0.1 port xxxxx: Connection refused
方法一 查看一下代理git config --global http.proxygit config --global https.proxy 有就取消，没有就换一种方法git config --global --unset http.proxygit config --global --unset https.proxy方法二 查看系统环境有没有使用代理env|grep -I proxy 出现以下类似...
2021-11-08 14:19:55
9898
1
原创 Hadoop集群配置文件
一，集群部署规划hadoop部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManger 二，配置集群核心配置文件：cor.
2021-03-27 15:22:29
783
原创 Transformation 转换算子
在RDD中，整体可以分为Value型，双Value类型，Key-Value类型Value类型map()映射算子函数签名：map[U:Class Tag](f:T => U):RDD[U]功能：f是一个参数，可以接受一个参数，当RDD执行map时，会遍历RDD中的每一个数据项，并依次使用 f 函数，从而产生新的一个RDD。例子说明：创建一个1-4数组的RDD, 两个分区，将所有的元素 *2 形成新的RDD //1.创建SparkConf并设置App名称 val conf
2021-03-24 22:40:56
446
原创 Scala数据类型，函数式编程
Scala语言特点Scala 是一以Java虚拟机为运行环境并面向对象和函数式编程结合在一起的静态类型编程语言1）Scala 是一门多范式编程语言，Scala 支持面向对象和函数式编程 2）Scala 源代码会编译成java 字节码，然后在JVM上运行，并调用现有的java类库 3）Scala 语言非常简洁 4）Scala 将函数式编程语言的特点融合到JAVA中。变量与常量在 JAVA 中的变量和常量的格式：变量： 变量类型 变量名称=初始值 int a = 10常量：fin..
2021-03-20 19:28:57
257
原创 浅谈数仓分层
为什么分层数仓分层目的是使用空间换时间，通过大量预处理，提升用户数据加工效率等，故而存在大量数据冗余。如果不分层，源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。ODS层：原始数据层，主要存放原始数据， DWD层：主要是对ODS层数据进行数据清洗（去空值，脏数据），维度退化。 DWS层：以DWD为基础，按每天进行轻度汇总 DWT层：以DWS为基础，按主题进行汇总 ADS层：以各种统计报表提供数据分层好处1）把复杂的问题简单化：将复杂的任务分解成多层来完成，每一层只
2021-03-20 00:30:31
583
原创 Hadoop简单介绍
Hadoop介绍Hadoop优势高可靠性Hadoop 底层维护多个数据副本，即使当某个副本出现故障，也不会导致数据丢失搞扩展性集群间分配任务数据高效性在MapReduce的思想下，Hadoop是并行运行的。高容错性Hadoop组成在hadoop1.x,hadoop中的MapReduce 同时处理义务逻辑运算和资源调配工作。在hadoop2.x,增加了yarn,负责资源的调度，MapReduce负责运算HDFS架构Namenode(nn):负责管理HDFS的名称空间，配置副
2021-03-19 19:27:53
197
原创 用数据练习逻辑回归
逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本相同，最大的区别是它们的因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是 Logistic回归。Logistic回归虽然名字里带“回归”，但它实际上是一种分类方法，主要用于二分类问题。逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立相应的函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证这个求解的模型的好坏。它的优点有：速度快，适合二分类问题；简单、易于理解，可以直接看到各个特征的权重；能容易
2020-05-21 15:29:10
551
原创 循环神经网络
基本结构如图所示，从图中可以看到输入 x， 隐含层，输出层等，这些与传统神经网络类似。自循环W却是它的一大特色。其中U是输入层到隐含层的权重矩阵，W是状态到隐含层的权重矩阵，s为状态，V是隐含层到输出层的权重矩阵。从图中可以看出，它的共享参数是各个时间节点对W, U,V都是不变的，这个机制就像卷积神经网络的过滤器机制一样，通过这个方法，实现参数共享，可以大大降低参数量。隐含层结构这个网络在每个时间t都有相同的网络结构。假设 输出的 x 是 n 维向量，隐含层的神经元个数是m,输出层的神经元个数为r
2020-05-20 16:44:24
912
原创 pytorch实现CIFAR-10多分类
数据集说明CIFAR-10数据集由10个类的 60000 个 32x32 彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集划分为5个训练批次和1个测试批次，每个批次有10000个图像，测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但由于一些训练批次可能来源一个类别的图像比另一个多，因此总体来看，5个训练集之和包含...
2020-04-30 22:24:23
5610
原创 自编码器图像去噪-pytorch实现
概念自编码器的两个核心部分是编码器和解码器，它将输入数据压缩到一个潜在的空间中，然后再根据这个空间将数据进行重构得到最后的输出数据。整个架构都是采用神经网络构建，与普通的神经网络架构相似。作用对图像去噪；对数据进行压缩降维；数据采用的数据是MNIST数据集，把数据集下载放在MNIST_data文件夹中，也可以先下载好数据集放在文件夹中。网络构建网络结构的编码器与普通的神经网络差...
2020-04-10 14:00:05
6121
5
原创 生成对抗网络（GAN) 手写数字图像生成
生成式对抗网络（GAN)简介生成式对抗网络的框架主要有两个模型，一个是生成模型（Generator），记为为 G,是用来生成数据，通过大量的样本学习，生成一些能够以假乱真的数据样本。第二个是辨别模型(Discriminator)，记为D，主要是接受 G生成的样本数据和真实样本数据，进行辨别和分类。生成网络G接受一个随机的噪声z并生成图片，记为G（z）；判别网络D的作用是判别一张图片x是否真...
2020-04-07 15:49:54
4302
2
转载 欧式距离、标准化欧式距离、马氏距离、余弦距离
转载：https://blog.csdn.net/Kevin_cc98/article/details/73742037
2019-11-24 11:38:33
311
原创 机器学习一般的开发流程
一，获取数据当你拿到数据之后，自然而然的你要把数据集进行处理，如果一开始数据就相对于比较嘈杂，如缺失值，或者一些数据不符合我们需要的要求时，就要进行数据处理二，数据处理查看是否有明显的异常值，如某些数据点和数据集中的其他值存在明显的差异。通过一维，二维或者三维图形化展示数据是个不错的方法，但是我们得到的数据的特征值都不会低于三个，无法一次图形化展示所有特征。我们可以通过数据的提炼，压缩...
2019-03-09 20:37:26
2365
原创 机器学习算法与分类
主要链接：https://blog.csdn.net/sinat_27554409/article/details/72823984
2019-03-09 20:07:06
204
原创 python 版 排序与搜索
冒泡排序冒泡排序算法的原理如下：比较相邻的元素。 如果第一个比第二个大，就交换他们两个。 对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。 在这一点，最后的元素应该会是最大的数。 针对所有的元素重复以上的步骤，除了最后一个。 持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。代码：#coding: utf-8def bubble_sort(a...
2018-12-27 11:23:30
294
原创 python 中的sklearn
sklearn是python的重要机器学习库，其中封装了大量的机器学习算法，如：分类、回归、降维以及聚类；还包含了监督学习、非监督学习、数据变换三大模块。sklearn拥有完善的文档，使得它具有了上手容易的优势；并它内置了大量的数据集，节省了获取和整理数据集的时间。因而，使其成为了广泛应用的重要的机器学习库。下面简单介绍一下sklearn下的常用方法。sklearn.neighbors #近...
2018-12-11 21:05:59
2225
原创 反向传播算法（代码笔记）
import numpy as np#反向传播算法定义损失函数和激活函数def loss(network_y, real_y): ''' 返回函数的编导，损失函数使用 MSE L = 1/2 (netowork_y - real_y)^2 delta_L = network_y - real_y 损失函数使用了均方误差作为该神经网络的损失函数，因此求...
2018-12-11 17:44:58
1682
转载 深度学习---反向传播算法
装载原文：https://www.cnblogs.com/yeluzi/p/7418291.html一. 一种基于矩阵运算快速计算神经网络输出的方法在介绍反向传播之前，先介绍怎么利用矩阵运算快速的计算神经网络输出。其实在上一章对这一块也提到过，不过不够详细。这里再介绍一下，帮助大家逐渐适应基于矩阵运算的表示方式。我们先引入一个能够明确表示连接神经网络中某两层之间的某两个神经元的权重的符...
2018-12-11 16:30:15
3337
转载 人工神经网络概述
百科解释： 人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称...
2018-12-07 21:21:19
2079
原创 面向对象概念
面向对象的程序设计具有三个基本特征：封装，继承和多态，可以大大增加程序的可靠性，代码的可重用性和程序的可维护性，从而提高程序开发效率。对象的定义所谓对象，从概念层面来说，就是某种事物的抽象（功能）。 抽象原则包括数据抽象和过程抽象两个方面：数据抽象就是定义对象的属性；过程抽象就是定义对象的操作。面向对象的程序设计强调把数据（属性）和操作（服务）结合为一个不可分的系统单位（即对象），对象...
2018-12-05 23:08:55
320
原创 Scrapy 爬虫框架（一）
一， Scrapy 爬虫框架scrapy 是一个由python写的Crawler Framework ，简单轻巧，并且使用方便，Scrapy 使用 Twisted 这个异步网络库来处理网络通信，架构清晰，、 Scrapy : 引擎（Engine ） ，引擎负责数据流在系统中的所有组件中的流动，并在相应动作发生时触发事件。 调度器 （scheduler ）. 调度器从引擎接收 R...
2018-12-04 19:50:57
196
原创 python绘图模块概述
python标准库中包含了下列图形绘制相关模块。1，tkinter ：画布绘图2，turtle：海龟绘图常用的开源绘图模块如下：（1） Matplotlib (官网：http://matplotlib.sourceforge.net/)。 Matplotlib 是有一个由 John Hunter 等开发的，用于绘制二维图形的python模块。它利用了python下的数值计算模块N...
2018-12-02 22:56:20
5781
原创 array.array 数组和对象，栈，deque
array 模块包含一个array对象，用于实现其他编程语言中的数组数据结构。array 对象包含相同的基本数据类型的列表，其操作和list 对象基本一致，区别是在创建array 对象时，必须指定元素类型 typecode ，其元素只能为该类型。否则会 发生TypeError。array 对象的创建：array （typecode [ , initializer]）typecode...
2018-12-01 17:35:09
519
原创 python 基本算法（顺序查找）
一，顺序查找查找算法是程序中经常用到的算法。假定要从n个元素中查找 x 的值是否存在，最原始的方法是从头到尾挨个查找，这种查找的方法叫顺序查找方法。顺序查找有三种情形可能发生：最好的情况，第一项就是要查找的数据对象，只有一次比较，最差的情况，需要 n 次比较，全部比较完之后找不到数据。平均情况下，比较次数为 n/2 次。算法的时间复杂度是 O(n) .例 ： 在列表中查找 x 是否存在...
2018-11-29 23:30:37
6977
2
原创 python 数据结构———栈
只允许在一端进行插入或删除数据元素的有限序列栈顶：进行插入和删除的那一端；栈底：栈顶的另一端。栈是一种“先进后出”的一种数据结构，有压栈出栈两种操作方式 重要概念:入栈 push: 入栈也称压栈, 指的是栈的插入操作, 在栈顶位置插入新的数据元素.出栈 pop: 出栈也称弹栈, 指的是栈的删除操作, 删除栈顶位置的数据元素代码如下：class Stack: ...
2018-11-29 20:38:39
261
原创 穷举法思想（素数）
穷举法（Exhaustive Attack method)，又称为强力法（Brute-force method），它是一种最为直接，实现最为简单，同时又最为耗时的一种解决实际问题的算法思想。基本概念穷举法的基本思想是：在可能的解空间中穷举出每一种可能的解，并对每一个可能解进行判断，从中筛选出问题的答案。使用穷举法解决实际问题，最关键的步骤是划定问题的解空间，并在该空间中一一枚举出每一个...
2018-11-16 13:06:50
2736
原创 折半查找（二分搜索）
如果从文件中读取的数据记录的关键字是有序排列的，则可以用一种效率更高的查找算法来查找文件中的记录，这就是折半查找法，又称作为二分查找。折半查找的思想是：减小查找序列的长度，分而地进行关键字的查找，它的查找过程是：先确定待查记录的所在范围，然后逐渐缩小查找的范围，直至找到该记录为止。例如文件记录的关键字序列为：（1,3,5,6,9,12,13,17,21,28,30）该序列包含11个...
2018-11-09 21:13:14
771
原创 二叉树简单总结
一，二叉树的定义二叉树是一种特殊形式的树结构，二叉树的特点是每个节点最多有两棵子树。二叉树（Binary tree ）是这样的数结构：它或者是空，或者是由一个根节点加上两棵分别称为左子树和右子树的互不相交的二叉树组成。显然这个定义是递归形式的。二叉树的一般存储结构采用的是链式存储结构。直观地讲就是将二叉树的各个结点（根节点，叶子节点等）用链表的形式连接在一起。这样通过特定的算法就可以对...
2018-11-08 21:58:59
300
转载 MySQL 8.0.12安装教程(windows 64位)
先去官网下载点击MYSQL下载下载完成后 解压解压完 是这个样子 配置初始化的my.ini文件解压后的目录并没有my.ini文件，没关系可以自行创建。在安装根目录下添加 my.ini（新建文本文件，将文件类型改为.ini），写入基本配置： [mysqld]# 设置3306端口port=3306# 设置mysql的安装目录base...
2018-11-04 10:44:36
357
原创 Metasploit远程代码执行
Metasploit之远程代码执行本次漏洞利用的是ms08-067的XP漏洞metasploit下进行操作search 08-067 -->搜索漏洞相关的模块，得到exploit/windows/smb/ms08_067_netapiuse exploit/windows/smb/ms08_067_netapi -->使用这个漏洞模块...
2018-11-02 12:35:26
992
原创 ettercap 局域网嗅探
背景知识本次嗅探试验所使用到的工具有两个，ettercap和driftnet。 ettercap是一款现有流行的网络抓包软件，他利用计算机在局域网内进行通信的ARP协议的缺陷进行攻击，在目标与服务器之间充当中间人，嗅探两者之间的数据流量，从中窃取用户的数据资料。ettercap的介绍ettercap有两种运行方式，UNIFIED和BRIDGED。UNIFIED的方式是以中间人方式嗅探，...
2018-10-30 21:52:11
11454
原创 python 单链表的操作
单链表的基本操作首先创建一个结点类的结构，以便后面的操作class Node(object): def __init__(self,data): self.data=data self.next=None 创建一个链表类class LinkList(object): def __init__(self): self.head=N...
2018-10-30 21:49:52
517
转载 矩阵链乘法问题 （算法）
一、概述 以两个矩阵相乘为例，A1*A2，A1和A2为两个矩阵，假设A1的行列数是p*q，A2的行列数是q*r。注意这里由于是A1乘以A2，所以A1的列数要等于A2的行数，否则无法做矩阵乘法，满足上述条件的矩阵，我们称之为“相容”的。那么对于A1*A2而言，我们需要分别执行p*r次对应A1的行元素乘以A2的列元素，根据线性代数知识，不难得出我们一共需要执行p*q*r次乘法。...
2018-10-27 19:54:20
9129
转载 python 中的turtle使用教程
python2.6版本中引入的一个简单的绘图工具，叫做海龟绘图(Turtle Graphics)1.使用海龟绘图首先我们需要导入turtle，如下所示： from turtle import * #将turtle中的所有方法导入2.海龟绘图属性： (1)位置 (2)方向 (3)画笔(画笔的属性，颜色、画线的宽度)3.操纵海龟绘图有着许多的命令,这些命令可以划分为两种:一种为运动命令，...
2018-10-26 22:06:51
11533
原创 解决Python3安装turtle提示错误：Command "python setup.py egg_info" failed with error code 1
pip install turtle出现可以选择升级 setuptoolspip install --upgrade setuptools 升级完成后，还是会出现错误的话，就手动选择更改文件按照给定的链接，下载turtle包，手动解压，修改setup.py文件后再安装1，打开setup.py文件，在第四十行修改成except (ValueErroor, ve...
2018-10-26 21:08:00
3679
原创 解决Command "python setup.py egg_info" failed with error code 问题
当执行命令时 会出现这种情况 Command "python setup.py egg_info" failed with error code出现这种情况的话，应该是 setuptools 没有安装。打开窗口出入 cmd 命令，输入pip install setuptoolspip install distribute在执行命令的时候，如果出现[WinErro...
2018-10-26 20:35:39
13851
原创 SQL注入命令
sqlmap -u “http://url/news?id=1″ –current-user #获取当前用户名称sqlmap -u “http://www.xxoo.com/news?id=1″ –current-db #获取当前数 据库名称sqlmap -u “http://www.xxoo.com/news?id=1″ –tables -D “db_name”#列 表名sqlmap...
2018-10-13 21:42:16
3092
原创 数据结构（C语言版）第三版 基础实验二
1、编写函数slnklist delx(linklist head, datatype x)，删除不带头结点单链表head中第一个值为x 的结点。并构造测试用例进行测试。2、假设线性表（a1,a2,a3,…an）采用不带头结点的单链表存储，请设计算法函数linklist reverse1(linklist head)和void reverse2(linklist *head)将不带头结...
2018-10-07 20:10:37
4834
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人