0 sun_0128

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 2w+

算法练习-KNN分类预测

#导入需要的包import numpy as npimport pandas as pd#读取文件data = pd.read_csv("./iris.csv")#清洗数据,将Species列转化为数字data["Species"] = data["Species"].map({"virginica":0,"setosa":1,"versicolor":2})#删除Id列并替换data中的数据data.drop("Id",axis=1,inplace=True)#删除重复行并替换data

2020-09-16 10:36:19

大数据常见面试之算法

文章目录一.海量数据处理1.给一个超过100G大小log file ,log中存着IP地址,设计算法找到出现次数最多的IP地址2.与上题条件相同,如何找到top k的IP?3.给定100亿个整数,设计算法找到只出现一次的整数4.给两个文件,分别由100亿个query,我们只有1G内存,如何找到两个文件交集分别给出精确算法和近似算法5.如何扩展BloomFilter使得它支持删除元素的操作?6.给上千个文件,每个文件大小为1K-100M,给n个词,设计算法对每个词找到包含他的文件,只有100K内存7.有一个词

2020-09-14 14:43:25

大数据常见面试题之hive

文章目录一.描述一下Hive动态分区和分桶使用场景和使用方法1.分区2.分桶二.Hive是怎么集成HBase三.Hive join查询的时候on和where有什么区别四.Hive里面的left join是怎么执行的?五.Hive内部表,外部表,分区表六.Hive和mysql有什么区别,大数据为什么不用MySQL做存储和数据处理?七.Hive如何调优八.Hive数据倾斜原因和处理?九.Hive的自定义函数实现了什么接口什么方法?十.使用Hive-sql如何查询A表中B表不存在的数据?十一.如何控制Hive中M

2020-09-13 19:50:38

大数据常见面试题之MapReduce

文章目录一.MapReduce的执行流程二.MapReduce写过吗?有哪些关键类?mapper的方法有哪些?setup方法是干嘛的?它是每读一行数据就调用一次这个方法吗?1.关键类2.mapper的方法有setup,map,cleanup,run三.有个需求,要求一条指令可以把所有文件都shuffle到同一partition中,用MapReduce的话,你怎么写?四.Hadoop Shuffle原理(越详细越好)?五.combine函数的作用?六.简列几条MapReduce的调优方法1.数据输入2.Map

2020-09-13 18:03:45

大数据常见面试题之HBase

一.为什么使用HBase存储HBase(Hadoop Database) 是一个靠可靠性,高性能,可伸缩,面向列的分布式数据库HBase与Hadoop的关系非常紧密,Hadoop的hdfs提供了高可靠性的底层存储支持,Hadoop MapReduce 为 HBase提供了高性能的计算能力,zookeeper为Hbase提供了稳定性及failover机制的保障. 同时其他周边产品诸如Hive可以与HBase相结合使在HBase进行数据统计处理变得简单,Sqoop为HBase提供了方便的RDBMS数据导入

2020-09-13 11:40:04

大数据常见面试题之hdfs

一hdfs.写数据流程1.客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2.NameNode返回是否可以上传。不能上传会返回异常。3.确定可以上传,客户端请求第一个block上传到哪几个datanode服务器上。4.NameNode返回3个datanode节点,假定分别为dn1,dn2,dn3。5.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn

2020-09-13 10:52:21

数据仓库经典销售案例

文章目录一、业务库1.1 数据模型1.2生成数据二、数据仓库2.1 模型搭建2.1.1 选择业务流程2.1.2 粒度2.1.3 确认维度2.1.4 确认事实2.1.4.1 建立物理模型2.1.4.2 建库、装载数据三.编写脚本配合 crontab 命令实现 ETL 自动化一、业务库1.1 数据模型源系统是 mysql 库,数据模型如下1.2生成数据-- 建库CREATE DATABASE IF NOT EXISTS sales_source DEFAULT CHARSET utf8 COL

2020-09-03 16:12:59

数据仓库理论介绍

文章目录一.数据仓库1.什么是数据仓库1)面向主题2)集成3)非易失4)随时间变化二.数据仓库和数据库的区别三.数据仓库的架构四.数据仓库的建模1.选择业务流程2.声明粒度3.确认维度4.确认事实5.星型模型特点6.雪花模型特点一.数据仓库1.什么是数据仓库数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合1)面向主题主题(Subject)是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念每一个主题基本对应一个宏观的分析领域在逻辑意义上,它是对应企业

2020-09-01 12:57:34

记录kettle无法连接hive表异常

问题描述:使用kettle连接hive2服务时遇到异常错误连接数据库 [hive_default] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the databaseError connecting to database: (using class org.apache.hive.jdbc.HiveDriver)Illegal Hadoo

2020-09-01 07:14:46

PySpark架构及 Jupyter Notebook集成环境搭建

文章目录一.在Linux上安装Anaconda二.PySpark简介三.案例1.数据探索:统计寿命预期数据的整体数据信息2.Spark与Python第三方库混用3.使用PySpark通过图形进行数据探索一.在Linux上安装Anaconda下载Anacondahttps://www.anaconda.com/distribution/命令安装Anaconda,除了vscode选择no其他都选择yesbash Anaconda3-5.1.0-Linux-x86_64.sh#spark集成#安

2020-08-31 09:56:42

Python数据爬取

文章目录数据爬取介绍1.数据采集2.常用数据爬取工具二.Scrapy爬虫框架1.安装配置Scrapy框架2.Debug爬虫工程3.Scrapy框架组成4.Scrapy返回爬取页面数据5.爬取动态网页6.网站反爬虫数据爬取介绍1.数据采集数据来源从网上爬取数据(crawling)从本地系统收集数据(scraping):文件、数据库等网络数据采集模型2.常用数据爬取工具第三方库实现爬取Requests、lxml:灵活,简单PySpider爬虫框架提供WebUI界面编写及管理爬虫

2020-08-26 18:51:27

Python基础及函数

一.python函数1.内置函数内置函数无需导包即可使用的函数不同版本的Python内置函数可能略有不同之前已经接触过的内置函数type()、dir()、input()、print()、id()各版本内置函数和使用方法参考文档https://docs.python.org/zh-cn/3/library/functions.html2.自定义函数定义函数def func_name(参数列表): 函数体 [return/yield 函数返回值] Pytho

2020-08-25 16:12:19

Python环境搭建及Python数据类型

下载Anaconda在官网上下载安装包https://www.anaconda.com/distribution/命令安装AnacondaAnaconda3-5.1.0-Windows-x86_64.exe配置环境变量配置代码提示运行Python自带Demo启动演示示例python –m turtledemo使用方法示例代码执行效果Python的工程结构Python工程结构模块(module)一个Python文件就是一个模块.py source code.pyc com

2020-08-24 18:30:54

使用python爬取豆瓣电影top250相关信息

# -*- coding = utf-8 -*-# @Time: 2020/08/22 16:04# @Author: sun_0128# @File: spider.py# @Software: PyCharmfrom bs4 import BeautifulSoup #网页解析 获取数据import re #正则表达式,进行文字匹配import urllib.request,urllib.error#指定url 获取网页数据import xlwt #进行excel操作import

2020-08-22 22:48:58

大数据常见面试题之kafka

1

2020-08-21 17:06:13

基于Spark Streaming 的流数据处理和分析

一.流介绍1.流是什么数据流数据的流入数据的处理数据的流出随处可见的数据流电商网站、日志服务器、社交网络和交通监控产生的大量实时数据流处理是一种允许用户在接收到的数据后的短时间内快速查询连续数据流和检测条件的技术2.为什么需要流处理它能够更快地提供洞察力,通常在毫秒到秒之间大部分数据的产生过程都是一个永无止境的事件流要进行批处理,需要存储它,在某个时间停止数据收集,并处理数据流处理适合时间序列数据和检测模式随时间推移3.流处理应用场景股市监控交通监控计算

2020-08-20 12:14:37

Kafka核心原理

为什么使用消息中间件异步调用同步变异步应用解耦/可扩展性提供基于数据的接口层流量削峰缓解瞬时高流量压力可恢复性顺序保障消息中间件工作模式点对点模式:一对一,消费者主动拉取数据发布订阅模式一对多,数据生产后,推送给所有订阅者消息中间件中的术语Broker:消息服务器,提供核心服务Producer:消息生产者Consumer:消息消费者Topic:主题,发布订阅模式下的消息统一汇集地Queue:队列,点对点模式下的消息队列Apache KafkaKafka是一种高吞吐量

2020-08-19 09:55:06

大数据常见面试题之flume

一.flume组成和事务flume组成为source channel sink 事务包含put事务 take事务常用的source channeltaildir source: 断点续传,多目录. flume1.6以前需要自己自定义source记录每次读取文件位置,实现断点续传file channel: 数据存储在磁盘,宕机数据可以保存.但是传输速率慢.适合对数据传输可靠性要求高的场景,比如金融行业memory channel: 数据存储在内存中,宕机数据丢失.传输速率快.适合对数据传输可靠性

2020-08-18 08:48:04

Flume日志收集

文章目录一.Apache Flume简介二.Flume架构三.Source1.exec source2.spooling directory source3.http source4.avro source5.taildir source更多案例参考官方文档四.Channel五.Sink1.avro sink2.HDFS sink3.Hive sink六.多层代理(拓扑结构)七.Flume Sink组八.拦截器(Interceptors)一.Apache Flume简介Flume用于将多种来源的日志以流

2020-08-17 13:20:47

spark sql 之 DSL风格 练习mysql50题

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.2.0 /_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221)Type in expressions to ha.

2020-08-16 15:41:59

查看更多

勋章 我的勋章
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv3
    阅读者勋章Lv3
    授予在CSDN APP累计阅读博文达到30天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享学徒
    分享学徒
    成功上传1个资源即可获取