1 最美不过你回眸

尚未进行身份认证

暂无相关简介

等级
TA的排名 14w+

python处理excel文件小练习

一、简单使用#数据处理import openpyxl as xl #导入excel处理库from openpyxl.chart import BarChart, Reference # 导入图wb = xl.load_workbook("test.xlsx") #读取excel表,获取表文件对象sheet = wb['Sheet1'] #获取表格对象for row in rang...

2020-03-12 20:58:59

机器学习小练习

机器学习完整代码import pandas as pdfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoredf=pd.read_csv('G:/liu/py...

2020-03-12 20:43:55

pyspark笔记2:数据读取、处理和保存

PySpark笔记PySpark:Python on Spark基于python语言,使用spark提供的pythonAPI库,进行spark应用程序的编程==============================================================一、搭建PySpark的环境1.windows上进行pyspark环境配置步骤:-1.在windows上搭...

2020-03-12 16:42:01

TopN:求每个人的所有成绩中最好的三个成绩

一、数据源xiaoliu 64xiaoliu 69xiaoliu 79xiaoji 98xiaoliu 100xiaoji 99xiaowang 27xiaowang 69xiaowang 64xiaozhang 67xiaozhang 38xiaozhang 93xiaozhang 29xiaozhang 85xiaoliu 19xiaoliu 53xiaoli...

2020-03-12 11:56:37

pyspark安装和使用

PySpark笔记PySpark:Python on Spark基于python语言,使用spark提供的pythonAPI库,进行spark应用程序的编程==============================================================一、搭建PySpark的环境1.windows上进行pyspark环境配置步骤:-1.在windows上搭...

2020-03-11 17:19:01

kafka笔记

Kafka笔记kafka我们称之为中间件Kafka官网:http://kafka.apache.org/Kafka的文档:http://kafka.apache.org/0110/documentation.html使用的版本:Kafka_2.11-0.11.0.1Kafka® is used for building real-time data pipelines and strea...

2020-03-10 18:05:04

spark-sql笔记

SparkSQL:1.sparksql可以和hive集成问题1:sparksql什么时候和hive集成?答:当开发者需要使用sparksql来代替mapreduce,去计算hive中的表的时候,就需要集成hive。(mapreduce计算太慢了,所以我们采用sparksql去访问hive,来达到提供计算效率的目的)问题2:如何和hive集成?SparkSQL和hive集成的步骤:hiv...

2020-03-10 18:02:39

spark-streaming笔记

SparkStreaming笔记框架的类型:1.离线批处理:mapreduce、hive、SparkCore、Sparksql =》 mapreduce spark2.SQL的交互式查询:hive、SparkSQL3.流式框架:flume、kafka、SparkStreaming4.实时计算:SparkStreamingStrom(Clojure编写的)/jStrom(java编...

2020-03-10 18:00:17

spark-streaming笔记

SparkStreaming笔记=================================================================框架的类型: 1.离线批处理:mapreduce、hive、SparkCore、Sparksql =》 mapreduce spark 2.SQL的交互式查询:hive、SparkSQL 3.流式框架:flume、kafk...

2020-03-10 17:29:03

python安装和基础

第一章 python3简介第一节 Python语言的特点解释性语言:不需要编译,运行时会翻译成为机器语言动态类型语言:变量使用无需声明,在赋值的时候根据值类型自动 确定强类型语言:一旦变量被指定了某个数据类型,如果不进行强制类型转换,那么它就一直是该数据类型缺点:执行速度慢Python代码不能加密第二节 Python的安装1.版本:python3-2.两种方式安装pytho...

2020-03-10 17:19:33

idea软件使用python插件

接下来我们使用IDEA开发工具编写代码-1.IDEA中安装python的插件点击settings,点击plagins,在里面搜索python插件,然后安装,重启IDEA即可-2.调整项目的环境,因为之前的 项目是java和scala的环境,所以要调整为python的环境打开file下的project,项目配置点击SDKS,添加anaconda的python环境选择Conda Envir...

2020-03-10 17:09:49

flink安装

与hadoop集成一、下载https://archive.apache.org/dist/flink/flink-1.7.0/二、安装2.1 上传解压rztar -xzvf flink-1.7.0-bin-hadoop26-scala_2.11.tgz -C /opt/modules/2.2 修改配置1.修改flink-conf.yamljobmanager.rpc.addr...

2020-03-07 10:33:43

idea中jdk版本低出错

一、错误信息二、解决方法2.1 项目结构java语言级别低设置成安装的jdk版本我的jdk1.8版本,修改后视图2.2 运行后再次报错解决jdk版本问题2.3 进入设置-》java编译器-》修改jdk版本1.版本过低,改成自己的jdk版本...

2020-03-05 17:00:48

kafka编程【java】编写生产者

一、添加依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.1</version> </depen...

2020-03-05 15:14:55

kafka核心概念

一、kafka核心概念Message(消息): 传递的数据对象,主要由四部分构成:offset(偏移量)、key、value、timestamp(插入时间)Broker(代理者):Kafka集群中的机器/服务被成为broker, 是一个物理概念。Topic(主题):维护Kafka上的消息类型被称为Topic,是一个逻辑概念。Partition(分区):具体维护Kafka上的消息数据的最小...

2020-03-04 19:28:56

kafka官方案例运行

一、官方的测试案例:生产者和消费者的测试脚本1.1 案例分析Kafka自带生产者和消费者的模拟测试脚本:生产者脚本:kafka-console-producer.sh消费者脚本:kafka-console-consumer.sh现在我们模拟操作,生产者往kafka集群中写入数据,消费者往kafka集群中拉取数据,打印控制台1.2 开启生产者的脚本bin/kafka-console-p...

2020-03-04 19:15:15

kafka的安装

Kafka笔记=====================================================================kafka我们称之为中间件Kafka官网:http://kafka.apache.org/Kafka的文档:http://kafka.apache.org/0110/documentation.html使用的版本:Kafka_2.11-0...

2020-03-04 14:56:20

Spark-Sql的两种编程方式

一、spark.sql(“sql语句”)val spark: SparkSession = SparkSession .builder() .master("local[*]") //.enableHiveSupport() 如果不用到hive,不要加,用到hive一定要加 .getOrCreate() spark.sql("sql语句...

2020-03-04 13:34:15

sparksql自定义函数

title:sparksql自定义函数一、sparksql自定义函数spark-sql与hive类似,可以自定义函数UDF(user-defined-function):最基本的自定义函数,类似to_char,to_date.UDAF(user-defined-aggregation-function):用户自定义聚合函数,类似在group by之后使用的sum,avg等UDTF(u...

2020-03-04 08:26:56

sparksql:dataframe数据写入到Hbase中

一、步骤:在idea中编程1.1 添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc...

2020-03-03 22:28:09

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。