9 青蛙小王子

尚未进行身份认证

人的一生有太多的哀愁和挫折,或许只有泰然处之,心灵才能释怀。

等级
TA的排名 3k+

SparkSql使用入门

Spark SQL是spark套件中一个模板,它将数据的计算任务通过SQL的形式转换成了RDD的计算,类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。Spark SQL的特点:1、和Spark Core的无缝集成,可以在写整个RDD应用的时候,配置Spark SQL来完成逻辑实现。2、统一的数据访问方式,Spark SQL提供标准化的SQL查询。3、Hive的继...

2020-02-15 19:19:59

spark算子知识整理2

前面有关RDD的理论已经说过其中一点就是RDD是由一系列的分区组成,所以RDD也提供了和分区相关的一系列算子,这次需要整理的是分区迭代器、重设分区以及countByKey、groupByKey等算子package com.debug;import java.util.ArrayList;import java.util.Arrays;import java.util.Iterator...

2020-02-13 16:50:39

spark持久化

日常开发中每次读取大文件都比较费时费力,而每次的重复读取都是资源的浪费,针对这些问题spark也提供了持久化的解决方案,帮助我们解决诸如此类的效率问题,先来看一段我搜集到的资料:RDD 持久化Spark 中一个很重要的能力是将数据持久化(或称为缓存),在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时,每个节点的其它分区都可以使用 RDD 在内存中进行计算,在该数据上的其他 ...

2020-02-13 10:49:36

spark算子知识整理1

上一次分享提到的map、flatmap都归属于转换算子,foreach则属于Action算子;由于算在在spark中较为重要后续几次都是分享算子相关的东西,先来看一段代码package com.debug;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apac...

2020-02-11 14:37:34

Spark使用parallelize方法创建RDD以及map、flatmap的区别

spark创建RDD常用的方法有两个分别是parallelize、parallelizePairs,parallelize用来生成普通格式的RDD,parallelizePairs用来生成kv格式的RDDpackage com.debug;import java.util.Arrays;import java.util.List;import org.apache.spark.Sp...

2020-02-11 11:10:04

spark核心RDD的介绍和字数统计案例

RDD是spark的核心和重要组成,spark内部提供了丰富的算子供我们使用,节省了开发时间使得开发更为高效,从而让我们专注业务逻辑。因为spark丰富的算子使得它更适用于需要复杂计算的业务场景。这次将会分享一些关于RDD的概念和理论以及经典的字数统计案例 RDD 概念 RDD(Resilient Distributed Dateset),弹性分布式数据集。 RDD的五大特...

2020-02-08 10:50:37

spark理论之运行模式

spark相比hadoop做了很多方面的优化,同时spark的job也支持提交到hadoop的yarn进行处理,同时也有属于自己的一套资源调度框架standalone.同时也支持其他常用的资源调度框架。 Spark运行模式 Local 多用于本地测试,如在eclipse,idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框...

2020-02-07 19:05:08

spark2.4的安装和基本使用

安装之前我们先来看看资料上对spark的一些解释:Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存...

2020-02-07 14:04:26

go语言操作mysql数据库

Golang要操作mysql数据库,首先需要在当期系统配置GOPATH,因为需要使用go get命令把驱动包下载到GOPATH下使用。首先配置好你的GOPATH,执行以下命令,下载安装mysql驱动,下载完成之后会在GOPATH下的src/github.com目录下安装命令:go get github.com/go-sql-driver/mysql1 打开数据库连接,跟jdbc类似...

2019-12-03 16:42:16

python开发之web篇-flask框架操作mysql数据库

一 数据库连接from flask import Flask, render_templatefrom flask_sqlalchemy import SQLAlchemy# import pymysqlapp = Flask(__name__)# 配置flask配置对象中键:SQLALCHEMY_DATABASE_URIapp.config['SQLALCHEMY_DATA...

2019-08-14 13:25:31

python开发之web篇-flask框架入门

python做web开发已经不是什么新鲜事了,学习之前也查阅过一些资料也和常用作前后端开发的几门编程语言做过一些对比,虽说不一定要使用python做web开发,但还是觉得有必要简单的接触学习一下,也就当成拓宽知识面了一 常用的python web开发框架FlaskFlask确实很“轻”,不愧是Micro Framework,从Django转向Flask的开发者一定会如此感慨,除非二者均...

2019-08-12 13:25:38

CI框架的使用-模型操作和自定义库的载入及使用

一 模型的使用模型是和数据库底层交互的模块,规范的三层模式模型层是必须的,但也有一部分php开发者直接在控制器操作数据库,这种做法虽然没错但会给后期的维护造成麻烦CI框架中我们应该把模型写在,application下的models文件夹下面,且要继承CI_Model,如下所示:<?phpclass User_model extends CI_Model{ pub...

2019-08-06 10:52:19

CI框架的使用-原生SQL和ORM模式操作数据库、视图

一 数据库配置文件的配置和自动加载1 直接修改config文件夹下面的database.php,把数据库相关信息填上去即可$db['default'] = array( 'dsn' => '', 'hostname' => 'localhost', 'username' => 'root', 'password' => '123456', 'datab...

2019-08-05 14:05:15

CI框架的使用-环境搭建

一 下载和安装下载地址:https://codeigniter.org.cn/download除了上面的地址也可以到英文官网下载,但速度上可能差一点,之后新建一个项目并配置虚拟主机即可访问<VirtualHost *:8081> DocumentRoot 'D:/phpenv/zendspace/useci' ServerName localhost ...

2019-08-05 11:01:51

laravel的使用-文件上传

目前php的各大常用框架都为我们直接封装好了文件上传的相关代码,不用再劳心劳力的自己写,使用起来也大同小异,省心不少一 准备表单页面<!DOCTYPE html><html><head><meta charset="UTF-8"><title>文件上传测试</title><link rel="sty...

2019-08-01 15:59:18

laravel的使用-验证码的生成

laravel中并未直接提供验证码供我们使用,如果需要使用验证码,则需要使用composer安装相关依赖,方可使用一 安装依赖composer require gregwar/captcha=1.1.7同理还是需要先进入laravel项目目录,使用composer执行上面的命令即可,安装过程稍慢,耐心等等就OK了下面是有关此验证码的使用方法https://packagi...

2019-07-31 14:40:14

laravel的使用-视图和分页的使用

之前分享了自己对模型和控制器的一些使用方法,这次将分享有关视图以及分页的一些简单用法一 分页通过阅读laravel的开发文档可以知道通过模型或者DB::table的方式可以实现分页,以模型的方式来说应付简单的查询或许不成问题,但如果是带复杂查询的分页可能就力不从心了。因此可以根据实际情况选择是通过模型使用分页还是原生sql方式实现分页重要:原生sql用括号括起来并起别名;sql语句用...

2019-07-30 16:28:35

laravel的使用-模型和数据库基本操作

一 数据库相关配置(项目根目录的.env文件)DB_CONNECTION=mysqlDB_HOST=127.0.0.1DB_PORT=3306DB_DATABASE=tpstudyDB_USERNAME=rootDB_PASSWORD=123456二 原生sql语句实现增删改查php的常用框架大多都提供了至少2种的数据库操作方式,分别是模型、原生sql,模型的方式适用简单...

2019-07-24 15:31:56

laravel的使用-环境搭建

一 相关开发环境的安装1 安装composer关于安装方面不会有太大问题,都是点 下一步 就能安装好了,这里需要注意的是镜像问题,执行下面的命令即可composer config -g repo.packagist composer https://packagist.phpcomposer.com2 使用命令创建工程并配置虚拟主机composer create-pr...

2019-07-23 15:12:25

vue父子组件通信实现简单的评论功能

vue中父子组件通信在日常开发中还是比较常用的,与之相关的文章也非常多,这次分享给大家的是一个子组件和父组件交互的小例子,效果如下上半部分是评论列表,下半部分是子组件,当填写评论人和评论内容,点击发表刷新上半部分的评论列表<!DOCTYPE html><html><head> <meta charset="utf-8" /> ...

2019-03-23 09:37:56

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。