3 JunMoXiaoPro

尚未进行身份认证

暂无相关简介

等级
TA的排名 21w+

用shell脚本实现集群之间的免密登陆

微信公众号:关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议,请公众号留言;如果你觉得我写的文章对你有帮助,欢迎关注和赞赏我[1]推荐阅读写这个脚本的理由脚本说明关注菜鸟解说大数据推荐阅读1.在腾讯云中安装mysql 2.shell脚本出来Mysql的增删改查 3.MYSQL中limit不适用的场景 4.用shell玩转MYSQL实战写这个脚本的理由在搭...

2019-06-01 22:02:07

shell+mysql对日期型数据进行处理

微信公众号:关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议,请公众号留言;如果你觉得我写的文章对你有帮助,欢迎关注和赞赏我[1]推荐阅读shell+mysql对日期型数据进行处理1.建表和插入数据2.用groupby的方式实现提取date表中的数据3.使用DATE_FORMAT函数的方式4.上述两种方式的区别5.总结关注菜鸟解说大数据推荐阅读1.在腾讯云中安装my...

2019-05-23 14:28:49

机器学习中的KNN算法

微信公众号:关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议,请公众号留言,或者可以浏览我的CSDN如果你觉得我写的文章对你有帮助,欢迎关注和赞赏我文章目录机器学习中的KNN算法一.KNN的简单介绍二.KNN的原理关注菜鸟解说大数据机器学习中的KNN算法一.KNN的简单介绍  KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则...

2019-05-06 10:25:32

MYSQL中limit不适用的场景

微信公众号:关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议,请公众号留言,或者可以浏览我的CSDN如果你觉得我写的文章对你有帮助,欢迎关注和赞赏我[1]目录在特殊情况下使用limit和不用limit的区别1.查得到结果的情况2.查不到结果的情况在特殊情况下使用limit和不用limit的区别这是我今天在刷leetcode上的一道题时遇到的一个问题。原题...

2019-04-12 15:59:48

Mybatis快速入门

微信公众号:菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议,请公众号留言;如果你觉得tokenzj对你有帮助,欢迎赞赏[1]Mybatis快速入门文章目录什么是Mybatis?搭建一个Mybatis入门小demo1.创建一个Maven工程引入jdbc驱动包和mybatis依赖2.编写mybatis核心配置文件mybatis-config.xml3.我们根据上面的Stu...

2019-04-09 17:03:35

JDBC之CURD

1.修改mysql中的数据importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.SQLException;importjava.sql.Statement;publicclassUpdateDemo{publicstaticvoidmain(String[]arg...

2019-04-08 16:44:06

用wget来获取网站资源,包括图片视频等

先简单说一下wget命令的用法:wget命令用于在终端中下载网络文件,格式为“wget[参数]下载地址”。wget命令的参数和作用 参数 作用 -b 后台下载模式 -P 下载到指定的目录 -r 递归下载 -p 下载页面所有资源包括图片和视频 -t 最大尝试次数 -c 断点续传 wget-P/zhoujian...

2019-03-28 16:47:00

Oracle中常用的函数

[本文转自](https://note.youdao.com/)在SQLPLUS下,实现中-英字符集转换altersessionsetnls_language='AMERICAN';altersessionsetnls_language='SIMPLIFIEDCHINESE';主要知识点:一.有关表的操作1)建表createtabletestass...

2019-03-27 17:00:26

JAVA之缓冲流,转换流和序列化流

JAVA之缓冲流,转换流和序列化流主要内容 缓冲流 转换流 序列化流 打印流 昨天学习了基本的一些流,作为IO流的入门,今天我们要见识一些更强大的流。比如能够高效读写的缓冲流,能够转换编码的转换流,能够持久化存储对象的序列化流等等。这些功能更为强大的流,都是在基本的流对象基础之上创建而来的,就像穿上铠甲的武士一样,相当于是对基本流对象的一种增强。1....

2019-03-24 15:08:13

JAVA之字节流和字符流

JAVA之字节流和字符流主要内容 异常处理 Properties IO流的分类和功能 字节输出流写出数据到文件 字节输入流读取数据到程序 理解读取数据read(byte[])方法的原理 使用字节流完成文件的复制 使用FileWirter写数据到文件 说出FileWriter中关闭和刷新方法的区别 使...

2019-03-24 14:54:42

Java之File类和递归

Java之File类和递归主要内容 File对象的创建方式 File类获取名称的方法名称 File类获取绝对路径的方法名称 File类获取文件大小的方法名称 File类判断是否是文件的方法名称 File类判断是否是文件夹的方法名称 辨别相对路径和绝对路径 遍历文件夹 解释递归的含义 使用递归的方式计...

2019-03-24 14:39:21

Centos中安装mysql

方法一:mysql数据库的安装(使用rpm包的方式进行安装,不推荐)第一步:查看系统自带的mysql的rpm包rpm-qa|grepmysqlrpm-emysql-libs-5.1.73-8.el6_8.x86_64--nodeps第二步:安装mysql的rpm包rpm-ivh*.rpm第三步:启动mysql的服务servic...

2019-03-18 15:51:47

shell脚本实现一键启动集群的zookeeper和hadoop

因为我的集群是高可用的,所以基本上都是和zookeeper整合的。然而zookeeper的启动又需要一个机器一个机器的启动,非常麻烦。所以我就产生了写一个shell脚本来启动集群。不说废话,直接上脚本。#!/bin/bash#一键启动集群foriin{"hadoop01","hadoop02","hadoop03"};do echo"-----$1$izookeeper-...

2019-03-18 15:31:07

搭建大数据平台的准备工作

1网络原理1.1桥接原理因为虚拟机的linux系统的ip地址是固定的,更换路由器后导致无法使用,所以不推荐使用1.2NAT原理如果宿主电脑可以上网,内部的虚拟机也可以上网就好了NAT原理本质上就是虚拟机实现了交换机的功能,linux系统的IP地址就不会随宿主电脑的ip地址更改而更改推荐使用这种方式2怎么使linux上网2.1确保所有关...

2019-03-15 09:17:09

Spark面试问题收集

Spark面试问题spark面试问题1、spark中的RDD是什么,有哪些特性 RDD(ResilientDistributedDataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合,用于存放数据的 Distributed:分布式,可以并行在集群计算 ...

2019-03-14 10:39:37

Spark任务调度和资源分配

Spark任务调度和资源分配1、Spark调度模式FIFO和FAIRSpark中的调度模式主要有两种:FIFO和FAIR。默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。2、资源分配概述...

2019-03-14 10:28:03

Spark的shuffle和原理分析

Spark的shuffle和原理分析1、概述Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂。在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Map阶段通过shuffle读取数据并输出到对应的Reduce;而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中,往往伴随着大量...

2019-03-14 10:26:17

Spark的认识(四)

Spark的认识(四)1、本文内容 1、掌握SparkStreaming底层原理 2、掌握Dstream常用操作 3、掌握SparkStreaming整合flume 4、掌握SparkStreaming整合kafka 2、SparkStreaming概述2.1什么是sparkStreaming SparkStreamingmakesit...

2019-03-14 10:15:23

Spark的认识(三)

Spark的认识(三)1、本文内容 1、掌握sparkSQL原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握sparksql代码开发 2、sparksql概述2.1sparksql前世今生 shark是专门为spark设计的大数据仓库系统 shark与hive代码兼容,同时它也依赖于spark的版本 后期...

2019-03-14 10:05:17

Spark的认识(二)

Spark的认识(二)1、主要内容 1、掌握RDD底层原理 2、掌握RDD常用的算子操作 3、掌握RDD的依赖关系 4、掌握RDD的缓存机制 5、掌握划分stage 6、掌握spark任务调度流程 2、RDD概述2.1RDD是什么RDD(ResilientDistributedDataset)叫做弹性分布式数据集,是S...

2019-03-14 09:26:53

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。