JunMoXiaoPro-CSDN博客

原创用wget来获取网站资源，包括图片视频等

先简单说一下wget命令的用法：wget 命令用于在终端中下载网络文件，格式为“wget [参数] 下载地址”。wget命令的参数和作用参数作用 -b 后台下载模式 -P 下载到指定的目录 -r 递归下载 -p 下载页面所有资源包括图片和视频 -t 最大尝试次数 -c 断点续传 wget -P /zhoujian...

2019-03-28 16:47:00 4456

转载 Oracle中常用的函数

[本文转自](https://note.youdao.com/)在SQLPLUS下，实现中-英字符集转换alter session set nls_language='AMERICAN';alter session set nls_language='SIMPLIFIED CHINESE';主要知识点：一.有关表的操作1)建表create table test as s...

2019-03-27 17:00:26 827

原创 Spark面试问题收集

Spark面试问题spark面试问题1、spark中的RDD是什么，有哪些特性 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset：就是一个集合，用于存放数据的 Distributed：分布式，可以并行在集群计算 ...

2019-03-14 10:39:37 257

原创 Spark任务调度和资源分配

Spark任务调度和资源分配1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。2、资源分配概述...

2019-03-14 10:28:03 846

原创浅谈JVM

1、JVM是什么JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Ja...

2019-03-13 17:26:56 1145 1

原创 ElasticSearch简单使用

ElasticSearch简单使用首先我们谈几个公司，如雷贯耳的：百度、谷歌、维基百科；这些公司都有一个相似性就是门户网站，可以提供我们通过关键字搜索，然后快速的检索出我们想要的信息；【网页百度展示】比如我们检索传智播客，百度后台就会按照这个关键字进行查找（里面有搜索库，以及爬虫库），然后按照权重来进行从上打下的排序，给我们高亮的展示出现【京东或者淘宝展示】随便搜索东西，就会高...

2019-03-13 16:59:14 15470 2

原创 Java之数据类型转换，运算符，方法入门

本文内容数据类型转换算数运算符比较运算符逻辑运算符三元运算符简单方法定义和调用第一节数据类型转换Java程序中要求参与的计算的数据，必须要保证数据类型的一致性，如果数据类型不一致将发生类型的转换。1.1自动转换一个int类型变量和一个byte类型变量进行加法运算，结果是什么类型呢？int i = 1;b...

2019-03-13 11:10:46 324

原创用shell脚本实现集群之间的免密登陆

微信公众号：关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议，请公众号留言;如果你觉得我写的文章对你有帮助，欢迎关注和赞赏我[1]推荐阅读写这个脚本的理由脚本说明关注菜鸟解说大数据推荐阅读1.在腾讯云中安装mysql 2.shell脚本出来Mysql的增删改查 3.MYSQL中limit不适用的场景 4.用shell玩转MYSQL实战写这个脚本的理由在搭...

2019-06-01 22:02:07 799

原创 shell+mysql对日期型数据进行处理

微信公众号：关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议，请公众号留言;如果你觉得我写的文章对你有帮助，欢迎关注和赞赏我[1]推荐阅读shell+mysql对日期型数据进行处理1.建表和插入数据2.用group by的方式实现提取date表中的数据3.使用DATE_FORMAT函数的方式4.上述两种方式的区别5.总结关注菜鸟解说大数据推荐阅读1.在腾讯云中安装my...

2019-05-23 14:28:49 554

原创机器学习中的KNN算法

微信公众号：关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议，请公众号留言，或者可以浏览我的CSDN如果你觉得我写的文章对你有帮助，欢迎关注和赞赏我文章目录机器学习中的KNN算法一.KNN的简单介绍二.KNN的原理关注菜鸟解说大数据机器学习中的KNN算法一.KNN的简单介绍 KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则...

2019-05-06 10:25:32 508

原创 MYSQL中limit不适用的场景

微信公众号：关注菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议，请公众号留言，或者可以浏览我的CSDN如果你觉得我写的文章对你有帮助，欢迎关注和赞赏我[1]目录在特殊情况下使用limit和不用limit的区别1.查得到结果的情况2.查不到结果的情况在特殊情况下使用limit和不用limit的区别这是我今天在刷leetcode上的一道题时遇到的一个问题。原题...

2019-04-12 15:59:48 636

原创 Mybatis快速入门

微信公众号：菜鸟解说大数据关注可了解更多的大数据相关的内容。问题或建议，请公众号留言;如果你觉得tokenzj对你有帮助，欢迎赞赏[1]Mybatis快速入门文章目录什么是Mybatis？搭建一个Mybatis入门小demo1.创建一个Maven工程引入jdbc驱动包和mybatis依赖2.编写mybatis核心配置文件mybatis-config.xml3.我们根据上面的Stu...

2019-04-09 17:03:35 395

原创 JDBC之CURD

1.修改mysql中的数据import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;public class UpdateDemo { public static void main(String[] arg...

2019-04-08 16:44:06 222

原创 JAVA之缓冲流，转换流和序列化流

JAVA之缓冲流，转换流和序列化流主要内容缓冲流转换流序列化流打印流昨天学习了基本的一些流，作为IO流的入门，今天我们要见识一些更强大的流。比如能够高效读写的缓冲流，能够转换编码的转换流，能够持久化存储对象的序列化流等等。这些功能更为强大的流，都是在基本的流对象基础之上创建而来的，就像穿上铠甲的武士一样，相当于是对基本流对象的一种增强。1....

2019-03-24 15:08:13 298

原创 JAVA之字节流和字符流

JAVA之字节流和字符流主要内容异常处理 Properties IO流的分类和功能字节输出流写出数据到文件字节输入流读取数据到程序理解读取数据read(byte[])方法的原理使用字节流完成文件的复制使用FileWirter写数据到文件说出FileWriter中关闭和刷新方法的区别使...

2019-03-24 14:54:42 241

原创 Java之File类和递归

Java之File类和递归主要内容 File对象的创建方式 File类获取名称的方法名称 File类获取绝对路径的方法名称 File类获取文件大小的方法名称 File类判断是否是文件的方法名称 File类判断是否是文件夹的方法名称辨别相对路径和绝对路径遍历文件夹解释递归的含义使用递归的方式计...

2019-03-24 14:39:21 223

原创 Centos中安装mysql

方法一：mysql数据库的安装（使用rpm包的方式进行安装，不推荐）第一步：查看系统自带的mysql的rpm包rpm -qa | grep mysqlrpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps第二步：安装mysql的rpm包rpm -ivh *.rpm第三步：启动mysql的服务servic...

2019-03-18 15:51:47 199

原创 shell脚本实现一键启动集群的zookeeper和hadoop

因为我的集群是高可用的，所以基本上都是和zookeeper整合的。然而zookeeper的启动又需要一个机器一个机器的启动，非常麻烦。所以我就产生了写一个shell脚本来启动集群。不说废话，直接上脚本。#!/bin/bash#一键启动集群for i in {"hadoop01","hadoop02","hadoop03"};do echo "-----$1 $i zookeeper-...

2019-03-18 15:31:07 1699

原创搭建大数据平台的准备工作

1 网络原理1.1 桥接原理因为虚拟机的linux系统的ip地址是固定的, 更换路由器后导致无法使用, 所以不推荐使用1.2 NAT原理如果宿主电脑可以上网, 内部的虚拟机也可以上网就好了NAT原理本质上就是虚拟机实现了交换机的功能, linux系统的IP地址就不会随宿主电脑的ip地址更改而更改推荐使用这种方式2 怎么使linux上网2.1 确保所有关...

2019-03-15 09:17:09 695

原创 Spark的shuffle和原理分析

Spark的shuffle和原理分析1 、概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量...

2019-03-14 10:26:17 259

原创 Spark的认识（四）

Spark的认识（四）1、本文内容 1、掌握SparkStreaming底层原理 2、掌握Dstream常用操作 3、掌握SparkStreaming整合flume 4、掌握SparkStreaming整合kafka 2、SparkStreaming概述2.1 什么是sparkStreaming Spark Streaming makes it...

2019-03-14 10:15:23 355

原创 Spark的认识（三）

Spark的认识（三）1、本文内容 1、掌握sparkSQL原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握sparksql代码开发 2、sparksql概述2.1 sparksql前世今生 shark是专门为spark设计的大数据仓库系统 shark与hive代码兼容，同时它也依赖于spark的版本后期...

2019-03-14 10:05:17 434

原创 Spark的认识（二）

Spark的认识（二）1、主要内容 1、掌握RDD底层原理 2、掌握RDD常用的算子操作 3、掌握RDD的依赖关系 4、掌握RDD的缓存机制 5、掌握划分stage 6、掌握spark任务调度流程 2、RDD概述2.1 RDD是什么RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是S...

2019-03-14 09:26:53 305

原创 spark的认识（一）

spark的认识（一）1、主要内容 1、掌握spark相关概念 2、掌握搭建一个spark集群 3、掌握编写简单的spark应用程序 2、spark概述2.1 spark是什么 Apache Spark™ is a unified analytics engine for large-scale data processing. spark是一...

2019-03-14 09:08:00 712 1

原创再遇见之Hbase

1、主要内容 1、掌握Hbase相关概念 2、掌握Hbase集群搭建 3、掌握Hbase shell 命令的使用 4、掌握Hbase内部原理 5、掌握Hbase的寻址机制 6、掌握Hbase的rowkey设计 2、Hbase概述2.1 hbase是什么hbase是基于hdfs进行数据的存储，具有高可靠、高性能、列存储、可伸缩、实...

2019-03-14 09:04:36 288

原创 Kibana可视化

Kibana可视化设置加载数据在你开始之前：加载案例数据本段教程依赖如下数据集：莎士比亚的所有著作，合适地解析成了各个字段：shakespeare.json。随机生成的虚构账号数据：accounts.json 随机生成的日志文件：logs.jsonl 认识数据数据格式莎士比亚数据集由如下数据格式组织{ "line_id": INT...

2019-03-13 17:07:03 2727 1

原创 HBase的初步接触

下载HBasel 官网地址：http://hbase.apache.org/l 下载地址：http://mirrors.hust.edu.cn/apache/hbase/查看数据存储位置如果在hbase的配置文件hbase-site.xml中没有设置的话，数据存储在/tmp文件下，但是每次从新启动主机后tmp下的数据会丢失，所以单机模式只方便用来调试和开发hadoop与hbas...

2019-03-13 11:16:24 259

原创 Mysql使用中遇到的一些问题

CentOS7.0 安装MySql之后，使用systemctl start mysql.service启动MySQL提示Failed to start mysqld.service: Unit not found原因：安装mysql的作者另起炉灶的开源版本：maria DB（maria DB如同 MySQL 的影子版本，玛莉亚数据库是 MySQL 的一个分支版本（branch），而不是...

2019-03-13 11:13:31 567

原创每日一题【26. 删除排序数组中的重复项】

题目描述：给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。你不需要考虑数组中超出新长度后面的元...

2019-03-13 11:08:48 226

原创每日一题【 122. 买卖股票的最佳时机 II】

题目描述：给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你可以尽可能地完成更多的交易（多次买卖一支股票）。注意：你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。示例 1:输入: [7,1,5,3,6,4]输出: 7解释: 在第 2 天（股票价格 = 1）的时候买入，在第 3 天（股票价格 = 5）的时...

2019-03-13 10:58:33 178

Token