- 博客(99)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 LeetCode记录
1、两数之和class Solution { public int[] twoSum(int[] nums, int target) { Map<Integer, Integer> map = new HashMap<>(); for (int i = 0;i < nums.length;i++){ map.put(nums[i],i); } for (int i = 0;i ...
2020-11-02 18:10:23
1449
1
原创 笔记
2020/11/2一、创建对象的几种方式： 1、new 2、Clone 3、反射 4、反序列化readObject() 二、深拷贝、浅拷贝 浅拷贝：如果是引用类型，复制对象的地址，原始对象改变、复制的也改变 深拷贝：独立的复制出一个新的对象，互不影响三、接口和抽象类区别 1、类、接口 单继承多实现 2、抽象类中可以有非抽象方法、成员变量、静态方法。 3、都可以有静态成员变量 四、内部类和外部类 内部类：1、常规内部类：直接访问外...
2020-11-02 18:01:35
207
原创 Mysql
一、事务MySQL 事务主要用于处理操作量大，复杂度高的数据。原子性、一致性、隔离性、持久性注意点：1 只有使用Innodb存储引擎的表或库才支持事务1、隔离性（隔离级别） 读未提交：read uncommitted (事物A未提交的数据，B读到，脏数据，理论上) 读已提交：read committed （A提交数据，B才能读到，Oracle默认级别，不可重复读） 可重复读：repeatable read （A提交之后的数据，B读不到，MySQL默认级别，幻读）
2020-10-28 16:58:23
204
原创 JAVA之语法糖
一、概念编译器是一种计算机程序, 它主要的目的是将便于人编写、阅读、维护的高级计算机语言所写的源代码程序, 翻译为计算机能解读、运行的低阶机器语言的程序, 即可执行文件。而 javac 就是java语言中的编译器, 它用于将 .java 文件转换成JVM能识别的 .class 字节码文件, 反编译则是将 .class 文件转换成 .java 文件。语法糖（Syntactic sugar），也译为糖衣语法，是由英国计算机科学家彼得·兰丁发明的一个术语，指计算机语言中添加的某种语法，这种语法对语言的功能
2020-09-04 10:51:04
974
原创 过滤器Filter
一、什么是FilterFilter也称之为过滤器，它是Servlet技术中最实用的技术，Web开发人员通过Filter技术，对web服务zhi器管理的所有web资源。例如实现URL级别dao的权限访问控制、过滤敏感词汇、压缩响应信息等一些高级功能。例如对Jsp, Servlet, 静态图片文件或静态 html 文件等进行拦截，从而实现一些特殊的功能。Filter使用户可以改变一个 request和修改一个response. Filter 不是一个servlet,它不能产生一个response,它
2020-08-27 11:26:41
241
原创 分片上传、断点续传
分片上传、断点续传1、分片上传HTML<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title></head><body> <h2>分片上传</h2> <p> 选择文件: <input type="file" id="file" name=
2020-08-27 09:47:41
450
原创 JAVA反射
一、类加载（将class文件读入内存，创建一个java.lang.Class对象）当程序还未使用某个类的时候，如果该类没有被加载到内存中，则系统会通过类的加载、类的连接、类得初始化三个步骤对类进行初始化，如果不要出现意外，JVM虚拟机会连续执行这三个操作，所以会把这三个步骤统称为类加载或类的初始化。1、类加载时机二、反射反射机制：在运行时去获取一个类的变量或方法信息。然后通过获取到的信息来创建对象，调用方法的一种机制。这种动态性，极大增强了程序的灵活性，程序不用再编译期就完成确定，运
2020-08-25 14:10:39
185
原创 Socket
一、网络基础1、两台计算机如何通过网络进行通信？必备条件：三元组【ip地址，协议，端口】（1）唯一的 IP 地址（2）相同的协议（3）端口号（区分一个主机不同的应用程序，0~65535。http:80 ftp:21 telnet:23）2、TCP/IP 5层模型：（1）物理层：网线，网卡。。。（2）数据链层（3）网络层（4）传输层：TCP/IP 协议（5）应用层：HTTP超文本传输协议、FTP文件传输协议、SMTP简单邮件传输协议、TELNET远程登陆协议3.
2020-08-24 15:32:23
395
原创 ThreadLocal
一、ThreadLocal是什么线程变量，意思是ThreadLocal中填充的变量属于当前线程，该变量对其他线程而言是隔离的。ThreadLocal为变量在每个线程中都创建了一个副本，那么每个线程可以访问自己内部的副本变量。二、源码分析几个主要方法：//初始值protected T initialValue() { return null; }//获取值 public T get() { Thread t = Thread.currentThr
2020-08-24 10:52:01
130
原创 AJAX跨域
一、什么是AJAX跨域问题、产生AJAX跨域问题的原因什么是AJAX跨域问题简单来说，就是前端调用后端服务接口时 如果服务接口不是同一个域，就会产生跨域问题AJAX跨域场景前后端分离、服务化的开发模式 前后端开发独立，前端需要大量调用后端接口的场景 只要后端接口不是同一个域，就会产生跨域问题 跨域问题很普遍，解决跨域问题也很重要AJAX跨域原因浏览器限制：浏览器安全校验限制 跨域（协议、域名、端口任何一个不一样都会认为是跨域） XHR（XMLHttpRequest）请求二、
2020-08-17 15:32:01
1512
1
原创 Spring Data JPA
目录一、Spring Data Jpa 简介二、Spring Boot整合Spring Data Jpa三、简单的REST CRUD示例四、JPAQueryFactory方式五、多表查询六、使用Mysql聚合函数七、使用子查询八、排序九、分页的两种写法十、@Query 注解一、Spring Data Jpa 简介JPAJPA(Java Persistence API)意即Java持久化API，是Sun官方在JDK5.0后提出的Java持久化规范。.
2020-06-08 22:51:53
575
原创 ETL工具之Kettle
一、什么是Kettle?ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程，数据清洗），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。kettle是纯java编写，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤...
2020-05-07 11:06:08
793
原创 BP神经网络模型
一、简介BP神经网络学习算法可以说是目前最成功的神经网络学习算法。显示任务中使用神经网络时，大多数是使用BP算法进行训练.在我看来BP神经网络就是一个”万能的模型+误差修正函数“，每次根据训练得到的结果与预想结果进行误差分析，进而修改权值和阈值，一步一步得到能输出和预想结果一致的模型。举一个例子：比如某厂商生产一种产品，投放到市场之后得到了消费者的反馈，根据消费者的反馈，厂商对产品进一步升...
2020-05-01 10:27:14
13034
原创 Hive教程（四）之实战篇
一、统计出每个用户的累积访问次数有以下用户访问数据： userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 ...
2020-04-29 21:27:05
584
原创 Hive教程（三）
一、集合数据类型应用Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT案例：1） 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格式为：{"name": "songsong","friends": ["bingbing" , "lili"] , //列表 Array,"children": { ...
2020-04-06 23:45:54
624
原创 爱奇艺大数据实时项目统计项目
一、Pyhton脚本实现模拟日志生产，定时执行#coding=UTF-8import randomimport timeurl_paths = [ "www/2", "www/1", "www/6", "www/4", "www/3", "pianhua/130", "toukouxu/821"]status_code = [404,3...
2020-04-05 18:29:16
1662
1
原创 大数据电视采集离线项目
1、需求分析点击流日志每天都产生在指定文件夹中，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上。2、实现思路1、shell脚本实现，遍历日志文件夹内文件，如果满足日志文件名称格式，移动到待上传文件夹。2、有一个记录待上传文件路径的文件，遍历文件内路径，上传后删除。3、实现脚本#!/bin/bash#set java envexport JA...
2020-03-26 20:50:34
306
原创 SpringBoot 回顾
（一）热部署 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> </dependency>(二) 整合Redis起步...
2020-03-10 20:04:11
141
原创 SpringMVC 回顾
一、文件上传（一）前提：form表单的enctype(表单请求内容的类型)取值必须是：multipart/form-data (默认是application/x-www-form-urlencoded) method 属性取值必须是 Post 提供一个文件选择域 <input type=” file” /> （二）原理：当 form 表单的 enctyp...
2020-03-09 21:22:18
189
原创 Mysql面试题
1、sql语句分类：DDL：数据定义语言（create drop） DML：数据操作语句（insert update delete） DQL：数据查询语句（select） DCL：数据控制语句，进行授权和权限回收（grant revoke） TPL：数据事务语句（commit collback savapoint）3、数据库三范式： 第一范式：1NF是对属性的原子性约束，要求...
2020-01-18 10:00:51
379
原创 Java面试题（持续日更）
1、Java面向对象都有哪些特性以及你对这些特性的了解。继承：继承是从已有的类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类），得到继承的是子类。封装：把数据和操作数据的方法绑定起来，对数据的访问只能通过定义的接口。我们编写一个类就是对数据和数据操作的封装。可以说，封装就是隐藏一切可隐藏的东西，只向外界提供最简单的编程端口。多态性：多态是指允许不同子类型的对象对同一...
2020-01-13 20:23:05
8525
4
原创 大数据面试题（一）
一、Mapreduce的理解？Mapreduce 的执行原理？Mapper 阶段1、先将HDFS中的输入文件file按照一定的标准进行切片2、调用自己编写的map逻辑，将输入的键值对<k1，v1>变成<k2，v2>3、按照一定的规则对输出的键值对<k2,v2>进行分区4、对每个分区中的键值对进行排序。Reduce 阶段1、对多个Mapp...
2020-01-03 08:43:19
285
原创 Spark面试题（一）
目录一、单项选择题二、不定项选题 三、填空题四、判断题五、简答题六、编程题一、单项选择题1、下面哪个操作是窄依赖？（）join filter group sortRDD之间的血缘关系又称依赖，包括两种，一种是窄依赖，RDDs之间分区是一一对应的，另一种是宽依赖，下游RDD的每个分区与上游RDD(也称之为父RDD)的每个分区都有关，是多对多...
2020-01-02 14:42:03
5800
原创 微服务之SpringCloud
一.系统架构演变、微服务介绍1、集中式架构：当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。2、垂直拆分：当访问量逐渐增大，单一应用无法满足需求，为了应对更高的并发和业务需求，我们根据业务功能对系统进行拆分3、分布式服务：当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场...
2019-12-25 22:51:47
377
原创 架构设计之REST
一、REST概念是什么？表现层状态传递（Representational State Transfer，简称REST）是Roy Fielding博士在2000年他的博士论文中提出来的一种万维网软件架构风格。它是一种针对网络应用的设计和开发方式，可以降低开发的复杂性，提高系统的可伸缩性。二、前后端通信请求方式？REST要求客户端向服务端发出请求以获得或修改服务器上的数据（即通过HTTP请...
2019-12-18 15:53:57
261
原创 Java SE中串行、并行与并发、分时调度与抢占式调度
1、并行和并发概述并行：指两个或多个事件在同一时间点发生并发：指两个或者多个事件在同一时间段内发生详谈：并行(parallel)：指在同一时刻，有多条指令在多个处理器上同时执行。就好像两个人各拿一把铁锨在挖坑，一小时后，每人一个大坑。所以无论从微观还是从宏观来看，二者都是一起执行的。在程序运行中，并行指多个CPU核心同时执行不同的任务；对于单核心CPU,严格来说是没有程序并...
2019-12-08 09:40:42
1525
原创 Zookeeper入门
目录一、概念二、安装部署三、Zookeeper理论篇之zoo.cfg四、Zookeeper理论篇之数据结构五、Zookeeper实战六、JAVA API七、分布式锁一、概念Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper=文件系统+通知机制Zookeeper从设计模式角度来理解：是一个基...
2019-12-05 19:00:59
371
1
原创 Azkaban教程
目录一、简介二、各种调度工具特性对比三、安装配置四、Azkaban实战一、简介Azkaban是在LinkedIn上创建的用于运行Hadoop作业的批处理工作流作业调度程序。Azkaban通过工作依赖性解决订购问题，并提供易于使用的Web用户界面来维护和跟踪您的工作流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系为什么需要工作流调度？一个完整的数...
2019-12-05 14:23:50
869
原创 SparkCore 笔记（二）
目录一、RDD中的函数传递（序列化问题）1、传递一个方法2、传递一个属性二、RDD依赖关系1、Lineage（容错机制）2、窄依赖3、宽依赖4、DAG5、任务划分（面试重点）6、RDD缓存7、RDD CheckPoint三、键值对RDD数据分区器1、获取分区2、Hash分区3、...
2019-12-03 22:45:05
213
原创 Flink学习笔记
目录一、初识Flink二、Flink的重要特点：三、安装配置四、API案例一、初识FlinkApache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。实时处理：Storm (Storm Trident)、Spark Streaming、FlinkStorm：支持低延迟，但是很难实现高吞吐，并且不能...
2019-12-02 17:23:27
165
原创 MySQL的logbin
目录一、开启binlog日志：二、常用binlog日志操作命令三、查看某个binlog日志内容，常用有两种方式：四、恢复binlog日志实验mysql-binlog是MySQL数据库的二进制日志，是MySQL最重要的日志，用于记录用户对数据库操作的SQL语句（(除了数据查询语句）信息。可以使用mysqlbin命令查看二进制日志的内容。二进制日志包括两类文件：二进制日志索引文...
2019-12-02 09:04:05
3089
原创 Scala Option(选项)
一、概念Scala Option(选项)类型用来表示一个值是可选的（有值或无值)。Option[T] 是一个类型为 T 的可选值的容器： 如果值存在--->Some[T] ，如果不存在---> None 。二、案例举例 1 ：val myMap: Map[String, String] = Map("key1" -> "value")val value1:...
2019-12-01 18:57:59
599
原创 Sqoop学习笔记
一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个：1、导入、迁入 2、导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一...
2019-12-01 18:43:10
342
原创 Spark Streaming笔记
目录一、概念二、Dstream入门1、Dstream创建2、RDD队列（了解）3、根据端口号采集数据4、自定义数据源5、Kafka数据源（重点）三、DStream转换1、无状态转化操作2、有状态转化操作（重点）四、案例1、WordCount案例实操（单次、累计）2、把sparkstreaming获取到的数据存在redis里一、概念S...
2019-11-28 18:12:38
443
原创 SparkSQL
目录一、什么是Spark SQL？二、编程特点三、DataFrame1、创建案例 1）SQL Context2）SparkSession(常用)四、idea中案例五、什么是DataSet一、什么是Spark SQL？Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet...
2019-11-20 19:38:44
234
原创 SparkCore 笔记（一）
目录一、什么是RDD二、RDD编程模型1、RDD三种创建方式三、RDD的转换（面试开发重点）1、value类型2、双Value类型交互3、Key-Value类型四、Action五、案例应用一、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集（弹性：内存不足，自动写入磁盘），是Spark中最基本...
2019-11-17 22:51:17
299
原创 Spark基础篇
目录一、什么是Spark二、主要角色1、Driver（驱动器）2、Executor（执行器）3、Local模式（单个服务器）4、基本操作5、Standalone模式（Master+Slave集群模式）6、Yarn模式（重点）7、Mesos模式三、案例1、wordcount案例一、什么是Sparkspark是一种基于内存的快速、通用、可扩...
2019-11-15 10:20:35
406
原创 Java 8 之Stream
目录一、什么是 Stream？二、几个主要机制1、生成流 filter2、forEach limit3、map sorted4、并行（parallel） count5、Collectors6、统计三、操作案例1、常用stream方式2、中间件案例一、什么是 Stream？Stream（流）是一个来自数据源的元素队列并支持聚合操作...
2019-11-14 19:52:32
294
原创 Java 8 Lambda 表达式
一、Java8新特性Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 表达式是一种匿名函数，简单地说，它是没有声明的方法，也即没有访问修饰符、返回值声明和名字。Lambda 允许把函数作为一个方法的参数（即把lambda表达式作为匿名函数，传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑。语法：lambda 表达式的...
2019-11-14 17:20:31
146
原创 ElasticSearch Java API
<dependencies> <!-- es的客户端--> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId...
2019-11-10 19:37:59
404
Logging.jar
2019-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人