- 博客(23)
- 收藏
- 关注
RSS订阅转载 2020-08-06
1、常用数据结构数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该集合中数据元素间的关系组成。常用的数据有：数组、栈、队列、链表、树、图、堆、散列表。1）数组：在内存中连续存储多个元素的结构。数组元素通过下标访问，下标从0开始。优点：访问速度快；缺点：数组大小固定后无法扩容，只能存储一种类型的数据，添加删除操作慢。适用场景：适用于需频繁查找，对存储空间要求不高，很少添加删除。2）栈：一种特殊的线性表，只可以在栈顶操作，先进后出，从栈顶放入元素叫入栈，从栈顶取出元素叫出栈。应用场景：用于实现递
2020-08-06 11:32:50
271
转载 SparkSQL的3种Join实现
SparkSQL的3种Join实现引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。SparkSQL的3种Join实现Broadc...
2020-04-16 21:37:40
206
原创 Spark中RDD与DAG的执行逻辑
Spark中RDD与DAG的执行逻辑核心：1.当Driver端向master申请完成后，调用worker，这时worker会同Driver端进行通信，将执行程序接收，从而执行逻辑。2.当数据的规则被切分放到各个worker中时，因为规则的不完整，这时Driver端会将将各切分的数据进行拉回组合，形成完整的规则后，再以广播的形式（broadcast）发送到不同worker上。使得规则完整，从而...
2020-04-13 00:56:47
198
原创 akka运行原理总结
akka运行原理总结核心：ActorSystem创建多个actor和actorRef并进行管理：1.actor发送消息时，通过actorRef反射，将消息传到Dispacher分发器，分发器管理着所有的actor,其将对应的信息，分发给对应的MailBox,最后到另一个actor.2.actor接收到消息后，通过sender() ! “消息” ，将消息返回。...
2020-04-08 00:58:39
340
原创 hdfs计算向数据偏移思想
hdfs计算向数据偏移思想核心：主要是实现数据的分治思想，主机优先和自己距离最近的datanode获取数据，通过seek(偏移量)实现。如：当文件分为两个数据块block1和bloack2.时，且两台服务器1和2均可调用block2中的数据，若服务器1就具有自己所需读取的block2时，则就近调用。不再通过服务器2去读取代码测试：public class TestHDFS { p...
2020-03-31 02:56:35
595
1
原创 hadoop HA的部分配置及linnux命令
hadoop HA的部分配置及linnux命令修改该文件，添加IP 名称：sudo vim /etc/hosts远程拷贝：scp -r ./zookeeper-3.4.6/ slave3:`pwd`解压：tar xf生成密匙：ssh-keygen -t dsa -P '' -f ./id_dsacore-site.xml<property> <nam...
2020-03-30 02:29:32
71
原创 hadoop高可用（HA）集群搭建思想
hadoop高可用（HA）集群搭建思想核心：高可用（High Available)主要解决单点登陆的数据同步问题。通过jourNODE半存储的形式，解决如果主设备（NameNode）崩溃的情况，增加了一个备用设备(NameNode)。同时结合zookeeper进行自动管理。注：2.x只允许配置一个副NN，3.x允许最多5个2.配置流程：3.配置文件（1）core-site.xml，配...
2020-03-30 00:46:31
95
原创 Zoopkeeper+Dubbo的远程调用（RPC）思想
Zoopkeeper与Dubbo的思想核心：RPC核心模块：通讯和序列化1.Zoopkeeper作为注册中心，当一个服务提供者项目启动后，自动进入注册中心进行注册，以便消费者调用加载。默认端口号为：21812.服务消费者到注册中心配置自己的服务名和要调用的方法，在获得注册中心通知后，通过远程注入服务，调用提供者的方法。3.Dubbo主要进行不同服务机器间的通讯和序列化。默认端口：7001...
2020-03-28 02:16:25
216
原创 稀疏数组的原理和实现
稀疏数组的原理和实现核心：当一个二维数组中大部分元素为零时，或者为同一个值得数组时，可以使用稀疏数组来保存数据，从而减小空间占用，提高程序执行效率。代码实现：public class SparseArray { public static void main(String[] args) { //创建一个原始的二维数组 //0：表示没有棋子，1：表...
2020-03-26 17:34:14
156
原创 利用莎士比亚数据集进行RNN文本生成的训练
利用莎士比亚数据集进行RNN文本生成的训练import tensorflow as tfimport numpy as npfrom tensorflow import kerasimport pandas as pdimport sklearnimport sysimport osimport matplotlib.pyplot as pltimport matplotlib ...
2020-03-25 01:00:23
1633
1
原创 电影评级数据集进行多层双向RNN实现
电影评级数据集进行多层双向RNN实现import tensorflow as tfimport numpy as npfrom tensorflow import kerasimport pandas as pdimport sklearnimport sysimport osimport matplotlib.pyplot as pltimport matplotlib as ...
2020-03-25 00:57:44
288
原创 yaml特点和基本语法
yaml特点和基本语法yaml不但可以存键值对，还可以存对象,对空格要求极其严格yaml强大之处：可以注入到我们的配置类中``#键值对key-valuename: johonny#对象student:name: johonnyage: 22#行内写法student: {name: johonny,age: 18}#数组pets:catdogpigpegs: [...
2020-03-25 00:16:50
445
原创 springmvc自动注解-开发常用方式
springmvc自动注解-开发常用方式核心：加入<mvc:annotation-driven />，自动实现在spring中的@RequestMapping映射功能和上下文注册功能（DefaultAnnotationHandlerMapping和AnnotationMethodHandlerAdapter）使得开发变得更加简单，高效。1.配置springmvc-servlet...
2020-03-21 00:14:09
295
原创 springMVC的核心思想分析
springMVC的核心思想分析核心：当我们去访问服务器是，会首先创建一个DispatcherServlet的web服务，根据路径加载配置文件springmvc-servlet.xml，然后根据配置文件中的配置路径将请求的分发到实体类controller。最后返回结果，并创建视图Moudle进行视图解析并显示。1.创建配置文件springmvc-servlet.xml，这里配置创建视图解析器V...
2020-03-20 22:50:26
202
原创 spring-aop切入点（pointcut）切入
aop切入点（pointcut）切入核心：利用动态代理的方式，自动完成代理类创建，进行功能的增强。其本质是利用了反射机制1.创建UserService和UserServiceImpl实现类，得到所实现方法public interface UserService { public void add(); public void delet(); public void ...
2020-03-19 22:42:10
512
原创 Spring静态代理模式
Spring静态代理模式核心：通过在代理类，实现添加一些附属功能。1.创建租房子方法public interface Rent { public void rent();}2.创建房东对象，实现租房，要出租房子//房东public class Host implements Rent { public void rent() { System.out...
2020-03-19 17:17:30
100
原创 spring ioc配置思路
spring ioc配置思路1.通过在配置文件中引入class,实现容器管理.同时通过value进行赋值2.在调用段直接调用id的值，就可实现结果的调用赋值的结果源码：User:public class User { private String name; public void show() { System.out.println("name=...
2020-03-19 02:28:39
59
原创 Spring控制反转(IOC)的思想实现思路
Spring控制反转的思想核心：在service业务层调用Dao层的实现方法时，往往我们需要在业务层进行操作，改变调用的实现类。但通过控制反转，在service层中引入set方法，可以实现在用户层面灵活调用。即将控制权由业务层转交给了用户层如下：通过setUserDao，在用户层进行灵魂调用完整代码DAO层public interface UserDao { void g...
2020-03-18 18:33:24
162
原创 mybatis的配置步骤，实现简单的数据库操作
mybatis配置步骤，实现简单的数据库操作配置pom.xml文件，尤其要注意过滤条件的编写<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem...
2020-03-17 01:25:58
172
原创 tensorflow2.0利用interleave函数对数据进行变换，重新形成新的数据集
tensorflow2.0利用interleave函数对数据进行变换，重新形成新的数据集#interleave:将每个数据进行处理，利用interleave将处理的结果合并形成新的数据集#case:文件dataset -> 具体数据集dataset2 = dataset.interleave( #map_fn:对数据进行怎样的变换 lambda v: tf.data.D...
2020-03-16 04:39:29
846
原创 tensorflow2.0中怎样将数据与标签组合到同一个dataset中
tensorflow2.0中怎样将数据与标签组合到同一个dataset中#将数据进行组合x=np.array([[1,2],[3,4],[5,6],[7,8]])#矩阵y = np.array([‘cat’,‘dog’,‘fox’,‘apple’])#定义一个向量dataset3 = tf.data.Dataset.from_tensor_slices((x,y))#对x,y进行构建pr...
2020-03-16 04:34:24
658
原创 tf2.0中怎么实现dataset与cvs数据的转换
tf2.0中怎么实现dataset与cvs数据的转换import tensorflow as tfimport numpy as npfrom tensorflow import kerasimport pandas as pdimport sklearnimport osimport matplotlib.pyplot as pltimport matplotlib as mpl...
2020-03-16 04:03:20
184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人