- 博客(21)
- 收藏
- 关注
RSS订阅原创 如何阅读源码
如何阅读源码自顶向下这个以我们所看的项目的层次结构为主线。通过IDE将所有层级收缩，然后依次展开，先是module列表，通过这一层，我们可以看到flink项目中大致包含的主要模块。 了解后， 根据官网架构图去了解每个模块作用， 以及每个模块在架构图中的层次。了解清楚后开始下展， 展开src下的java/scala层级，这时又是一个最顶层的package列表， 它展示了这个模块下主要c...
2019-12-01 15:27:00
115
原创 fastDFS
FastDFS安装及简介简介FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Stora...
2019-12-01 15:25:56
241
原创 lombok
Lombok概念Lombok 是一种 Java实用工具，可用来帮助开发人员消除Java的冗长，尤其是对于简单的Java对象(POJO), 它通过注释实现这一目的。一个标准的Java bean 一般具有若干属性，每个属性具有getter()和setter()方法，Lombok中也用到了注解，但是它并没有用到反射，而是通过一些奇技淫巧，在代码编译时期动态将注解替换为具体的代码。所以JVM实际运行的...
2019-12-01 15:25:15
133
原创 goHttp库相关
辅助库github.com/julienschmidt/httprouternet/httpnet/http 官方库net/http 库为 Golang 内置的处理 HTTP 请求的库，可以比较方便的开发一个 HTTP 服务。客户端例子（ 通过 Get， Head， Post， PostForm 发送请求 ）：package mainimport ( "fmt" "i...
2019-12-01 15:24:02
157
原创 GO 协程
协程进程， 线程， 协程概念进程:概念: 资源分配的基本单位通信: 进程之间的通信只能通过进程通信的方式进行多进程: 拷贝，使用fork()，生成子进程。每个进程拥有独立的地址空间（代码段、堆栈段、数据段）线程:概念: 调度运行的最小单位通信: 同一进程中的线程共享数据（比如全局变量，静态变量）多线程: 同一个进程中的线程，它们之间共享大部分数据，使用相同的地址空间...
2019-12-01 15:23:26
217
原创 JWT(JSON Web Tokens)
JSON Web Tokens概念 JWT是个开放的定义了一种紧凑且自包含的方式, 用于在各方之间作为JSON对象安全地传输信息的开放标准.什么时候使用JWTAuthorization(登录授权): 一旦用户登录，每个后续请求将包括JWT, 从而允许用户访问该令牌允许的域名, 服务和资源(route, services, resource), 普遍用于SSO(单点登录)信息交换: J...
2019-12-01 15:22:47
118
原创 Docker Nginx 反向代理
Docker Nginx 反向代理1.创建Nginx和要被反向代理的服务Nginx对应宿主机8080端口, 将conf.d文件夹挂载到宿主机docker run -d \--name nginx_80 \-p 8080:80 \-v /root/nginx_80/conf.d:/etc/nginx/conf.d \nginx如果有需要,可以把Nginx以下文件夹都挂载到宿主机...
2019-11-24 12:35:43
419
原创 Java
Java基础数据类型自动装箱Integer x = 2; // 装箱 调用了 Integer.valueOf(2)int y = x; // 拆箱 调用了 X.intValue()缓存池new Integer(123) 与 Integer.valueOf(123) 的区别在于：new Integer(123) 每次都会新建一个对象；Integer.val...
2019-11-24 12:33:50
223
原创 REST API
REST APIGET -> 查（Read)Post -> 增（Create）Put -> 改(update)Delete -> 删(Delete)API设计用户创建用户:URL:/userMethod:Post ,SC: 201(created), 400(bad request), 500(inside error)用户登录:URL:/...
2019-11-24 12:32:14
96
原创 使用jwt生成token
使用jwt生成tokenJWT是什么Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信...
2019-11-24 12:31:35
321
原创 goHttp库相关
goHttp库辅助库github.com/julienschmidt/httprouternet/httpUUID通用唯一识别码（英语：Universally Unique Identifier，缩写：UUID）是用于计算机体系中以识别信息数目的一个128位标识符，还有相关的术语：全局唯一标识符（GUID）。根据标准方法生成，不依赖中央机构的注册和分配，UUID具有唯一性，这与其他大多...
2019-11-24 12:29:18
110
原创 go基础
go基础变量与类型放函数内或包内var $variable type 可以以这种方式命名var $variable 也可以这样命名var() 可批量定义:=也可以用于变量定义（只可在函数内使用）多重赋值: i,j = j, i 等于 t = i; i = j ;j = t ;强制类型转换<结果类型> := <目标类型>(<表达式>)var ...
2019-11-22 11:13:10
125
原创 快速入门scala
在这里插入代码片# Scala快速入门概述开发: Spark Kafka Flink安装jdk8IDEA上安装Scala添加国内镜像~/.sbt/repositories[repositories] local aliyun: https://maven.aliyun.com/nexus/content/groups/public/ central: https:/...
2019-11-22 11:11:43
254
原创 分类算法
分类算法转换器和预估器转换器(Transformer):特征工程的接口实例化调用fit_transform: == fit + transformfit:求统计量transform: 将统计量应用在数据上, 进行转换估计器(实现了算法的api)模型评估(estimator)1. 实例化 2. 模型评估 estimator.fit(x_train, y_train)...
2019-11-22 11:07:09
70
原创 资源调度框架YARN
资源调度框架YARN作用不同计算框架可以共享同一个HDFS集群上的数据, 享受整体的资源调度通用的资源管理系统为上层应用提供统一资源调度架构1) ResourceManager: RM 整个集群同一时间提供服务的RM只有一个, 负责集群资源的统一管理和调度 处理客户端的请求 监视NM, 一旦某个Nm挂了, 那么该NM上运行的任务需要告诉AM来如何进行处理2) NodeM...
2019-11-22 11:05:42
82
原创 Spark
Spark编译源码使用maven编译安装好java8, maven3.5.4以上版本可选: 设置maven所使用的内存export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"编译为一个即拆即用的压缩包./dev/make-distribution.sh --name custom-spark --tgz ...
2019-11-22 11:05:24
78
原创 MapReduce
分布式处理框架MapReduce概述Hadoop MapReduce是Google MapReduce的克隆版优点: 海量数据离线处理&易开发&易运行缺点: 无法实时流式计算核心概念Spilit: 交由MapReduce作业来处理的数据库, 是MapReduce中最小的计算单元一般HDFS: blocksize和Spilit是一一对应的InputForm...
2019-11-22 11:04:33
93
原创 Hadoop基础知识
Hadoop 基础知识MapReduce和传统关系型数据库比较数据大小 PB GB数据存取 批处理 交互式和批处理更新 一次写入, 多次读取 多次读/写事物 无 ...
2019-11-22 11:02:55
102
原创 Hive
大数据数据仓库Hive概述由FaceBook开源, 最初用于解决海量结构化日志数据统计问题构建在Hadoop之上的数据仓库Hive定义了一种类SQL查询语言:HQL通常用于进行离线数据处理(MapReduce)底层支持多种不同的执行引擎(MapReduce, Tez, Spark)支持多种不同压缩格式, 存储格式和自定义函数压缩:GZIP, LZP, Snappy, BZIP...
2019-11-22 11:00:43
73
原创 用户日志分析
用户行为日志概念:用户每次访问网站时所有的行为数据(访问, 浏览, 搜索, 点击)**用户行为轨迹, 流量日志意义网站的眼睛网站的神经(网页布局等)网站的大脑日志数据内容(可用nginx进行配置获取)访问的系统属性: 操作系统, 浏览器等访问特征: 点击的url, 从哪个url跳转过来的, 页面上停留时间访问信息: session_id, 访问ip(访问城市)等数据...
2019-11-22 10:57:19
620
原创 SklearnAPI
Scikit-learnAPI数据集通过其提供的api获取获取数据集小数据sklearn.datasets.load_*(数据集名)大规模数据Sklearn.datasets.fetch_*特征抽取字典特征提取sklearn.feature_extraction.DictVectorizer文本特征提取sklearn.feature_extraction.tex...
2019-11-22 10:56:18
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人