10 冰上浮云

尚未进行身份认证

JAVA程序员,现在从从事大数据平台开发工作,关注大数据&人工智能,希望在编程的路上结交各路英豪。

等级
TA的排名 3k+

Flink数据流编程模型

抽象层次Flink提供了不同层次的抽象给批/流编程模型使用。[外链图片转存失败(img-dO9iJvNu-1566143383239)(https://github.com/clj198606061111/image/blob/master/flink/levels_of_abstractic.png?raw=true)]最底层的抽象是状态流(statefulstreaming),它通...

2019-08-18 23:50:32

Flink安装部署-window 本地部署

flink可以运行在Linux,MacOSX,andWindows操作系统上面。要运行Flink得先安装JDK8.X。JDK安装参看:http://www.itclj.com/blog/5920236681c06e672f942ad4下载官网下载地址:https://flink.apache.org/zh/downloads.htmlGIThub源码下载地址:https:...

2019-08-17 15:56:06

Flink应用场景

ApacheFlink功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。事实证明,Flink已经可以扩展到数千核心,其状态可以...

2019-08-17 14:11:07

Linux Netcat 命令——网络工具中的瑞士军刀

netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向,你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。netcat所做的就是在两台电脑之间建立链接并返回两个数据流,在这之后所能做的事就看你的想像力了。你能建立一个服务器,传输文件,与朋友聊天,传输流媒体或者用它作为其它协议的独立客户端。下面是一些使用netcat的例子...

2019-08-04 22:17:44

vue g6 hello world

在下当前所在项目需要弄一个流程图,前端框架用的vue,所以研究一下g6在vue下的使用。g6介绍G6是蚂蚁金服旗下一个开源图可视化框架。它提供了一套图可视化的基础设置,能帮助开发者搭建属于自己的图图分析应用或是图编辑器应用。个人感觉这个图可视化框架比GoJS更优秀更好用些。项目地址:https://github.com/antvis/g6准备通过npm安装npmin...

2019-06-04 07:56:21

[anaconda]jupyter notebook 安装配置

背景现在在公司大数据平台部从事大数据基础组件开发工作,所需要涉及的知识面非常广,其中人工智能也是后续大数据基础平台建设的重要部分,于是就花了几千块报了个人工智能的课程。这个课程有一些前置基础课程,python就是其基础课程的一门。开始学习python,教学环境用的anaconda里面的jupyternotebook,为了使自己的学习和教程有一个相同的环境,也安装了一下anaconda,方便以后...

2019-03-26 17:42:16

数据治理之元数据管理实践

引言数字转型对不同的人意味着不同的东西,这取决于你的行业和你的业务性质。然而,所有的解释都有一个共同的主线,数据和数据治理的重要性。近年来,大家都在谈论数据逐步或已经成为企业的核心资产,数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用,那么作为企业的核心资产数据,如何进行管理是不同企业在进行全面数字化转型需要考虑的一个重要事情。关于元数据概念的文章网上有不少,本文主要探讨一般的企业...

2019-03-02 16:04:44

数据质量监控工具-Apache Griffin

一、概述随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,数据的唯一性、完整性、一致性等等校验就开始受到关注,而通常做法是根据业务特点,额外开发job如报表或者检查任务,这样会比较费时费力。目前遇到的表大部分在几亿到几十亿的数据量之间,并且报表数量在...

2019-02-02 07:45:13

PyCharm 配置 Apache HUE 开发环境

ApacheHUE是一个操作hadoop生态各组件及组件管理的数据的集大成工具,其底层的web框架是pythonDjango。现分享下如何基于Pycharm来搭建ApacheHUE的开发环境。需要注意的是,目前HUE只支持Linux环境安装编译,需要在Windows调试只能采用远程调试,或者在Linux的桌面环境下调试。首先,去github把hue源码拉下来,通过mak...

2018-12-24 21:56:17

HUE4.3安装配置

HUE简介Hue是一个开源的ApacheHadoopUI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduceJob,执行Hive的SQL语...

2018-12-23 00:08:33

Thrift方式连接hiveServer2+Kerberos

最近在做一个大数据查询平台,后端引擎有部分用了hive,通过thrift的方式连接hiveServer2,由于集群加了kerberos,所以实现thrift连接hiveServer2的时候需要加上kerberos认证。网上查了很多文章,写的thrift连接hive都没有kerberos,分享一下,以供需要通过thrift连接hiveService2并需要开启Kerberos认证的同学一个参考,以便...

2018-12-09 15:40:26

Redis 5 集群搭建

实验环境在VMware中准备3个虚拟机,每个虚拟机部署2个redis,一主一从,实现一个总的3主3从的redis集群,主节点端口设置为7001,从节点设置为7002。redis服务使用单独的redis用户和用户组启动。所有文件都在/home/redis目录下。OS:CentOS-7-x86_64-Minimal-1804redis:redis-5.0.0安装配置集群规划19...

2018-11-14 23:26:08

javascript 三种变量申明方式var、let、const

javascript三种变量申明方式var、let、constvar申明了一个要么是全局,要么是函数级的变量;这种是我们最常见也是最常用的。描述:变量声明无论出现在代码的任何位置,都会在任何代码执行之前处理。给一个非声明变量赋值会隐式创建一个全局变量(全局object的一个属性)。如果不初始化,输出undefined或者’’。varhttps;console.log(htt...

2018-10-14 16:08:08

spring-boot整合shiro

概述权限体系在现代任何IT系统中都是很基础但又非常重要的部分,无论是传统MIS系统还是互联网系统,出于保护业务数据和应用自身的安全,都会设计自己的授权鉴权策略。最近项目中也需要用到权限验证功能,项目为spring-boot工程,现成的权限验证框架有shiro和spring-security,shiro相对spring-security来说学习难度要低一点,也是老牌成熟的产品,因此选择shiro...

2018-10-06 02:30:27

Orientdb基本操作

建模1、模型定义-销售数据库(saledb)顶点继承自属性人(Person) 姓名(name)性别(sex)出生日期(birthday)员工(Employee)V、Person工号(workerNo)客户(Customer)V、Person...

2018-09-02 12:32:43

【JanusGraph】第十一章:使用索引提升性能

11.使用索引提升性能Chapter11.IndexingforBetterPerformanceJanusGraph支持2种类型的索引用以提升查询处理速度,分别是图索引(graphindexes)和中心节点索引(vertex-centricindexes)。大多数图查询都是从它们的属性标识的顶点或边的列表开始遍历的。图索引使在大图中进行全局检索的时候变得非常高效。...

2018-09-02 11:09:12

【JanusGraph】第八章:系统部署方案

第八章:系统部署型态Chapter8.DeploymentScenariosJanusGraph提供多种后端存储和后端索引,使其能够更灵活的部署。本章介绍了几种可能的部署场景,以帮助解决这种灵活性带来的复杂性。在讨论部署场景之前,理解JanusGraph本身的角色定位和后端存储的角色定位是非常重要的。首先,应用程序与JanusGraph进行交互大多数情况下都是进行Grem...

2018-08-24 00:19:55

【JanusGraph】第七章:JanusGraph服务

第七章:JanusGraph服务Chapter7.JanusGraphServerJanusGraph使用GremlinServer作为服务组件对客户端请求进行请求处理响应。当JanusGraph打包的时候,GremlinServer就被称为JanusGraph服务。JanusGraph使用前必须手动启动,JanusGraph服务提供了一种在一个或多个JanusGra...

2018-08-21 22:51:25

【JanusGraph】第五章:数据库建模

第五章:数据模型Chapter5.SchemaandDataModeling每个JanusGraph图都是由边标签(edgelabel)、属性key、顶点标签(vertexlabel)构成。JanusGraph图模型(schema)可以显示定义也可以隐示定义。在实际应用开发过程中图模型定义是强烈建议采用显示定义的。一个显示的图模型定义对构建一个稳定的图应用非常重要并且...

2018-08-18 00:03:49

Neo4j安装

实验环境实验环境:Win10下vmware虚拟机操作系统:CentOS-7-x86_64-Minimal-1804JDK:jdk-8u131-linux-x64安装neo4j安装非常简单,安装好jdk后,把neo4j程序包解压出来修改一个配置,启动即可。安装JDK在/usr目录下建立目录/javacd/usrmkdirjava把JDK安装包上...

2018-08-15 23:54:21

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。