程序了个猴-CSDN博客

原创 Kudu 学习 - 第三篇配置规划

一、Kudu 与 Hadoop 集群Kudu 很多情况下会被安装在现有的 Hadoop 集群上尽管 Kudu 本身对 Hadoop 的任何其他组件没有依赖性，但 Kudu 几乎总是和 Impala 一起使用。Impala 依赖于 Hive，而 Hive 依赖于 HDFS，也就是说，如果要将 Kudu 和 Impala 放在一起使用，还要配上 Hive 和 HDFS。不过只要能正确配置好环境，K...

2020-04-22 14:56:53 987

原创 Kudu 学习 - 第二篇安装

一、安装方式目前主要有 5 种方式来安装和使用 Kdudu：使用 Kudu Quickstart VM（Kudu 快速入门虚拟机）在已有集群上使用 Cloudera Manager 自动安装使用软件包手动安装从源码构建使用 Cloudera Quickstart VM（Cloudera 快速入门虚拟机）查看最新的安装选项信息，前往 Kudu 官网：http://kudu.apac...

2020-04-22 14:55:03 925

原创 Kudu 学习 - 第一篇 Kudu 简介

一、为什么会有 Kudu要在 Hadoop 生态系统中实现数据的快速输入和快速分析，一直以来只有少数可用但是不够完美的解决方案。它们要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实现快速的数据输入。Apache Kudu 就是为对快速输入的数据进行快速的分析而生。Kudu 的重要性在于：大数据分析的复杂性往往是存储系统的局限性带来的，Kudu 的局限性小很多，一定程度使大...

2020-04-22 14:54:28 1266

原创 Flink 各层 API 的用法支持

DataSet APISource - 数据来源InputFormatCRowValuesInputFormatCollectionInputFormatCsvInputFormatIteratorInputFormatJDBCInputFormatParallelIteratorInputFormatPojoCsvInputFormatPrimitiveInputForma...

2020-04-22 14:52:09 728

原创 Flink学习第一篇本机部署运行

一、环境准备jdk 1.8maven 3.0 +git 客户端二、获取源码在准备存放源码工程的工作目录执行以下命令git clone https://github.com/apache/flink.git三、执行编译cd flinkmvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.sk...

2020-04-22 14:51:32 234

原创 Docker学习-第七篇 IDEA 远程部署 springcloud 到 Docker

一、IDEA 安装 Docker 插件1. 插件下载与安装Files> Settings> Plugins，搜索“ docker ”，选择 Docker integration 安装。2. 重启 IDEA 后打开 Settings 查看 Docker 并新建连接在“ Connect to Docker daemon with: ”中勾选选项“ TCP socket ”，在“ E...

2020-04-22 11:49:28 361

原创 Docker学习-第六篇在 Docker 中部署 Springboot 项目（Windows）

一、创建springboot项目创建一个 springboot 工程 spring-boot-dockerpom.xml<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spr...

2020-04-22 11:45:12 262

原创 Docker学习-第五篇 Docker 基本操作命令

2020-04-22 11:42:57 123

原创 Docker学习-第四篇 Hello World 示例

一、运行 Docker 镜像 hello-world在 CLI 客户端输入以下命令docker run hello-world控制台输出Unable to find image 'hello-world:latest' locallylatest: Pulling from library/hello-worldca4f61b1923c: Pull completeDigest: ...

2020-04-22 11:41:54 208

原创 Docker学习-第三篇 Windows下安装Docker

一、Windows10 系统下的安装安装 Docker Desktop for Windows 桌面应用程序1. 双击 Docker Desktop Installer.exe 以运行安装程序如尚未下载安装程序（Docker Desktop Installer.exe），则可以从 Docker Hub 获取它。2. 按照安装向导接受许可，授权安装程序，然后继续安装Docker.app 系...

2020-04-22 11:40:32 167

原创 Docker学习-第二篇基本概念与原理

一、Docker 简介Docker 属于 Linux 容器的一种封装，提供简单易用的容器使用接口。它是目前最流行的 Linux 容器解决方案。使用 Linux 容器部署应用程序称为容器化，而 Linux 容器是 Linux 发展出的另一种虚拟化技术，简单来讲， Linux 容器不是模拟一个完整的操作系统，而是对进程进行隔离，相当于是在正常进程的外面套了一个保护层。对于容器里面的进程来说，它接触...

2020-04-22 11:37:08 188

原创 Docker学习-第一篇学习路线

一、Docker 学习路线1. Docker 基本概念与原理2. Windows 下安装 Docker3. Docker Hello World4. Docker 基本操作命令5. 在 Docker 中部署 Springboot 项目6. 在 Linux 下搭建 Docker 环境7. IDEA 远程部署 springboot 到 Docker...

2020-04-22 11:35:39 317

原创 Kafka学习-第五篇用Java编写Kafka样例程序

1. maven依赖引入kafka的客户端支持pom.xml  <dependency> <groupId>org.apache.kafka</groupId> &lt...

2020-04-22 09:29:20 250

原创 Kafka学习-第四篇 Kafka基本操作命令

1. 创建topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic12. 查看已经创建的topic信息bin/kafka-topics.sh --list --zookeeper localhost:21813....

2020-04-21 11:40:35 418

原创 Kafka学习-第三篇 Kafka集群安装与启动

1. 下载下载地址：http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/2. 安装前提zookeeper安装。3. 安装此处使用版本为kafka_2.11-0.8.2.0.tgz3.1 上传解压缩tar -zxvf kafka_2.11-0.8.2.0.tgz -C appscd app...

2020-04-21 11:21:34 132

原创 Kafka学习-第二篇基础概念

1. 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方...

2020-04-21 11:19:05 180

原创 Kafka学习-第一篇学习路线

1. 准备知识消息队列的工作原理与应用场景2. 正式学习2.1 kafka基础概念与架构2.2 kafka单机安装与启动2.3 kafka基本操作命令学习2.4 掌握一种kafka支持的客户端并编写样例程序2.5 掌握一种kafka监控工具的使用2.6 学习kafka集群的搭建、配置与调优...

2020-04-21 11:18:08 404

原创 RabbitMQ学习-第九篇 RabbitMQ常用指令

一.服务启动与关闭rabbitmq启动方式有2种1、以应用方式启动后台启动rabbitmq-server -detached直接启动，如果你关闭窗口或者需要在改窗口使用其他命令时应用就会停止rabbitmq-server 关闭整个节点（包括应用）rabbitmqctl stop怎样仅仅关闭应用而不关闭整个节点呢：因为rabbitmq-server一起启动了节点和应用，它预...

2020-04-21 11:15:24 178

原创 RabbitMQ学习-第八篇 RabbitMQ三种Exchange模式性能比较

RabbitMQ中，所有生产者提交的消息都由Exchange来接受，然后Exchange按照特定的策略转发到Queue进行存储。RabbitMQ提供了四种Exchange：fanout,direct,topic,header。header模式在实际使用中较少，本文只对前三种模式进行比较。性能排序：fanout > direct > topic。比例大约为11：10：6一.Dir...

2020-04-21 11:13:37 532

原创 RabbitMQ学习-第七篇 RCP(远程过程调用协议)

之前学习了怎么去使用work queue来把比较耗时的任务分散给多个worker。但是，如果我们想在远程的机器上的一个函数并等待它返回结果，我们应该怎么办呢？这就是另外一种模式了，它被称为RPC（Remote procedure call）。本中我们来实现怎么用RabbitMQ来构建一个RPC系统：一个client(客户端)和一个可扩展的RPC server（服务端）。这里我们来模拟一个返回斐...

2020-04-21 11:12:04 342

原创 RabbitMQ学习-第六篇 Topic类型的exchange

在上篇中，我们对之前的日志系统做了稍许的完善。没有使用fanout类型的exchange来广播，而是使用了direct类型的exchange来选择性的接收日志消息。尽管使用了direct类型的exchange对日志系统有所提升，但还是有一些限制（消息不能够基于多重因素来路由）。在我们的日志系统中，希望不仅仅能够根据日志级别来订阅，还可以根据指定的routing key来订阅。你应该可以理解的，...

2020-04-21 10:14:26 395

原创 RabbitMQ学习-第五篇路由Routing

上一篇中我们构建了一个简单的日志系统，我们可以把日志消息广播给多个接受者。这篇中我们将来添加一个特性只接收部分消息。例如我只将一些错误log存到文件中，把所有的log都打印到控制台里。1、绑定（Bindings）在上篇中，我们已经创建了一个binding，代码如下：channel.queueBind(queueName, EXCHANGE_NAME, "");一个binding就是ex...

2020-04-21 10:13:23 130

原创 RabbitMQ学习-第四篇发布Publish 订阅Subscribe

上篇中我们实现了Work Queue的创建，在Work Queue背后，其实是rabbitMQ把每条任务消息只发给一个消费者。本篇中我们将要研究如何把一条消息推送给多个消费者，这种模式被称为publish/subscribe（发布/订阅）。为了说明这个模式，我们将会构建一个简单的日志系统。这将会包含两部分程序，第一个是发送日志信息，第二个将会接收并打印它们。在我们的日志系统里，每个运行的消费者...

2020-04-21 10:12:31 182

原创 RabbitMQ学习-第三篇工作队列Work Queue

上篇中实现了程序来从一个已经命名的队列里发送和接收消息。本篇将要创建工作队列用来把一些比较耗时的任务分配给多个worker。工作队列的主要思想就是避开立刻处理某个资源消耗交大的任务并且需要等待它执行完成。取而代之的是我们可以将它加入计划列表，并在后边执行这些任务。我们将任务分装成一个消息，并发送到队列中。后台的工作程序在接收到消息后将会立刻执行任务。当运行多个执行器时，任务将会在他们之间共享。...

2020-04-21 10:10:34 146

原创 RabbitMQ学习-第二篇快速入门HelloWorld

1. 相关概念RabbitMQ是一个消息代理，事实上，它接收生产者产生的消息，然后将消息传递给消费者。在这个过程中，它可以路由，可以缓冲，或者更具你设定的规则来将消息持久化。RabbitMQ和消息传输过程中一般会用一些术语：生产者（Producing）：意思无非是指发送消息的那一端，如果一个程序发送消息，那么它就将被称为生产者，这里用大写的P来表示。队列（queue）：相当于邮箱...

2020-04-21 10:04:04 164

原创 RabbitMQ学习-第一篇理论基础

1. 定义消息队列：在消息的传输过程中保存消息的的容器。这是一个较为经典的消费-生产者模型，说起来比较抽象，打个比方：A线程需要给B线程发送消息（A、B线程不一定是在同一台机器上的），A线程先把消息发送到消息队列服务器上，然后B线程去读取或是订阅消息服务器上消息队列中的消息，线程A和B之间并没有进行直接通信。MQ服务器在中间起到中继的作用。2. 适用场景比较适合异步传输。异步：发送方不关...

2020-04-21 10:01:38 127

原创使用awk分析nginx访问日志access.log

1. awk简介awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要...

2020-04-21 09:52:50 1525

原创配置nginx访问日志access.log

1. access_logNginx会把每个用户访问信息记录到指定的日志文件里，供网站管理员分析用户浏览行为等，此功能又 ngx_http_log_module 模块负责。2. 参数配置Nginx访问日志的参数在配置文件nginx.conf中进行设定。log_format：用来定义记录日志的格式（可以定义多种日志格式，取不同名字即可）。access_log：用来指定日至文件的路径及使用的...

2020-04-21 09:51:58 4755

原创 FastDFS的工作机制及优劣分析

一、FastDFS简介FastDFS是一款开源的轻量级分布式文件系统，最早在ali，为易道用车架构师余庆所写。它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。FastDFS为互联网应用量身定做，追求高性能和高扩展性，更适合称作应用级的分布式文件存储服务。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，通用性较低。在语言支持方面，目前提供了C、java、...

2020-04-21 09:38:02 2856

原创 MooseFS的工作机制及优劣分析

一、MooseFS简介MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。对于访问的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样。从其对文件操作的情况看，MooseFS就相当于一个类UNIX文件系统。二、MooseFS架构中的四种角色管理服务器（Master Server）：也称为...

2020-04-21 09:36:38 2059

原创分布式文件系统对比与选型参考

一、分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机...

2020-04-21 09:34:59 6648

翻译译文：使用MVC5的Entity Framework 6入门（十二）——为ASP.NET MVC应用程序使用高级功能

为ASP.NET MVC应用程序使用高级功能这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第十二篇：为ASP.NET MVC应用程序使用高级功能

2017-04-08 14:40:58 2542

翻译译文：使用MVC5的Entity Framework 6入门（十一）——为ASP.NET MVC应用程序实现继承

为ASP.NET MVC应用程序使用异步及存储过程这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第十一篇：为ASP.NET MVC应用程序实现继承

2017-04-06 22:47:01 1039

翻译译文：使用MVC5的Entity Framework 6入门（十）——为ASP.NET MVC应用程序处理并发

为ASP.NET MVC应用程序使用异步及存储过程这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第十篇：为ASP.NET MVC应用程序处理并发

2017-04-06 21:43:37 1127

翻译译文：使用MVC5的Entity Framework 6入门（九）——为ASP.NET MVC应用程序使用异步及存储过程

为ASP.NET MVC应用程序使用异步及存储过程这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第九篇：为ASP.NET MVC应用程序使用异步及存储过程

2016-11-11 15:29:14 1553

翻译译文：使用MVC5的Entity Framework 6入门（八）——为ASP.NET MVC应用程序更新相关数据

为ASP.NET MVC应用程序读取相关数据这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第八篇：为ASP.NET MVC应用程序更新相关数据

2016-11-10 18:09:41 1114

翻译译文：使用MVC5的Entity Framework 6入门（七）——为ASP.NET MVC应用程序读取相关数据

为ASP.NET MVC应用程序读取相关数据这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第七篇：为ASP.NET MVC应用程序读取相关数据

2016-11-10 11:06:33 1220

翻译译文：使用MVC5的Entity Framework 6入门（六）——为ASP.NET MVC应用程序创建更复杂的数据模型

MVC程序中实体框架的连接恢复和命令拦截这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第六篇：为ASP.NET MVC应用程序创建更复杂的数据模型

2016-11-04 22:23:04 1534

翻译译文：使用MVC5的Entity Framework 6入门（五）——MVC程序中实体框架的Code First迁移和部署

MVC程序中实体框架的Code First迁移和部署这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，里是第五篇：MVC程序中实体框架的Code First迁移和部署

2016-10-29 17:49:29 1238

翻译译文：使用MVC5的Entity Framework 6入门（四）——MVC程序中实体框架的连接恢复和命令拦截

MVC程序中实体框架的连接恢复和命令拦截这是微软官方教程Getting Started with Entity Framework 6 Code First using MVC 5 系列的翻译，这里是第四篇：MVC程序中实体框架的连接恢复和命令拦截

2016-10-27 23:12:10 1373

空空如也

空空如也