每天进步一点点

转载 IDEA：Error:java: Compilation failed: internal java compiler error 解决办法

报错信息：报错原因：项目中Java版本不一致，可以查看项目中的jdk配置1、查看项目的jdk（Ctrl+Alt+shift+S）File ->Project Structure->Project Settings ->Project2、查看工程的jdk（Ctrl+Alt+shift+S）File ->Project Structure->Project...

转载 Spark Streaming + Kafka 入门实例

初学Spark Streaming和Kafka，直接从网上找个例子入门，大致的流程：有日志数据源源不断地进入kafka，我们用一个spark streaming程序从kafka中消费日志数据，这些日志是一个字符串，然后将这些字符串用空格分割开，实时计算每一个单词出现的次数。 部署安装zookeeper：1、官网下载zookeeper：http://mirror.metrocast.ne...

原创 9.docker常用命令&&学习网站&&常用软件的安装

以下是此页面上的基本 Docker 命令列表，以及一些相关命令（如果您要在继续之前进行进一步探索）。docker build -t friendlyname .# 使用此目录的 Dockerfile 创建镜像docker run -p 4000:80 friendlyname # 运行端口 4000 到 90 的“友好名称”映射docker run -d -p 4000:80 frie...

转载 8.docker使用问题总结

docker使用问题总结1. docker报【Error response from daemon: Error running DeviceCreate (createSnapDevice) dm_task_run failed】错解决办法：# systemctl stop docker.service# thin_check /var/lib/docker/devicemapp...

转载 7.6附：Oracle 在 多个Virtualbox 虚拟机间 跨不同物理宿主机进行通信

因为单位网络管理的原因，不太方便使用 Virtualbox 的Bridge Adapter 模式，故此欲采用NAT模式，不对外不暴露虚拟机IP。但是此时会有一个问题：采用NAT模式后，在通常情况下，从外面看，或者从物理机来看，此虚拟机是不可见的。 此时，可通过端口转发，来使得外部机器和此物理机进行通讯。 设置方法如下：1 先测试 两台物理机是否能够ping通。例如 ...

转载 7.5附：VirtualBox 安装 Centos 7 笔记

VirtualBox 安装 Centos 7 笔记使用最新的版本总是要折腾半天，也给人带来许多新玩意。因为偶尔使用Linux，就需要使用虚拟机（虽然有点慢）。装ubuntu似乎out了，改用Centos 7 吧！Contos 7 安装，网络部分与以往不一样，需要特别注意！材料准备Oracle VirtualBox 5.0.xx 官网下载 Centos 7 官网选 Torrent 国内...

转载 7.4附：centos 7 安装 Docker

CentOS 7 安装 Docker这里介绍 ContOS 7 的安装 docker V1.2+，包括阿里云加速 docker 镜像下载的设置，这对提升使用 docker 体验至关重要。其他系统安装或升级请查官方手册。1、安装 Docker 引擎docker 官方安装手册很详细，这时仅是 CentOS 主要的核心内容1。1. 更新配置sudo yum update2. 添...

转载 7.3附：docker 集群网络规划与 VM 网络配置

docker 集群网络规划与 VM 网络配置【摘要】使用 K8s（Kubernetes）或 docker swarm 都需要 pc 或 vm 的集群，网络规划是开始工作的第一步。本文目标是在单机上使用 VirtualBox 创建 CentOS 7 服务器集群，特别是网络配置的基本知识，以及安装 CentOS 服务器。 docker 集群网络规划与 VM 网络配置 1机器要求 2...

转载 7.2docker官网入门-Docker Swarm 集群（下）---最重要

Docker Swarm 集群（1）容器与应用： 讲述 centos docker的安装，仓库、镜像、容器、服务的概念， dockerfile，compose 文件，容器管理图形界面，以单机操作为主线。（2）Docker Swarm 集群：讲述集群（cluster）manager，worker，node 的概念与应用在集群部署。重点讲述容器网络、存储管理、集群管理、服务发现等知识。1...

转载 7.1docker官网入门-容器与应用（上）---最重要

容器与应用（1）容器与应用： 讲述 centos docker的安装，仓库、镜像、容器、服务的概念， dockerfile，compose 文件，容器管理图形界面，以单机操作为主线。（2）Docker Swarm 集群：讲述集群（cluster）manager，worker，node 的概念与应用在集群部署。重点讲述容器网络、存储管理、集群管理、服务发现等知识。1、环境与网络准备...

转载 4.11docker基础详细版--服务compose

docker compose用法什么是composeCompose是一个定义和管理多容器的工具，使用Python语言编写。使用Compose配置文件描述多个容器应用的架构，比如使用什么镜像、数据卷、网络、映射端口等；然后一条命令管理所有服务，比如启动、停止、重启等。安装composecurl -L https://github.com/docker/compose/release...

原创 5.Docker小练习：下载含有python环境的 image，并且安装jupyter notebook，最终可以在页面上进行python开发

需求：下载含有python环境的 image，并且安装jupyter notebook，最终可以在页面上进行python开发（基于centos）1.因为镜像库默认是国外的源，下载很慢甚至会失败，所以我们配置成国内的源# vi /etc/docker/daemon.json{"registry-mirrors": [ "http://hub-mirror.c.163.com"]...

转载 4.10docker基础详细版--docker网络模式

网络模式bridge默认网络，Docker启动后默认创建一个docker0网桥，默认创建的容器也是添加到这个网桥中。host容器不会获得一个独立的network namespace，而是与宿主机共用一个。在容器中使用ifconfig查看网络发现显示的是宿主机的网络none获取独立的network namespace，但不为容器进行任何网络配置，之后用户可以自己进行配...

转载 3.docker基础（浓缩版）

（一）Docker Hello WorldDocker 允许你在容器内运行应用程序， 使用 docker run 命令来在容器内运行一个应用程序。输出Hello worldrunoob@runoob:~$ docker run ubuntu:15.10 /bin/echo "Hello world"Hello world各个参数解析： docker: Docker 的...

转载 1.Docker和虚拟机的区别

　　这是docker官网的图,可以看到虚拟化技术通过Hypervisor(虚拟机管理系统)为每个app启动一个Guest OS(客户机操作系统),也就是为每个app启动一个虚拟机。比较直观地说,vm通过Hypervisor对硬件资源进行虚拟化,而docker直接使用硬件资源,利用率上来看docker明显更具有优势。　　上一组从知乎上看到的图:　　　　可以看到,容器隔离的粒度更加小...

转载 pip安装及换源

背景：最近国内下载安装pip的速度异常的慢，超时情况出现！原因：默认pip的镜像下载地址链接速度慢。解决方案：通过跟换下载的镜像地址来提高速度。step1：下载pip源文件地址：https://pypi.python.org/pypi/pip下载Type为Source的包pip-9.0.1.tar.gzstep2: 解压pip-9.0.1.tar.gz包切换到pip包所在目录...

转载 初识RPC

下图列出的是关于RPC涉及的相关技术。 什么是RPCRPC 全称 Remote Procedure Call——远程过程调用。在学校学编程，我们写一个函数都是在本地调用就行了。但是在互联网公司，服务都是部署在不同服务器上的分布式系统，如何调用呢？RPC技术简单说就是为了解决远程调用服务的一种技术，使得调用者像调用本地服务一样方便透明。下图是客户端调用远端服务的过程： ...

转载 6.Portainer容器管理工具

一、什么是Portainer？Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。二、下载Portainer镜像环境用的还是上篇的环境，在...

转载 4.9docker基础详细版--镜像仓库:上传与下载镜像

搭建私有镜像仓库当使用docker pull下载一个镜像的时候，实际是从docker hub网站下载镜像。Docker Hub作为Docker默认官方公共镜像；如果想自己搭建私有镜像仓库，官方也提供registry镜像，使得搭建私有仓库非常简单。下载registry镜像并启动docker pull registrydocker run -d -v /opt/registry:/v...

转载 4.8docker基础详细版--管理应用程序数据

方式 volumes：Docker管理宿主机文件系统的一部分（/var/lib/docker/volumes）。 bind mounts：可以存储在宿主机系统的任意位置。 tmpfs：挂载存储在宿主机系统的内存中，而不会写入宿主机的文件系统。 volume方式管理卷docker volume create nginx-voldocker volume ...

转载 2.Docker技术应用场景

景一：节省项目环境部署时间1.单项目打包每次部署项目到测试、生产等环境，都要部署一大堆依赖的软件、工具，而且部署期间出现问题几率很大，不经意就花费了很长时间。Docker主要理念就是环境打包部署，可在任意Docker Engine运行。前期我们只需要将每个项目环境打包到镜像，push到镜像仓库，当有需要部署这个项目时，直接pull镜像启动容器，这个项目就可以访问了！一次构建多次部署，一...

转载 4.7docker基础详细版--docker容器的互联

允许所有容器互联在同一宿主机下，docker容器通过docker网桥进行连接，默认情况下，同一宿主机下的所有容器都可以连接。但是容器的ip可能随着容器重启而变化，所以docker提供了link选项提供可靠连接。docker run --link=[CONTAINER]:[ALIAS] [IMAGE] [COMMAND]在使用这个参数时还可以为容器指定别名，以后利用别名连接容器就...

转载 4.6docker基础详细版--Dockerfile详解

Dockerfile的指令格式指令格式有两种：注释和指令注释以井号开头，后面跟上信息指令以大写的指令名开头，后面跟上参数常见的指令FROM两种形式如下： FROM <IMAGE> FROM <IMAGE>:<TAG>通过FROM指定的镜像名称必须是一个已经存在的镜像，这个镜像称之为基础镜像，必须位于第一条非注释指令MA...

转载 4.5docker基础详细版--docker镜像相关

什么是docker镜像docker镜像是使用联合加载技术实现的层叠的只读文件系统，它是容器构建的基石。docker镜像的存储位置可以通过docker info来查看：列出镜像命令：docker images [OPTIONS] [REPOSITORY] 无参数：显示所有镜像（不显示中间层） -a：显示所有镜像 -f：显示时的过滤条件 --no-...

转载 4.4docker基础详细版--在容器中部署静态网站

利用docker技术在容器中使用nginx部署一个静态网站。容器的端口映射在使用run的时候指定-p或-P来进行端口映射：-P：将为容器暴露的所有端口进行映射 eg：docker run -P -it centos /bin/bash-p：指定映射哪些容器的端口 eg：1、只指定容器端口（宿主机端口随机映射） docker run -p 80 -i...

转载 4.3docker基础详细版--docker的C/S模式及远程访问

docker C/S模式server-clientdocker的C/S模式结构可以如下图：docker 的守护进程即server端运行在宿主机上，守护进程在启动后一直在后端运行，而用户不会直接和守护进程交互，而是和docker的客户端即docker命令行接口交互，从用户接受命令传递给守护进程。守护进程接受到命令后执行并返回运行结果。server-RemoteAPI除了使用doc...

转载 4.2docker基础详细版--docker依赖的内核特性

docker依赖的内核特性docker依赖于Linux的两个内核特性：Namespaces：命名空间 Control groups（cgroups）：控制组Namespaces命名空间提供了一种系统资源的隔离，包括了文件系统、网络、进程等。docker有5种命名空间：PID：进程隔离 NET：网络管理接口 IPC：管理跨进程通信访问 MNT：管理挂载点 UTS：隔离内核...

转载 4.1docker基础详细版--1.docker初识

什么是dockerdocker是一个容器引擎，提供了一整套完整的容器解决方案。它是在2014年最火热的开源项目，基于Apache2.0开原协议，由Go语言开发。什么是容器容器其实历史比较久远，Linux上的LXC、Solaris上的Zones等都是容器的不同实现方式。容器实质上是一个运行在宿主机上的进程。只不过在这个进程启动之前进行了一些处理，让进程进入了一个全新的虚拟环境，与宿主...

转载 11.Spark性能调优之资源分配

 性能优化王道就是给更多资源！机器更多了，CPU更多了，内存更多了，性能和速度上的提升，是显而易见的。基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限；那么才是考虑...

转载 10.spark executor

spark executorExecutor是spark任务（task）的执行单元，运行在worker上，但是不等同于worker，实际上它是一组计算资源(cpu核心、memory)的集合。一个worker上的memory、cpu由多个executor共同分摊。 spark.executor.cores：顾名思义这个参数是用来指定executor的cpu内核个数，分配更多的内核意味着executo...

转载 9.spark 指定相关的参数配置 num-executor executor-memory executor-cores

num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个Spa...

转载 8.spark 体验点滴- executor 数量 和task 并行数

一.指定spark executor 数量的公式executor 数量 = spark.cores.max/spark.executor.coresspark.cores.max 是指你的spark程序需要的总核数spark.executor.cores 是指每个executor需要的核数二.指定并行的task数量spark.default.parallelism参数说明：该参数用于设置每个st...

转载 7.spark mapPartition方法与map方法的区别

rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。    两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。    假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用mapPartitions方法的话，其输入函数会只会被调用3次，...

转载 1.yarn调度器（容量调度器、公平调度器、先进先出调度器）

转载 5.kafka确保数据不丢失讨论

转载 4.Kafka Producer机制优化-提高发送消息可靠性

名称解释：Broker：负责消息的存储和转发，也可以叫消息中介节点Topic：每种消息的分类叫做主题(Topic)。Partition：每一个Topic被切分为多个Partitions。背景Producer构造Message对象时，传入key参数，当Producer发送Message，会根据key确定目标Partition，当Kafka集群中某个Partition所有存活的节点都失...

转载 2.Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念（来自学习笔记）

1.1． Kafka中topic的Partition 在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中...

转载 3.Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等（来自学习资料）

1． Kafka整体结构图Kafka名词解释和工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：可以理解为一个队列。 Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个c...

转载 1.mysql中的左连接、内连接、右连接和全连接理解

内连接(INNER JOIN)（典型的连接运算，使用像   =   或   <>   之类的比较运算符）。包括相等连接和自然连接。 内连接使用比较运算符根据每个表共有的列的值匹配两个表中的行 左连接（LEFT   JOIN   或   LEFT   OUTER   JOIN）是右左边表中的数据为基准，若左表有数据右表没有数据，否则显示左表中的数据右表中的数据显示为空 右连接（RIGHT...

转载 1.hive的行列转换

1、建表[sql] view plain copy create table if not exists temp.lateral_test  (id    string,     value string  )    ROW format delimited FIELDS TERMINATED BY ',' ;  2、插入数据[sql] view plain copy load date loc...