- 博客(61)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 1.doris编译
在编译之前，你应该具备docker基本知识，了解常用镜像命令，容器命令，v命令，maven1、doris编译官方参考连接http://doris.incubator.apache.org/master/zh-CN/installing/compilation.html此次编译采用官方推荐的docker方式编译2、下载doris镜像docker pull apachedoris/doris-dev:build-env-1.2建议老铁找个网络环境好的地方3、运行镜像docker run .
2020-12-13 20:13:12
996
2
原创 24_DockerFile保留字指令
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、FROM基础镜像，当前新镜像是基于哪个镜像的2、MAINTAINER镜像维护者的姓名.
2020-12-10 22:33:58
174
原创 23_DockerFile构建过程解析
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、dockerfile内容基础知识1：每条保留字指令都必须为大写字母且后面要跟随至少一个参.
2020-12-10 22:11:37
170
原创 11_hadoop发展历史
1、hadoop发展历史1）Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。2）2001年年底Lucene成为Apache基金会的一个子项目。3）对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢。4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。5）可以说Google是Hadoop的思想之源(Google在大数据方面的三
2020-12-09 22:03:21
343
原创 13_hadoop的优势（4高）
1、hadoop的优势（4高）1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：能够自动将失败的任务重新分配。...
2020-12-09 22:02:34
669
原创 12_hadoop三大发行版本
1、hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Apache Hadoop官网地址：http://hadoop.apache.org/releases.html下载地址：https://archive.apache.org/dist/hadoop/common/Cloudera Hadoop官网
2020-12-09 22:02:06
329
原创 10_hadoop发展历史
1、hadoop发展历史1）Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。2）2001年年底Lucene成为Apache基金会的一个子项目。3）对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢。4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。5）可以说Google是Hadoop的思想之源(Google在大数据方面的三
2020-12-09 22:01:22
607
原创 04_大数据概念
1、大数据概念大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Verac
2020-12-09 22:00:45
175
原创 20_Docker容器数据卷用DockerFile添加
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、根目录下新建mydocker文件夹并进入mkdir mydocker2、可在Doc.
2020-12-08 23:28:49
240
原创 22_Dockerfile是什么
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、Dockerfile是什么？Dockerfile是用来构建Docker镜像的构建文件，是.
2020-12-08 22:35:00
88
原创 19_Docker容器数据卷用V命令添加
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、命令docker run -it -v /宿主机绝对目录:/容器内目录 镜像名容器.
2020-12-08 22:13:12
389
原创 17_Docker镜像commit
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、docker commit提交容器副本使之成为一个新的镜像docker commit .
2020-12-08 20:57:19
135
原创 18_Docker容器数据卷介绍
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、docker容器数据卷是什么？先来看看Docker的理念：将运用与运行的环境打包形成容.
2020-12-07 23:05:43
74
原创 16_Docker镜像原理
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、docker镜像是什么？镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于.
2020-12-07 22:29:19
80
原创 15_Docker容器命令2
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、启动守护式容器docker run -d 镜像名问题：然后docker ps -a .
2020-12-07 22:06:11
75
原创 14_Docker容器命令1
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。有镜像才能创建容器，这是根本前提(下载一个CentOS镜像演示)1、新建并启动容器dock.
2020-12-06 21:38:47
71
原创 13_Docker镜像命令
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、列出本地主机上的镜像命令：docker images [OPTIONS] 镜像名字#.
2020-12-06 18:50:03
99
原创 12_Docker帮助命令
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、docker version查看docker 版本2、docker info查看d.
2020-12-06 18:00:22
94
原创 08_CentOS7安装Docker
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。以下所有操作推荐使用root账户进行操作1、安装gccyum -y install gcc.
2020-12-05 22:23:24
98
原创 03_Docker理念
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、docker的理念Docker是基于Go语言实现的云开源项目。Docker的主要目标是“B
2020-12-04 22:25:06
140
原创 02_Docker为什么会出现
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、为什么会有Docker出现总结一句话，环境和配置的问题官网介绍：Docker 是世界领先
2020-12-04 22:24:32
130
1
原创 01_学习Docker前提知识要求
将介绍Docker核心概念，是什么、能干什么、Docker整体架构，和传统虚拟机的区别。什么是容器虚拟化技术，深刻理解镜像、容器、仓库的各种概念和操作。通过该课程，能够熟练掌握Dockerfile的编写和构建并使用Dockerfile来制作复杂镜像，能够使用容器卷完成容器间数据共享和持久化工作。能够在Docker容器下进行日常软件的安装开发和工程部署，最终可以通过docker和阿里云平台完成工作的协同和发布。1、前提知识强制：熟悉Linux命令和相关背景知识建议：Git，Maven相关的知识...
2020-12-04 22:22:40
326
原创 19_分布式文档系统_深度图解剖析悲观锁与乐观锁两种并发控制方案
1、深度图解剖析悲观锁与乐观锁两种并发控制方案悲观锁乐观锁悲观锁与乐观锁1.悲观锁的优点是：方便，直接加锁，对应程序来说，透明，不需要做额外的操作，缺点，并发能力低，同一时间只能有一条线程操作数据2.乐观锁的优点是：并发能力高，不给数据加锁，大量线程并发操作，缺点，麻烦，每次更新的时候，都要先对比版本号，然后可能需要重新加载数据，再次修改，再写，这个过程，可能要重复好几次...
2020-12-04 00:21:11
61
原创 17_分布式文档系统_document的全量替换、强制创建以及lazy delete机制
课程大纲1、document的全量替换2、document的强制创建3、document的删除1、document的全量替换（1）语法与创建文档是一样的，如果document id不存在，那么就是创建；如果document id已经存在，那么就是全量替换操作，替换document的json串内容（2）document是不可变的，如果要修改document的内容，第一种方式就是全量替换，直接对document重新建立索引，替换里面所有的内容（3）es会将老的document标记为delet.
2020-11-30 22:29:14
127
原创 16_分布式文档系统_document的_source元数据以及定制返回结果解析
1、_source元数据PUT /test_index/test_type/2{ "test_field1": "test field1", "test_field2": "test field2"}查询数据，返回结果GET /test_index/test_type/1{ "_index": "test_index", "_type": "test_type", "_id": "1", "_version": 3, "found": true, "_sour
2020-11-30 22:14:17
66
原创 15_分布式文档系统_document id的手动指定与自动生成两种方式解析
课程大纲1、手动指定document id2、自动生成document id1、手动指定document id（1）根据应用情况来说，是否满足手动指定document id的前提：一般来说，是从某些其他的系统中，导入一些数据到es时，会采取这种方式，就是使用系统中已有数据的唯一标识，作为es中document的id。举个例子，比如说，我们现在在开发一个电商网站，做搜索功能，或者是OA系统，做员工检索功能。这个时候，数据首先会在网站系统或者IT系统内部的数据库中，会先有一份，此时就肯定会有一个.
2020-11-30 21:45:43
256
原创 14_分布式文档系统_初步解析document的核心元数据以及图解剖析index创建反例
添加一条测试数据PUT test_index/test_type/1{ "test_content":"test test"}查询添加的数据get test_index/test_type/1返回结果如下：{ "_index": "test_index", "_type": "test_type", "_id": "1", "_version": 1, "found": true, "_source": { "test_content": "test tes
2020-11-30 21:37:50
116
原创 12.分布式原理_图解横向扩容过程，如何超出扩容极限，以及如何提升容错性
课程大纲1、图解横向扩容过程，如何超出扩容极限，以及如何提升容错性（1）primary&replica自动负载均衡，6个shard，3 primary，3 replica（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好（3）扩容的极限，6个shard（3 primary，3 replica），最多扩容到6台机器，每个shard可以占用单台服务器的所有资源，性能最好（4）超出扩容极限，动态修改replica数量，9个sha.
2020-11-30 20:23:48
261
原创 11.分布式原理_图解2个node环境下replica shard是如何分配的
1、图解2个node环境下replica shard是如何分配的（1）replica shard分配：3个primary shard，3个replica shard，1 node（2）primary —> replica同步（3）读请求：primary/replica
2020-11-28 09:40:19
79
原创 02_小工具grep使用-常用选项参数
1、包含root关键字的行2、包含root关键字的行在第几行3、包含root关键字的行在第几行，并忽略大小写4、过滤以root开头的行5、过滤以bash结尾的行6、不以root开头的行7、包含以ftp开头的前3行8、包含以ftp开头的后3行9、包含以ftp开头的前3行和后3行10、包含hello单词的行11、过滤root行，并自打印本身练习文本passwdroot:x:0:0:ROOT:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologi.
2020-11-26 22:47:39
147
原创 10.分布式原理_shard&replica机制再次梳理以及单node环境中创建index图解
课程大纲1、shard&replica机制再次梳理2、图解单node环境下创建index是什么样子的1、shard&replica机制再次梳理（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的re.
2020-11-26 22:16:14
254
原创 01_小工具grep别名定义显示颜色
不会shell的大数据工程师不是优秀的工程师，作为在CentOS中最常用，也是最方便的与应用程序交互的手段，本专栏我将以b站中黑马2019全新Shell脚本从入门到精通教程为根本，将自身学习的过程作为记录，方便日后复盘，同时也分享给同样在学习shell的同学们，大家在观看我的博客时，如有不理解或本人表达不清楚，错误的地方，欢迎评论区留言1、文本处理工具 grepgrep是行过滤工具，用来根据关键字进行行过滤语法：# grep [选项] '关键字' 文件名常见选项OPTIONS: -.
2020-11-25 23:40:21
224
原创 9.分布式原理_手工画图剖析Elasticsearch的基础分布式架构
课程大纲1、Elasticsearch对复杂分布式机制的透明隐藏特性2、Elasticsearch的垂直扩容与水平扩容3、增减或减少节点时的数据rebalance4、master节点5、节点对等的分布式架构1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制（我们之前随随便便就将一些document插入到es集群中去了，我们有没有care过数据怎么进行分片的，数据到哪个shar.
2020-11-25 23:06:01
196
1
原创 8.快速入门案例实战之电商网站商品管理：嵌套聚合，下钻分析，聚合分析
第一个分析需求：计算每个tag下的商品数量第二个聚合分析的需求：对名称中包含yagao的商品，计算每个tag下的商品数量第三个聚合分析的需求：先分组，再算每组的平均值，计算每个tag下的商品的平均价格第四个数据分析需求：计算每个tag下的商品的平均价格，并且按照平均价格降序排序第五个数据分析需求：按照指定的价格范围区间进行分组，然后在每组内再按照tag进行分组，最后再计算每组的平均价格1、计算每个tag下的商品数量# aggs 聚合操作# group_by_tags 自定义聚合名# te.
2020-11-24 23:29:22
131
原创 Elasticsearch使用华为云OBS备份存储及恢复（Snapshot and restore）
1.安装s3插件2.华为云OBS配置及创建测试快照3.在kibana上添加快照策略4.备份的恢复背景：由于服务器转变使用国内厂商华为云，原有的的微软云中使用的备份和恢复插件不在适用，进而使用华为云OBS作为数据备份存储解决方案：由于华为云OBS兼容aws s3协议，而Elasticsearch官方插件是支持S3插件的，所以使用s3插件进行验证1、Install s3 Repository Plugin官网参考连接https://www.elastic.co/guide/en/elas.
2020-11-24 14:35:41
1772
1
原创 7.快速入门案例实战之电商网站商品管理：多种搜索方式
课程大纲1、query string search2、query DSL3、query filter4、full-text search5、phrase search6、highlight search1、query string search搜索全部商品：GET /ecommerce/procuct/_search从返回结果：took:耗费了几毫秒timed_out:是否超时，这里没有_shard:数据拆成5个分片，所以对于搜索请求，会打到所有的primary shard.
2020-11-22 22:27:21
235
原创 6.快速入门案例实战之电商网站商品管理：集群健康检查，文档CRUD
课程大纲1、document数据格式2、电商网站商品管理案例：背景介绍3、简单的集群管理4、商品的CRUD操作（document CRUD操作）1、document数据格式面向文档的搜索分析引擎（1）应用系统的数据结构都是面向对象的，复杂的（2）对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当麻烦（3）ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文检索，分析聚合等功能.
2020-11-22 10:54:22
91
原创 4.手动画图刨析Elasticsearch的核心概念：NRT，索引，分片，副本等
1、lucene和elasticsearch的前世今生2、elasticsearch的核心概念3、elasticsearch核心概念 vs. 数据库核心概念1、lucene和elasticsearch的前世今生lucene，最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂（实现一些简单的功能，写大量的java代码），需要深入理解原理（各种索引结构）elasticsearch，基于lucene，隐藏复杂性，提供简单易用的restful api接口、java api接口（.
2020-11-21 22:21:13
105
原创 3.Elasticsearch的功能，使用场景以及特点介绍
1、Elasticsearch的功能，干什么的2、Elasticsearch的适用场景，能在什么地方发挥作用3、Elasticsearch的特点，跟其他类似的东西不同的地方在哪里1、Elasticsearch的功能（1）分布式的搜索引擎和数据分析引擎搜索：百度，网站的站内搜索，IT系统的检索数据分析：电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；新闻网站，最近1个月访问量排名前3的新闻版块是哪些分布式，搜索，数据分析（2）全文检索，结构化检索，数据分析全文检索：我想搜索商.
2020-11-20 23:11:16
148
apache-doris-0.12.0-incubating-src.tar.gz
2020-12-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人