- 博客(8)
- 收藏
- 关注
RSS订阅转载 转载一篇——rancher下EFK插件部署及多节点添加
前面一篇文章成功实践了通过rancher的web终端一键部署K8S集群服务。今天的实验内容是通过rancher应用商店一键部署EFK日志监控平台，用于监控K8S集群下日志状况。应用列表展示如下：在应用商店中部署了“普罗米修斯”监控插件、K8S仪表盘以及今天的EFK日志监控插件。不知道rancher对EFK插件的具体要求，也就是至少要运行几个节点。之前架构如下：rancher master一台；K8S master节点一台；K8S node节点一台。感觉节点数量不太符合EFK的
2021-08-19 13:47:20
745
转载 Spark推荐算法概述
1. Spark推荐算法概述 在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解为两个低维的矩阵：Mm×n=PTm×kQk×nMm×n=Pm×kTQk×n 其中k为分解成低维的维数，一般远比m和n小。如果大家对FunkSVD算法不熟悉，可以复习对应的原理篇。2...
2019-06-10 17:18:14
3779
转载 卡方检测，写的很好，转载了
Spark 1.1.0 Basic Statistics（下）源地址：http://blog.selfup.cn/1157.htmlHypothesis testingHypothesis testing，假设检验。Spark目前支持皮尔森卡方检测（Pearson’s chi-squared tests），包括适配度检定和独立性检定。皮尔森卡方检测皮尔森卡方检测是最...
2019-05-24 09:32:42
1895
转载 64位CentOS6.4 yum安装mysql 5.6
64位centos6.4千万别自己解压配置！1.新开的云服务器，需要检测系统是否自带安装mysql# yum list installed | grep mysql2.如果发现有系统自带mysql，果断这么干# yum -y remove mysql-libs.x86_643.随便在你存放文件的目录下执行，这里解释一下，由于这个mysql的yum源服务器在国外，所以下载...
2018-12-12 17:03:44
194
翻译 hive2.3.4稳定版安装遇到的问题
先把hive-site.xml文件清空（5000行配置太坑了）<property> <name>javax.jdo.option.ConnectionUserName</name> <value>hadoop</value></property><property> <n
2018-12-05 14:36:45
323
翻译 Storm自学1
一、Storm 简介 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理 数以百万计的消息）。Storm的部署和运维都...
2018-08-29 20:41:07
207
转载 Kafka自学2：设计原理
kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错能力。 1、持久性 kafka使用文件存储消息，这就直接决定kafka在性能上严重依赖文件系统的本身特性。且无论任何OS下，对文件系统本身的优化几乎没有可能。文件缓存/直接内存映射等是常用的手段。因为kafka是对日志文件进行append操作，因此磁盘检索的...
2018-08-29 10:00:14
124
翻译 Kafka自学1：初级
一：入门1、简介kafka是一个分布式消息缓存系统。2、brokerkafka集群中的每个服务器都叫broker。3、客户端kafka有两类客户端：producer（消息生产者）和 consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接。4、Topic（主题）和partition（分区）kafka中不同业务系统的消息可以通过topic进行区...
2018-08-29 09:48:24
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人