7 zxfBdd

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 2w+

presto的安装部署

Presto是什么?Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据,那么你可能更希望借助于Hadoop和HDFS来完成这些数据的处理。作为Hive和Pig(Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询)的替代者,Presto不仅可以访问HDFS,也可以操作不同的数据源,包括:RDBMS和其他的数据源(例如:Cassandra)。Presto被设计为数据仓库和数据分析产品:数据分析、大规模数据聚集和生成报表。这些...

2020-10-23 18:03:15

Presto 安装部署

1.版本选型hadoop-3.1.3hive-3.1.2presto-0.233.12.Presto 简介详细参考:https://prestodb.github.io/docs/current/connector.html2.1 Presto 优势多数据源,支持SQL,自定义扩展Connector混合计算(同一种数据源的不同库 or表;将多个数据源的数据进行合并)低延迟,高并发,纯内存计算引擎,高性能2.2 Presto 架构# presto提供插件...

2020-10-23 18:01:07

全面认识:BI、数据仓库、数据湖和数据中台内涵及差异点 

前言随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DDS)到商业智能(BI)、数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名词术语及内涵进行系统的解析,便于读者对数据平台相关的概念有全面的认识。一数据仓库数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。图1.数据仓库发展阶段划分商务智能(BI,Business Intelligence)是一种以提供决策分析性的运...

2020-10-23 15:45:54

如何在更改全局JDK版本1.7.0情况下,让Presto使用JDK1.8.0呢?

方法 1:使用临时的环境变量,即在命令行中:export JAVA_HOME=/opt/jdk1.8.0_131export PATH=$JAVA_HOME/bin:$PATH弊端在于仅仅只能做调试之用,满足一时需求,一旦退出当前TTY session,该环境变量便失效。方法2:PATH=/opt/jdk1.8.0_131/bin/:$PATHjava -version# 将JDK环境变量添加在 exec 之前exec "$(dirname "$0")/launcher...

2020-10-23 15:18:23

Presto 安装部署

1.版本选型hadoop-3.1.3hive-3.1.2presto-0.233.12.Presto 简介详细参考:https://prestodb.github.io/docs/current/connector.html2.1 Presto 优势多数据源,支持SQL,自定义扩展Connector混合计算(同一种数据源的不同库 or表;将多个数据源的数据进行合并)低延迟,高并发,纯内存计算引擎,高性能2.2 Presto 架构# presto提供插件...

2020-10-23 14:35:12

presto环境搭建

1、环境准备支持操作系统:Linux or Mac OS XJava 8, 64-bitPython 2.4+支持hadoop集群环境版本:Apache Hadoop 1.xApache Hadoop 2.xCloudera CDH 4Cloudera CDH 5备注:这里我们准备三台Ubuntu 14.04并且搭建CDH5.10集群2、下载安装包presto-server-0.191.tar.gz下载路径:https://repo1.maven.org/maven2...

2020-10-23 14:02:55

Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql

文章目录 概述 配置Mysql数据库 为Cloudera Manager配置Mysql数据库 下一部分 概述文章写得很详细,很长所以这里分成了7个部分这里是第六部分,主要讲配置Mysql作为Cloudera Manager及CDH组件的数据库操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作,文章验证过好多次了,各部分之间都是相互依赖的,只看中间某一篇的话很可能出错第一部分:前言第二部分:环境准备1第三部...

2020-10-22 17:44:31

MySQL创建用户和授权

我们知道我们的最高权限管理者是root用户,它拥有着最高的权限操作。包括select、update、delete、update、grant等操作。那么一般情况在公司之后DBA工程师会创建一个用户和密码,让你去连接数据库的操作,并给当前的用户设置某个操作的权限(或者所有权限)。那么这时就需要我们来简单了解一下:如何创建用户和密码 给当前的用户授权 移除当前用户的权限如果你想创建一个新的用户,则需要以下操作: 进入到mysql数据库下 mysql> use mysql Da.

2020-10-22 15:48:33

mysql创建新的用户及flush privileges解析

1、首先以root用户登录到mysqlmysql -u root -p2、接着要知道mysql的用户信息是存储在mysql.user(mysql数据库下的user数据表)下的,所以我们只需添加一个用户即可3、插入之后,并没有完全创建成功,我们可以测试一下,退出之后,用刚才创建的guest02进行登陆,提示错误4、其实上面的插入操作只是在user表中插入了一条记录,并没有刷新mysql的系统权限相关的数据表,换句话说并没有将刚才插入的记录提取到内存中,那么如何使修改生效呢?这里...

2020-10-22 14:15:08

记录CDH安装的一个坑:could not contact scm server at localhost:7182, giving up

错误:在web界面安装 agent那一步,抛错,单击信息查看如下初步分析:是用localhost:7182 无法连接scm server尝试解决办法:1.检查关闭防火墙2.检查python版本2.6.63.检查/etc/hosts文件,重启网络service network restart4.检查/etc/sysconfig/network文件,重启网络service network restart5.检查/etc/resolv.conf文件,重启网络service n...

2020-10-21 20:11:15

Linux上安装pstree命令(-bash: pstree: command not found)

一、pstree命令的安装1、在Mac OS上 brew install pstree2、在Fedora/Red Hat/CentOS yum -y install psmisc3、在Ubuntu/Debian apt-get install psmisc二、pstree命令详解pstree指令用ASCII字符显示树状结构,清楚地表达程序间的相互关系。如果不指定程序识别码或用户名称,则会把系统启动时的第一个程序视为基层,并显示之后的所有...

2020-10-21 15:51:41

Access denied for user ‘root‘@‘localhost‘问题的解决

问题场景在阿里云上部署了一台服务器,CentOS6.8系统环境,安装了MySql+Nginx+Git+vsftpd等软件,在本地Linux终端以非root账户SSH远程登录服务器,在将项目打包发布时遇到如题所示问题。代码中配置文件里的用户名不是“root”,密码正确,且该用户名和密码是配置在服务端数据库的用户表中的。但是在用浏览器调用跟数据库交互接口时出错:尝试解决网上搜了一堆文章,主要集中在(1)对root授权:无效grant all privileges on *.* t...

2020-10-21 15:23:28

mysqladmin 命令详解

mysqladmin是一个执行管理操作的客户端程序。它可以用来检查服务器的配置和当前状态、创建和删除数据库等。mysqladmin 工具的使用格式:mysqladmin [option] command [command option] command ......option 选项:-c number 自动运行次数统计,必须和 -i 一起使用-i number 间隔多长时间重复执行每个两秒查看一次服务器的状态,总共重复5次。./mysqladmin -uroot -p -i ...

2020-10-21 12:04:46

centos6.5下的mysql5.6.30安装

1.解压mysqltar -xf mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz -C /usr/localmv mysql-5.6.30-linux-glibc2.5-x86_64 mysql-5.6.302.添加用户与组groupadd mysqluseradd -g mysql mysql -s /sbin/nologinchown -R mysql:mysql mysql-5.6.303.安装数据库mkdir...

2020-10-21 11:57:12

领导提拔一个人,都是通过这五点来考察

职场上,职务越高,责任越大,越高的职务对公司的贡献和损害也越大。所以,一个公司的老板需要独自承担提拔晋升员工的风险。若老板慧眼识人,各方面都是好消息;若用人不当,不仅仅业绩下滑,而且还会引起其他员工的负面情绪,可以说牵一发而动全身。因此,领导要提拔一个人,并不是说提拔就提拔,而是对被提拔的人选进行多方面的考察,有意进行一些考验,反复衡量,最终做出决定。而对于员工来说,倘若领导对你释放这五种信号,那你就要格外注意了,这说明领导已经有意在考察你,你已经被领导列入提拔的对象了!1.对你委...

2020-10-21 11:29:11

MySql错误:Starting MySQL...The server quit without updating PID file(服务器学习十一)

centos7 首次 mysql安装成功后,服务启动执行/usr/local/mysql/support-files/mysql.server start报错这个信息Starting MySQL. ERROR! The server quit without updating PID file (/usr/local/mysql/data/web-20200325.pid).试过添加了所有的权限,然并无卵用 编辑/etc/init.d/mysql,找到star...

2020-10-21 11:07:09

my_print_defaults: Can‘t read dir of ‘/etc/my.cnf.

mariadb 10.1.19 版本源码安装过程报错。my_print_defaults: Can't read dir of '/etc/my.cnf.d/'解决办法:创建目录:mkdir /etc/my.cnf.d/

2020-10-21 10:32:51

Linux下Mysql 5.6.30 tar包安装实践

环境:centos 6.5 x64先下载mysql安装包打开http://dev.mysql.com/downloads/mysql/选择 linux - Generic再选择下载完毕后,得到安装包 mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz此包不再需要make编译源代码(真是扛扛的),之前的mysql-5.6.4.tar.gz包是源码包,需要先cmake,再make & make install上传到centos...

2020-10-21 10:23:04

什么是倒排索引?

  不多说,直接上干货!欢迎大家,关注微信扫码并加入我的4个微信公众号:大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力。 百家号 :九月哥快讯 快手号: jiuyuege  见其名知其意,有倒排索引,对应肯定,有正向索引。 正向索引(...

2020-10-20 22:50:12

MPP(大规模并行处理)简介

1、 什么是MPP?MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起...

2020-10-20 18:51:40

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。