- 博客(41)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Tez安装配置
介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。 对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.
2022-06-29 15:16:16
1170
1
转载 PostgreSQL 创建用户并赋予权限
1、创建一个test用户2、创建COMPANY表3、设置权限 3.1、postgresql权限说明 3.2、设置权限语法 3.3、设置用户scheam的使用权限 3.4、对表授权 3.4.1、设置用户对表的所有权限 3.5撤销权限 3.5.1、撤销用户对COMPANY表的所有权限 3.5.2、撤销用户scheam的使用权限4、注意————————————————参考：PostgreSQ......
2022-06-29 15:13:23
15818
转载 PL/pgSQL编写postgresql函数
目录 基本语句 1 赋值 赋值运算符 := 或 = 2 单一行结果返回 SELECT...INTO 语法赋值 更新操作结果返回 3 多行结果返回 方式一：使用表充当容器 方式二：使用自定义TYPE充当容器 方式三：return query进行结果整体写入容器 方式四：return setof record返回 4 无结果执行 5 执行动态命令 2.1 语法 2.2示例准备 2.3 例...
2022-05-16 16:53:38
1676
原创 win10配置CUDA、cuDNN，tensorflow gpu 加速
一、确定电脑所需的CUDA版本 打开NVIDIA控制面板 -> 帮助 -> 系统信息 -> 组件二、安装CUDA CUDA官方地址： https://developer.nvidia.com/cuda-toolkit-archive 选择所需版本进行下载，下载后安装即可。第一步：会选择一个临时提取文件存放地第二步：下一步到下图所示 有两种安装选项，一个是精简安装，一个是自定义安装。精简安装会安装CUDA相...
2021-12-21 14:31:14
619
原创 yum安装的文件地址查询
借助 RPM 命令可以非常方便的查找 yum 安装包的所有路径。查找包名首先确定想要查找的完整包名，以wget为例查找所有路径列出的就是全部文件的路径，通常 RPM 的默认安装路径为/etc一些设置文件放置的目录如/etc/crontab/usr/bin一些可执行文件/usr/lib一些程序使用的动态函数库/usr/share/doc一些基本的软件使用手册与帮助文档/usr/share/man一些man page文件...
2021-12-21 14:25:36
967
原创 RocketMQ安装
官方文档：rocketmq/docs/cn at master · apache/rocketmq · GitHub下载地址：Downloading the Apache RocketMQ Releases - Apache RocketMQ操作参考：RocketMQ之Java API大全_【原】编程界的小学生-CSDN博客一、下载源码解压编译 源码编译需要jdk和maven自行安装unzip rocketmq-all-4.9.2-source-release.z...
2021-12-21 14:24:40
124
原创 RabbitMQ安装教程
安装新版RabbitMQ3.9.10，不需要先安装Erlang了，安装mq时，会自动安装erlang的依赖项Erlang和RabbitMQ版本对照：RabbitMQ Erlang Version Requirements — RabbitMQ一、下载所需要的包 erlang下载地址：rabbitmq/erlang - Packages · packagecloud rabbitmq-server下载地址：Releases · rabbitmq/rabbitmq-server · ...
2021-12-21 14:21:35
2851
原创 Atlas编译部署
官方下载地址：Apache Atlas – Data Governance and Metadata framework for Hadoop官网文档地址：Apache Atlas – Building & Installing Apache Atlas以下笔记使用编译环境： centos8 java version 1.8.0_311 （网上有说版本高于151） maven-3.6.3 （版本高于3.5）注意：镜像不要使用阿里云的就用原版镜像地址...
2021-12-21 14:16:57
849
原创 加密算法汇总
1.BASE64加密/解密2.MD5(Message Digest Algorithm)加密/解密3.DES(Data Encryption Standard)对称加密/解密4.AES（Advanced Encryption Standard） 加密/解密5.HMAC(Hash Message Authentication Code，散列消息鉴别码)6.恺撒加密7.SHA(Secure Hash Algorithm，安全散列算法)8.RSA 加密/解密9.PBE 加密/解密
2021-08-31 16:23:48
1387
原创 升级安装centOS7自带的Python2.7.5至python3.7.3
最近在centos7下执行命令时，出现以下提示：DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won't be maintained after that date. A future version of pip will drop support for Python 2.7. More details abou
2021-08-12 17:41:05
609
2
原创 提交项目到gitee 码云
一、注册码云账号新建一个码云仓库创建完成：二、在项目的根目录下打开Git Bash三、 生成公钥私钥ssh-keygen -t rsa 然后一路回车，这里会在当前用户生成了一个.ssh的文件夹我的地址在：$ cat /c/Users/陶文明/.ssh/id_rsa.pub查看：将id_rsa.pub公钥的内容复制 打开码云 个人主页-->个人设置-->安全设置粘贴到”公钥“ 标题不用管自动填写四、建立git仓库在项目文件夹下执行gi
2021-08-12 17:38:15
78
原创 达梦数据库用户管理
安装完达成梦数据库，系统默认会自带有一些系统级的用户：1、sys -----达梦数据库内置管理用户，不能登录数据库，数据库使用的大部分的数据字典和动态性能视图sys。2、Sysdba -----数据库的管理员3、Sysauditor---审计用户4、Syssso---安全用户在达梦数据库里每一个用户都有一个默认的表空间，对于 SYS、SYSSSO、SYSAUDITOR 系统用户，默认的用户表空间是 SYSTEM，SYSDBA 的默认表空间为 MAIN，新创建的用户如果没有指定默认表空间，
2021-08-12 17:37:14
2560
转载 linux磁盘扩展
步骤一：虚拟机扩展磁盘容量1、首先，打开已经安装好的虚拟机，选择需要扩展磁盘的虚拟机，点击设备中的“硬盘”。如图：2、接着，进入虚拟机设置界面，在界面的右侧选择“扩展”。如图：3、接着，在弹出的扩展磁盘容量中，输入需要扩展磁盘的大小，完成后点击“确定”。如图：4、接着，等待系统自动扩展完成，在弹出的对话框中选择“确定”，这样虚拟机的磁盘就扩展完成了。如图：5、接着，回到虚拟机设置界面，点击下方的“确定”保存刚设置的参数。如图：如果是windows系统磁盘扩容的请参
2021-08-12 17:36:10
6197
2
原创 使用ambari搭建spark连接外置hive
02月26日 使用ambari搭建spark连接外置hive.note目标使用amabri 搭建hive 和spark后，hive建立外部表，使用sparksql连接hive元数据（mysql）。步骤1、先将安装好的spark conf目录下生成的hive-site.xml重命名备份（其实用不到）[root@mycentos703 conf]# cd /usr/hdp/3.1.0.0-78/spark2/conf/[root@mycentos703 conf]# mv hive-site
2021-08-12 17:32:51
517
原创 DBeaver连接Kerberos认证hive
一、配置Kerberos客户端环境在客户端OS Windows 10或Windows 7上安装Kerberos客户端，在Kerberos官网下载，地址如下，https://web.mit.edu/kerberos/dist/index.html一路点击Next完成安装。注意： Custom自定义安装，Typical默认安装C:\Program Files\MIT\Kerberos\二、配置配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件，将KDC S
2021-08-12 17:31:19
4124
原创 安装Anaconda3到Ubuntu18.04
一、下载Anaconda二、上传Ubuntu三、安装四、常用命令五、虚拟环境1、创建虚拟环境2、对虚拟环境中安装额外的包3、使用激活(或切换不同python版本)的虚拟环境6、关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)7、删除虚拟环境8、删除环境中的某个包一、下载Anacondahttps://mirrors.tuna.tsinghua.edu.cn/help/anaconda/二、上传Ubuntu三、安装1、
2021-08-12 17:28:26
451
原创 pycharm 远程执行服务器代码控制台输出乱码
第一步：设置本地环境变量---->修改pycharm.exe.vmoptions文件, 添加-Dfile.encoding=UTF-8将本地环境设置为UTF-8第二步：设置 File Encodings---->File --> settings --> Editor --> File Encodings --> IDE Encodings:utf-8, Project Encodings:utf-8, Default Encodi...
2021-08-12 17:26:57
193
原创 Docker安装教程
一、使用官方安装脚本自动安装安装命令如下：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun也可以使用国内 daocloud 一键安装命令：curl -sSL https://get.daocloud.io/docker | sh二、手动安装1、卸载旧版本Docker 的旧版本被称为 docker，docker.io 或 docker-engine 。如果已安装，请卸载它们：$ sudo apt
2021-08-12 17:24:50
1375
原创 Pycharm使用远程解释器
1. Pycharm连接远程服务器1.1 进入配置页面1.2 配置连接服务器如下图。name随便写个就行。Connection下，协议最好选择sftp，接下来填写服务器主机IP，用户名，密码。点击Test SFTP connection会发现，如果连接成功会提示你如下然后确认在Mapping下，选择连接windows下的那部分代码和服务器上代码相连，本地Local path，服务器path，apply，OK，表示已经把本地的代码和服务器代码连接上了。1.3 上
2021-08-12 17:23:07
2027
原创 WSL2安装教程
一、打开功能二、启动组件安装三、检查版本四、安装系统五、安装SSH六、卸载子系统七、导入导出Windows安装位置：C:\Users\89654\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgscnetsh winsock reset一、打开功能以管理员身份打开 powershelldism.exe /online /enable-...
2021-05-06 17:52:44
4924
原创 最小化安装centos后需要安装的命令
1、安装必要的命令yum install -y net-toolsyum install -y wgetyum install -y vim-enhanced2、更换源CentOS自带的国外源有时候会很慢，我们替换成国内的阿里源#先进入源的目录 cd /etc/yum.repo.d #备份一下官方源 mv CentOS-Base.repo CentOS-Base.repo.bak #将阿里源文件下载下来 wget -O /etc/yum.repos.d/CentOS-Bas
2021-05-06 15:31:30
314
原创 CDH安装
1、检查相关依赖yum -y install ntp python-lxml httpd mod_ssl cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapiyuminstallpsmisc -y确认系统时区2、启动各种相关服务并加到开机启动服务中ntpd服务service ntpd startservice ntpd stopchkconfig ntpd onhttpd服务service httpd...
2021-05-06 15:29:13
1109
原创 linux时区修改 CDH时间修改
Linux 时区不对的解决办法1.首先查看时区：swfsadmin@swfsubuntu:~$ date -RTue, 17 Dec 2013 18:23:01 +0800如果要修改时区，执行sudo tzselect2.选择区域：亚洲swfsadmin@swfsubuntu:~$ sudo tzselect[sudo] password for swfsadmin:Sorry, try again.[sudo] password for swfsadmin:Plea
2021-05-06 14:35:16
748
原创 IDEA中sparksession连接hive的种种问题
报错：Caused by: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive或者报错：The root scratch dir: /...
2019-12-10 15:33:59
1373
转载 hadoop机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序...
2019-12-04 09:44:21
115
转载 Yarn三种调度策略对比
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 在Yarn中有三种调度器可以选择：FIF...
2019-12-04 08:50:37
632
转载 Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案需求：实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。方案描述：当namenode所在服务器宕机的时候，我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。1.Hadoop本身提供了可利用secondarynamenode的备份数据来恢复namenode的元数据的方...
2019-12-04 08:47:41
1310
1
转载 十大Intellij IDEA快捷键
1智能提示Intellij首当其冲的当然就是Intelligence智能！基本的代码提示用Ctrl+Space，还有更智能地按类型信息提示Ctrl+Shift+Space，但因为Intellij总是随着我们敲击而自动提示，所以很多时候都不会手动敲这两个快捷键(除非提示框消失了)。用F2/ Shift+F2移动到有错误的代码，Alt+Enter快速修复(即Eclipse中的Quick Fix功...
2019-11-12 20:48:07
98
原创 hive自定义函数过程加示例详解
1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。3）根据用户自定义函数类别分为以下三种： （1）UDF（User-Defined-Function） 一进一出 ...
2019-11-11 19:50:43
646
原创 Kafka中无法创建新的topic
Kafka执行创建分区命令：kafka-topics.sh --zookeeper mycentOS601:2181 --create --replication-factor 4 --partitions 1 --topic first创建分区时控制台报错：Error while executing topic command : Replication factor: 4 lar...
2019-11-08 21:34:15
2542
原创 HIve企业级调优
一、Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老...
2019-11-08 08:50:54
201
原创 HBase安装以及基本操作
一、Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动（每个节点都要启动）二、Hadoop正常部署Hadoop集群的正常部署并启动：start-dfs.sh start-yarn.sh三、HBase解压在/usr/lcoa目录下执行：tar -zxvf hbase-1.3.6-bin.tar.gz四、修改配置文件（/usr/local/hbas...
2019-11-06 09:46:16
849
原创 在centOS6中搭建Zookeeper（三台虚拟机）
一、安装部署1、集群规划在mycentOS601、mycentOS602、mycentOS603三个节点部署Zookeeper（在其中一个服务器配置其他复制过去修改）2、解压安装解压zookeeper安装包到/usr/local 目录下[root@mycentOS601 local]# tar -zxvf zookeeper-3.4.14.tar.gz3、在/usr/l...
2019-11-06 09:45:03
200
原创 虚拟机中搭建hadoop集群
一、克隆hadoop虚拟机二、修改主机名编辑：[root@mycentOS603 Data]# vi /etc/sysconfig/network三、查看IP地址更改/etc/hostsifconfig查看IP地址vi /etc/hosts修改地址映射四、在Windows尝试ping命令修改C:\Windows\System32\driver...
2019-11-06 09:42:59
302
原创 centOS6中安装hive以及替换元数据存储位置
Hive安装(1) 把apache-hive-0.14.0-bin.tar.gz拖到/usr/local下;(2) 执行tar -zxvf apache-hive-0.14.0-bin.tar.gz 解压缩；(3) 执行mv apache-hive-0.14.0-bin hive重命名；(4)在/usr/local/hive/conf下修改或者新建hive-site.xml...
2019-11-06 09:41:00
173
原创 centOS6安装hadoop
1. 把hadoop-2.6.4.tar.gz拖放到/usr/local目录下2. 使用命令tar -zxvf hadoop-2.6.4.tar.gz解压缩，产生文件夹/usr/local/hadoop-2.6.43. 编辑/etc/profile，增加环境变量。记得source /etc/profileexport HADOOP_HOME=/usr/local/hadoop-2....
2019-11-06 09:38:56
240
原创 安装jdk到centOS6
一、拷贝文件到/usr/local下面jdk-8u91-linux-x64.tar.gz二、解压缩jdk-8u91-linux-x64.tar.gz命令：tar -zxvf jdk-8u91-linux-x64.tar.gz解压后有一个jdk1.8.0_91文件夹三、编辑/etc/profile文件在文件末尾添加：export JAVA_HOME=/usr/loca...
2019-11-06 09:37:45
97
原创 安装mysql到centOS6中
一、可以通过如下命令来查看我们的操作系统上是否已经安装了mysql数据库这个命令就会查看该操作系统上是否已经安装了mysql数据库rpm -qa | grep mysql二、通过 rpm -e 命令 或者 rpm -e --nodeps 命令来卸载掉 rpm -e mysql //普通删除模式，有时候会提示依赖于其他文件，无法删除。 rpm -e --no...
2019-11-06 09:35:56
93
原创 java中的分层思想
分层：com.bean 实体层（用于封装数据，各个层之间传递数据）com.web 控制层（控制和页面数据交互的一层）com.service 业务层（专门写业务）com.dao 持久层（专门和数据库打交道，还叫数据访问层）com.utlis 专门用来存放工具DAO层中的方法原子化（一个方法只做一件事） 在service层中组合DAO层的方法，完成项目的业务。这样的好处D...
2019-11-06 09:23:25
677
1
原创 单例模式（代码层面的体现）
1、单例模式作用解决一个类在内存中只能存在一个对象，想要保证对象的唯一。2、遵循的原则1.为了避免其他程序过多的建立该类对象。禁止其他程序建立该类对象。2.为了其他程序可以访问该类对象，在本类中自定义一个对象。3.方便其他程序对自定义类的对象的访问，对外提供一些访问方式。3、代码1.将构造函数私有化2.在类中创建一个私有的本类对象3.提供一个用类名调用的公有方法...
2019-11-06 09:19:30
154
x-HdfsTool-1.0.jar
2021-06-01
dbeaver-ce-7.1.4-x86_64-setup.exe
2020-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人