ashencode-CSDN博客

原创 hive直接查询hbase库错误

错误描述Error: java.io.IOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ScanRequest$Builder.setRenew(Z)Lorg...

2019-09-12 10:41:32 367

原创 Hive安装

文章目录Mysql数据安装说明hive有两种方式共享元数据1）mysql2）derby：缺点（多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一）这里就介绍mysql的方式共享元数据说明：hive是一个客户端，底层存储的数据是hdfs，所以，我们只需要在一台机器上安装hive即可Mysql数据安装使用yum源进行安装。不推荐使用rpm包的方式进行安...

2019-08-28 17:49:24 196

原创 hive 与mysql 日期操作

文章目录一、Hive二、MySQL2.1 日期格式化2.1.1 时间转换2.1.2 字符串转换2.1.3 时间戳转换附件：日期格式一、Hive二、MySQL2.1 日期格式化涉及函数：date_format(date, format) 函数，MySQL日期格式化函数date_format()unix_timestamp() 函数str_to_date(str, format) 函数...

2019-08-27 11:17:49 505

原创 CDH分布式环境搭建

环境：hadoop-2.6.0-cdh5.14.0cdh所有软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/文章目录一、CDH版本hadoop重新编译二、CDH版本的zookeeper环境搭建2.1 修改配置文件node01修改配置文件node02修改配置文件node03修改配置文件2.2 启动zk服务三、CDH 伪分布式环境搭建第一步：上传压...

2019-08-25 22:08:02 171

原创大数据集群环境准备

文章目录一、初始准备1. 1 三台虚拟机关闭防火墙1.2 三台机器关闭selinux1.3 三台机器更改主机名1.4 三台机器做主机名与IP地址的映射1.5 三台机器重启二、3台机器机器免密码登录三、3台机器时钟同步3.1 第一种：通过网络进行时钟同步3.2 第二种：通过某一台机器进行同步四、3台机器安装jdk一、初始准备1. 1 三台虚拟机关闭防火墙三台机器执行以下命令（root用户来...

2019-08-25 21:25:05 145

原创 05 多linux通信

文章目录1 scp2 SSH无密码登录3 rsync4 编写集群分发脚本4.1 循环复制文件到所有节点的相同目录下4.2 在所有主机上同时执行相同的命令1 scpscp可以实现服务器与服务器之间的数据拷贝。（1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。[root@hadoop101 /]...

2019-08-25 19:00:09 149

原创 04 linux终端常见命令

Ctrl+r 实现快速检索使用过的历史命令。Ctrl+r中r是retrieve中r。Ctrl+a：光标回到命令行首。（a：ahead）Ctrl+e：光标回到命令行尾。（e：end）ctrl+w: 移除光标前的一个单词Ctrl+k：删除光标处到行尾的字符。Ctrl+u：删除整个命令行文本字符。Ctrl+y：粘贴Ctrl+u，Ctrl+k，Ctrl+w删除的文本。Ctrl+d: 删除...

2019-08-25 18:59:12 132

原创 03 linux shell编程

文章目录一、基本格式二、shell变量2.1 变量类型2.2 参数传递Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。 Shell 编程一般指 shell脚本编程，不是...

2019-08-25 18:56:38 143

原创 01 linux基础命令

linux基础备忘主要搜集我已经忘记了，或者不知道的linux常用知识和操作，每天看一次基础不忘记。目录文章目录linux基础备忘目录一、linux基础目录二、vi指令三、常用命令3.1 基本操作3.2 文件目录类2 日期3.3 用户3.4 用户组管理3.5 文件权限类3.5.1 文件属性3.5.2 改变文件权限3.5.3 改变所有者3.5.4 改变所属组3.5.5 切换用户6 磁盘分区7 ...

2019-08-25 17:58:38 192

原创欢迎使用CSDN-markdown编辑器fsd

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

2019-08-25 17:05:27 101

转载 npm介绍与cnpm介绍

https://blog.csdn.net/shelly1072/article/details/51524029

2018-11-21 10:01:19 508

原创 cnpm install报错

问题1 cnpm install报错npm WARN deprecated [email protected]: If using 2.x branch, please upgrade to at least 2.1.6升级cnmp，如下：问题2：cnpm install报错optional install error: Package require os(darwin) not compati...

2018-11-20 15:37:36 8010

原创 Gradle之发布(8)

Gradle之自动化测试项目通常是多人协作的，那么就需要我们将自己的代码打包成jar，发布到私服上。一、发布通常发布的地方：1）本地仓库；2）公司私服；3）公共仓库二、如何发布在项目build.gradle配置// 所有项目配置allprojects { apply plugin:'java' sourceCompatibility = 1.8...

2018-08-29 09:29:13 614

原创 Gradle之自动化测试(7)

Gradle之自动化测试学习完项目多模块构建，那么接下来学习一下自动化测试吧！一、自动化测试理论 1）自动化测试一些开源的测试框架比如Junit，TestNG能够帮助你编写可复用的结构化的测试，为了运行这些测试，你要先编译他们，就像编译源代码一样。测试代码的作用仅仅用于测试的情况，不应该被发布到生产环境中，需要把源代码和测试代码分开来。2）项目布局 3）测试...

2018-08-29 09:27:10 897

原创 Gradle之多项目构建(6)

Gradle之多项目构建我们都知道现在的项目多是多模块的形式，那么如何利用gradle进行多项目构建呢？见下分解标准：所有的项目都用java插件（jar），web子项目用war插件（war）。创建结构如下：配置： 1）所有项目中应用java插件 2）web子项目打包成war 3）所有项目添加log日志功能 4）统一配置group和version一、配置 -...

2018-08-29 09:21:14 303 3

原创 Gradle之解决版本冲突(5)

Gradle之解决版本冲突依赖的传递性给我们带来了便利，同时也会造成版本冲突问题。解决办法：查看依赖报告排除传递性依赖强制版本冲突除了上面我们自己解决冲突，gradle也会帮助我们解决，当我们引入多个版本jar时，它默认是最高版本的jar。解决办法修改默认策略configurations.all{ resolutionStrategy{ ...

2018-08-26 10:14:21 5509

原创 Gradle之基本理论(4)

Gradle之高级应用（上）上一节，我们通过快速尝鲜领略了gradle的基本功能，现在，学习一下理论吧！1 构建脚本概要一、构建脚本概要 gradle构建中的两个基本概念是项目（project）和任务（task），每个构建至少包含一个项目，项目中包含一个或者多个任务。在多项目构建中，一个项目可以依赖于其他项目；类似的，任务可以形成一个依赖关系图来确保他们的执行顺...

2018-08-26 09:50:49 208

原创 Gradle之快速尝鲜(3)

Gradle之快速尝鲜（3）上一篇，我们学习了groovy的基本语法，并在最后做了一个简单的gradle编译脚本的解读。接下来则进入gradle管理项目的正式学中。 java应用程序版1、步骤：new project – gradle – java2、项目结构如下： 4、查看编译脚本：plugins { // 使用java插件，jar方式...

2018-08-24 16:47:23 208

原创 Gradle之简介与安装 (1)

Gradle之简介与安装Gradle之简介与安装项目自动化介绍gradle是什么gradle安装项目自动化介绍构建工具的作用：依赖管理测试、打包、发布主流的构建工具如图金字塔，功能是累加的。即，ant给我们提供了编译、测试、打包的功能；而maven在此功能的又多了依赖管理、发布的功能；最后gradle在maven的基础上多了g...

2018-08-24 15:13:17 253

原创 gradle之groovy入门(2)

groovy语法groovy介绍基本语法groovy的高级特性重点groovy语法提示：测试方法（Idea) 1）new Project – gradle 2）Tools – groovy console 3）在groovy console里面编写groovy代码groovy介绍Groovy是java虚拟机的一种敏捷的动态语言，既可以使用动态语言...

2018-08-24 14:33:35 244

原创 Intellij IDEA 各种配置

好吧，我只是大IT的搬运工。Intellij IDEA Maven项目使用debug模式运行Tomcat的方法

2018-08-23 16:06:19 145

原创 npm install 出现问题的若干问题

前段时间工作上要替换表格，该项目大量使用表格，经过调研决定需用jqgrid作为最终的选择。个人考虑因素及相关原因见后面分析。因jgrid使用方法比较零散，而且存在一些bug，所以个人作了简单封装。参考资料：某博客写的jqgrid的教程核心代码调用示例github代码快捷键Markdown及扩展表格定义列表代码块脚注目录数学公式...

2018-08-23 15:07:50 10765 3

原创 js反射机制详解

失误，不知道javascript有反射机制，我的错，呜呜呜~ 现在粘贴核心测试代码，看看javascript的反射机制。简单代码这段语句遍历obj对象的所有属性和方法，遇到属性则弹出它的值，遇到方法则立刻执行function callBack(options){ for(var p in options){ if(typeof(option...

2018-08-23 09:44:37 2140 1

原创关于 svn E155004 is already locked 出现原因和解决办法

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-08-22 16:26:48 18732 1

原创如何动态切换谷歌地图地址

如何动态切换谷歌地图地址最近遇到一个需要，就是谷歌地图的地址需要购买谷歌地图后收到填入，这样导致的问题是，谷歌地图会可能会被频繁的替换，出现一些不可预见的错误。问题当我们引用谷歌服务地址如：https://maps.googleapis.com/maps/api/js?key=unique_code&amp;amp;language=zh-CN 在页面加载该js时，会自动加载出多...

2018-08-22 15:57:14 812

原创 JS的基础语法

1、变量1）变量是用来存储信息的容器。 2）在javascript中使用var 运算符（variable 的缩写）加变量名定义的。varx = 10;vary = 10.1;varz = “Hello”; 3）JavaScript 变量名称的规则：>变量名对大小写敏感 > 变量名必须以字母或下划线开始 4）不要使用关键字和保留字作为变量...

2018-08-22 10:30:49 169

原创关于el表达式的性能

最近遇到一个需求：就是用户提交表单的时候允许输入空字符串，形如 “ user” 这种，但是到了查询列表展示的时候，出现只能显示" user"，一个空格而非多个空格，原因：浏览器在解析html页面时，会将多个连续的空格解析成一个空格。于是我想到了使用jsp的el表达式：${key.msName.replaceAll(" ","&nbsp;")}，做一个整体的替换。但是发现，原先...

2018-08-22 10:21:53 763

原创 React父子组件，如何定义

最近，做一个项目xx检测，用到了谷歌地图，差不多的业务数据是在地图上展示，操作筛选的，但是错误的将谷歌地图封装到了一个子组件中，这样导致了一个问题：每当我在地图上划线筛选场强点、热力图的时候，地图组件总在不停的updataComponet()，导致地图图片数据闪动。页面布局：整个页面的泳道图：附上关键代码：ParentComponent:queryPoint(){...

2018-08-22 09:58:36 1435

原创 jquery ajax超时设置

最近工作遇到了一个问题，就是webservice请求服务默认的超时时间是3min，但是在两个不同的项目中，一个项目的超时是生效的，一个项目的超时是不生效的。百般折磨，浏览众多博客，查看源码，尝试多种方法但是仍然不可控。于是想到既然后台超时不可控，那么我们可以在前台进行控制。tips：webservice请求是经由前台button触发的。代码如下：var ajaxTimeout...

2018-08-21 17:17:09 10804

原创表单提交的数据过大，后台接受到的数据为null

最近，工作上面我遇到了一个问题，当我用excel导入用户数据时，后台解析到excel的数据常为null。tip:excel里面存放了百万级别的用户信息。可以采用如下方法进行避免：在tomcat的server.xml里面配置post提交的数据大小不做限制。<Connector executor="tomcatThreadPool"port="8080" protocol=...

2018-08-21 16:58:51 1919

原创关于@NotNull 和 @Nullable

阅读spring源码发现里面用到两个注解@NotNull 和 @Nullable，现在做一个简单的分析参考文档：避免Java应用中NullPointerException的技巧和最佳实践安卓中的@Nullable和NotNull 注释在写程序的时候你可以定义是否可为空指针。通过使用像@NotNull和@Nullable之类的annotation来声明一个方法是否是空指针安全的。...

2018-08-20 09:19:08 133030 10

原创一个由readme.md文件引起的问题（远程代码与本地代码不同步）

我在本地创建了一个项目，在github上建立一个仓库，添加了readme.md文件，当我push的时候，出现了如下错误，现列出错误与解决方案： Fatal HttpRequestException encountered.无论是push前先将远程仓库pull到本地仓库，还是强制push都会弹出这个问题。Github 禁用了TLS v1.0 and v1.1，必须更新Win...

2018-08-13 10:09:57 3635