- 博客(73)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Sqoop抽取Hive数据到Oracle
使用Sqoop抽取Hive数据到Oracle，报错：Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] at java.sql.Timestamp.valueOf(Timestamp.java:204) at ...这是一个Sqoop时间戳转化方法的格式差异问题：各系统实现的时间戳转换方法中的截断和位数细节上有所差异。1.4问题日志：当导入Oracle时会出现时间转化失败的问题。
2023-05-03 15:37:14
552
原创 Linux系统初始化配置：网络、换源、服务管理、软件更新
一、virbr0虚拟网卡的卸载方法在使用双机软件过程中，如果系统是centos 5.x 默认系统安装完成后为xen内核，那么xen内核引导启动后就会有虚拟网卡（vethx、vif0.x、virbr0、xenbr1等）存在。这就会直接导致双机软件的两台机器中都会有相同的IP地址存在（virbr0网卡的IP地址都为192.168.122.1）。所以会导致双机系统中的主机关机时，备机不会接管的现象。所以，需要将virbr0卸载掉： 执行命令：yum remove -y libvirt*，用ifcon
2022-11-11 07:18:12
548
原创 记DataX-datax_v202209:oceanbasev10writer版本号比较问题导致写入OceanBase3.2.3.0报错：java.lang.NumberFormatException
Error:使用DataX中oceanbasev10writer插件向OceanBase3.2.3.0中写数据报错：java.lang.NumberFormatException: multiple points源码分析、源码调试、源码问题修复、本地调试DataX
2022-10-25 01:20:52
1612
转载 Hive 常用日期处理-昨天、本月、上月同期、去年同期、月初、月末等
一、参考日期为当前日期以当前系统日期作为参考日期，将其转换为统一的天维度yyyyMMdd数据格式。 例如当前日期为2021-01-29昨天方式一：date_format(date_sub(current_date(),1), 'yyyyMMdd')select date_format(date_sub(current_date(),1), 'yyyyMMdd') 20210128方式二：date_format(date_sub(from_unixtime(unix_timesta
2022-04-30 10:58:29
10435
原创 Sqoop 各种参数的配置解析及使用案例
一、Sqoop原理简介Sqoop本质上是一个数据传输工具，能够将用户编写的Sqoop命令翻译为MR程序，基于MR程序读取关系型数据库中的数据，写入到HDFS或者读取HDFS上的数据，写入到关系型数据库！在MR程序中如果要读取关系型数据库中的数据，必须指定输入格式为DBInputformat！在MR程序中如果要向关系型数据库写入数据，必须指定输出格式为DBOutputformat！Sqoop命令运行的MR程序， 只有Map阶段，没有Sqoop命令运行的MR程序， 只有Map阶段，没有Reduce阶段。
2022-01-08 04:07:58
2726
1
原创 Sqoop将Hive数据导入MySQL异常
完美解决：使用Sqoop导数据导入mysql报错duplicate entry for ' ' key primary
2022-01-02 21:50:07
1689
转载 @Transient注解的使用
@Transient注解的使用转自:https://blog.csdn.net/sinat_29581293/article/details/51810805java 的transient关键字的作用是需要实现Serilizable接口，将不需要序列化的属性前添加关键字transient，序列化对象的时候，这个属性就不会序列化到指定的目的地中。transient使用小结1）一旦变量被t...
2020-04-24 18:55:53
841
转载 bootstrap-table tableExport 导出xlsx格式表格
在[十六、bootstrap-table javascript导出数据]中，打开导出的表格时，总会弹出一个提示窗那么，导出xlsx格式的应该就没问题了吧？！实验如下，查找tableExport.js资料TableExport插件依赖于jQuery（1.2.1+），FileSaver.js。为了支持.xlsx（Office Open XML SpreadsheetML Format）格式，...
2020-04-19 15:07:35
1267
转载 SpringMVC中css,js,图片等静态资源被拦截的解决办法
一、静态资源的存放路径css,js,图片等静态资源存放在项目的路径必须为二、html、jsp导入静态资源文件html、jsp页面中的导入静态资源文件：js：css：图片：二、web.xml和SpringMVC配置文件中的配置方法一：web.xml中的配置：SpringMVC配置文件中的配置：方法二：web.xml中的配置：...
2020-02-05 17:01:40
396
1
原创 解决HBase错误,ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
HBase错误日志：2019-12-23 00:35:05,844 ERROR [Thread-65] master.HMaster: Master failed to complete initialization after 900000ms. Please consider submitting a bug report including a thread dump of this ...
2019-12-23 01:11:42
2490
3
转载 Spark中map和flatMap的区别详解
Spark中map和flatMap的区别详解本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。函数原型1.map(func)将原数据的每个元素传给函数func进行格式化，返回一个新的分布式数据集。(原文：Return a new distributed dataset formed by passing each element of ...
2019-11-21 23:59:55
652
转载 IntelliJ IDEA 中如何部署 Web 项目
本文地址：www.cnblogs.com/deng-cc/p/6416332.html小伙伴看了松哥录制的视频教程后直呼 666，很多小伙伴表示自己虽然用了很久的IDEA但是自从看了松哥的 Spring Boot 视频教程才发现IDEA中原来有这么多好用的技巧，因此希望松哥专门录制一个IDEA使用教程的视频，这两天准备了一下，打算抽空满足大家的这个需求。今天就先和大家分享一个...
2019-11-14 22:05:39
1063
原创 解决CentOS启动提示unexpected inconsistency;RUN fsck MANUALLY的问题（断电重启报错）
使用CentOS过程中，不小心断了电，导致了下面的问题，记录一下解决的方法出现这样的问题，极大可能是异常断电。解决方法如下，输入密码进入命令行，执行（由于截图中是/dev/mapper/vg_cmaster-lv_root出错，所以命令中是对/dev/dev/mapper/vg_cmaster-lv_root进行恢复）fsck -y /dev/mapper/vg_cmaster-lv...
2019-11-07 17:18:33
2990
1
原创 Hue安装详解（编译中的坑与爬）
1.上传解压安装包Hue的安装支持多种方式，包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等，我们这里使用tar.gz包的方式来进行安装，此教程也适用于git下来的源码包的编译安装，主要是教会分析与解决编译过程中的出现的依赖问题。Hue的压缩包的下载地址：http://archive.cloudera.com/cdh5/c...
2019-10-27 18:03:04
1393
2
原创 关于yum命令下载出现 fails with the error : [Errno 256] No more mirrors to try等的问题分析及解决
环境Red Hat Enterprise Linux 5 and later Red Hat Customer Portal Red Hat Subscription Management (RHSM) Red Hat Satellite问题yum updatefails with the error : [Errno 256] No more mirrors to try y...
2019-10-27 16:55:36
1132
转载 Linux安装软件包的三种方法；rpm包介绍、rpm工具的用法；yum工具用法、源码包安装
1、rpm工具2、yum工具 （支持自动安装依赖的包）3、源码包 安装源码包，需要我们把源代码编译成可执行的二进制文件rpm包介绍挂载一下光驱看一下rpm包mount /dev/cdrom /mnt 挂载到/mnt下ls /Packages 查看一下里面的rpm包画圈的依次为：rpm包格式包名、版本号、发布版本号、平台rpm工具使用r...
2019-10-27 14:26:39
421
原创 想到开头，没想到结尾系利——MapReduce自定义分区策略，序列化相关的坑
有需求实现按手机号所属省份划分来对用户进行划分，相同省份的用户打印在同一文件中，想到可以使用MapReduce的自定义分区策略来实现，大致思路是获取手机号，获取数据库手机号号段--省份--省份编号对应关系，查询手机号查询对应关系，把省份编号作为分区编号即：Tasks编号，修改下面算法即可：p_Id=hash(userPhoneNumber)%TasksNum.然而想到开头，没想到结尾，却入...
2019-10-15 01:53:06
228
原创 DeBug调试解决在跑MapReduce程序时，出现Caused by: java.lang.ArrayIndexOutOfBoundsException: 1（数组越界异常）问题
在跑MapReduce程序时，出现了Caused by: java.lang.ArrayIndexOutOfBoundsException: 1（数组越界异常）分析过程：从这些提示信息中可以获取如下信息：1、错误发生在17行，找到对应行2、发生错误的时候，下标的值为1接下来分析为什么下标值为什么是1时出现越界，就可以解决了。我们使用打断点的方式找到问题根源：再出...
2019-10-13 13:49:47
4362
2
转载 编译原理：如何判断一颗语法树的短语、直接短语、句柄、素短语
概念如果Ｓ->* αＡβ and A->+γ，则称γ是句型αγβ的相对于变量A的短语 。如果Ｓ->* αＡβ and A->γ，则称γ是句型αγβ的相对于变量A的直接（简单）短语 最左直接短语叫做句柄。其实最简单的判断方法直接画出语法树了。文法S->(L)|aS|aL->L,S|S分析(S,(a))1.先画出语法树 ...
2019-05-25 19:31:34
12441
5
原创 实验三十二 LevelDB实验：读写LevelDB
实验指导：32.1 实验目的1．了解LevelDB的使用场景；2．理解LevelDB数据存储结构；3．比较LevelDB和redis的区别；4．能对LevelDB的整体架构有一定的了解；5．能正确的使用LevelDB并能进行简单使用。32.2 实验要求本实验要求同学能够使用C++语言完成对LevelDB库完成以下操作：1．连接到LevelDB数据库；2．写入...
2019-05-22 19:51:24
1009
原创 实验三十九 综合实战：推荐系统
实验指导：39.1 实验目的了解常用的基于矩阵分解的协同过滤推荐算法的基本原理，掌握Spark MLlib中对基于模型的协同过滤算法的封装函数的使用，对Spark中机器学习模块内容加深理解。39.2 实验要求1． 实验提供数据集，包含用户数据、电影数据、电影评分数据以及我的评分数据；2． 根据提供的电影评分数据，利用Spark进行训练，得到一个最佳推荐模型；3． 用实际数据...
2019-05-21 09:43:34
1251
原创 实验三十 MapReduce与Spark读写Redis
实验指导：30.1 实验目的1．会使用MapReduce访问Redis数据；2．会使用Spark访问Redis数据。30.2 实验要求1．在master机上，使用MapReduce代码读取Redis数据；2．在master机上，使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...
2019-05-08 00:58:00
1207
1
原创 实验二十三 新建HBase表
实验指导：23.1 实验目的1． 掌握HBase数据模型(逻辑模型及物理模型)；2． 掌握如何使用Java代码获得HBase连接，并熟练Java对HBase数据库的基本操作，进一步加深对HBase表概念的理解。23.2 实验要求通过Java代码实现与HBase数据库连接，然后用Java API创建HBase表，向创建的表中写数据，最后将表中数据读取出来并展示。23.3 实验...
2019-05-07 23:24:27
1201
原创 实验二十九 Redis部署与简单使用
实验指导：29.1 实验目的1．熟悉了解CentOS系统；2．学习从C++源代码编译成可执行文件并安装运行；3．学习安装Redis；4．学习配置Redis；5．学会简单使用Redis。29.2 实验要求在client机上，安装配置并简单使用Redis。29.3 实验原理29.3.1 CentOS 简介全称为Community Enterprise Ope...
2019-05-06 18:49:55
886
原创 实验三十一 MongoDB实验：读写MongoDB
实验指导：31.1 实验目的1．了解NoSQL 数据库的原理；2．理解NoSQL数据库的结构；3．比较MongoDB和Hbase的区别；4．能对MongoDB的存储格式有一定的了解；5．能正确的使用MongoDB并能进行简单使用。31.2 实验要求1．正确的搭建MongoDB数据库环境；2．能正常启动MongoDB的服务和服务的连接；3．能在MongoDB的...
2019-04-30 09:18:22
1758
1
原创 实验六十五 R语言基础：文件操作
实验指导：65.1 实验目的学习R语言读写txt和csv文件的方法。65.2 实验要求掌握R语言读写txt和csv文件的方法。65.3 实验原理R语言支持读写多种数据格式的文件，包括txt，csv，excel，xml，json等。但是读写excel等文件需要安装第三方的库，而最常操作的文件其实是txt和csv格式的文件，并且对于这两种文件的读写不需要安装其它的库，因为这已经...
2019-04-24 08:33:12
1162
原创 实验六十四 R语言基础：流程控制
64.1 实验目的1． 理解程序的逻辑结构；2． 理解分支结构；3． 理解循环结构。64.2 实验要求1． 掌握分支结构；2． 掌握循环结构。64.3 实验原理流程控制是存在于所有计算机语言里的基本概念，指在程序运行时，个别的指令执行或求值的顺序。一段程序有三种基本的控制结构，分别是顺序结构、分支结构和循环结构。程序语句由上到下逐行执行，便是顺序结构；分支结构是程序...
2019-04-23 08:44:36
608
原创 实验二十二 部署HBase
实验指导：22.1 实验目的1． 掌握HBase基础简介及体系架构；2． 掌握HBase集群安装部署及HBase Shell的一些常用命令的使用；3． 了解HBase和HDFS及Zookeeper之间的关系。22.2 实验要求1． 巩固学习下实验一、实验二、实验二十；2． 部署一个主节点，三个子节点的HBase集群，并引用外部Zookeeper；3． 进入HBase...
2019-04-22 21:18:49
693
原创 SpringMVC中web.xml配置文件的要点解析
SpringMVC中web.xml配置文件的要点解析：1.web.xml 中<context-param>与<init-param>的区别与作用<context-param>的作用:web.xml的配置中<context-param>配置作用1.启动一个WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读...
2019-04-21 08:49:39
233
原创 实验二十一 ZooKeeper进程协作
实验指导：21.1 实验目的掌握Java代码如何连接ZooKeeper集群及通过代码读写ZooKeeper集群的目录下的数据，掌握ZooKeeper如何实现多个线程间的协作。21.2 实验要求用Java代码实现两个线程，一个向ZooKeeper中某一目录中写入数据，另一线程监听此目录，若目录下数据有更新则将目录中数据读取并显示出来。21.3 实验原理通过ZooKeeper实...
2019-04-20 21:10:05
913
原创 mysql建表常用sql语句
最近跟项目，写后台需要用到SQL语句，就整理了一下mysql建表常用sql语句，并写几个可执行SQL脚本，方便日后复习查看以及使用：连接：mysql -h主机地址 -u用户名 －p用户密码 （注:u与root可以不用加空格，其它也一样）断开：exit （回车）创建授权：grant select on 数据库.* to 用户名@登录主机 identified by \"密码\"修改密码：m...
2019-04-20 11:49:49
15516
原创 实验十九 Spark实验：GraphX
实验指导：19.1 实验目的1．了解Spark的图计算框架GraphX的基本知识；2．能利用GraphX进行建图；3．能利用GraphX进行基本的图操作；4．理解GraphX图操作的算法。19.2 实验要求要求实验结束时，每位学生能完成正确运行Spark GraphX的示例程序，正确上传到集群中运行得到正确的实验结果。实验结束时能对实验代码进行一定的理解。19....
2019-04-20 00:11:39
1581
原创 实验二十 部署ZooKeeper
实验指导：20.1 实验目的掌握ZooKeeper集群安装部署，加深对ZooKeeper相关概念的理解，熟练ZooKeeper的一些常用Shell命令。20.2 实验要求部署三个节点的ZooKeeper集群，通过ZooKeeper客户端连接ZooKeeper集群，并用Shell命令练习创建目录，查询目录等。20.3 实验原理ZooKeeper 分布式服务框架是 Apache...
2019-04-19 22:39:58
1401
转载 Google 工程师是怎么处理大规模数据的？
Google 工程师是怎么处理大规模数据的？蔡元楠极客时间毫无疑问，Google是公认的大数据鼻祖。如今很多人提起大数据，还停留在Google开启的“三驾马车”时代：GoogleFS、MapReduce、BigTable。其实，“三驾马车”早已不是浪潮之巅。近年来，大数据技术的发展，不论是技术迭代，还是生态圈的繁荣，都远超我们的想象。从Spark成为Hadoop生态...
2019-04-15 18:53:16
695
原创 实验十八 Spark实验：Spark Streaming
实验指导：18.1 实验目的1． 了解Spark Streaming版本的WordCount和MapReduce版本的WordCount的区别；2． 理解Spark Streaming的工作流程；3． 理解Spark Streaming的工作原理。18.2 实验要求要求实验结束时，每位学生能正确运行成功本实验中所写的jar包程序，能正确的计算出单词数目。18.3 实验原...
2019-04-14 20:00:50
2555
原创 实验十五 Spark实验：RDD综合实验
实验指导：15.1 实验目的1． 通过Spark-shell的操作理解RDD操作；2． 能通过RDD操作的执行理解RDD的原理；3． 对Scala能有一定的认识。15.2 实验要求在实验结束时能完成max，first，distinct，foreach等api的操作。15.3 实验原理RDD(Resilient Distributed Datasets，弹性分布式数据...
2019-04-13 20:54:42
3680
原创 实验十七 Spark实验：Spark SQL
实验指导：17.1 实验目的1． 了解Spark SQL所能实现的功能；2． 能够使用Spark SQL执行一些sql语句。17.2 实验要求1． 能在实验结束之后完成建立数据库，建立数据表的数据结构；2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询；3． 练习怎么向Spark SQL中导入数据。17.3 实验原理Spark SQL用于以交互式...
2019-04-10 13:04:23
2020
原创 实验十六 Spark实验：Spark综例
实验指导：16.1 实验目的1． 理解Spark编程思想；2． 学会在Spark Shell中编写Scala程序；3． 学会在Spark Shell中运行Scala程序。16.2 实验要求实验结束后，能够编写Scala代码解决一下问题，并能够自行分析执行过程。有三个RDD，要求统计rawRDDA中“aa”、“bb”两个单词出现的次数；要求对去重后的rawRDDA再去掉r...
2019-04-10 09:30:09
2795
java swing opencv调用摄像头实现拍照及本地保存支持上传FTP路径配置
2018-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人