- 博客(95)
- 收藏
- 关注
RSS订阅原创 错误提示安装依赖的库文件没有找到： libmysqlclient.so.18()(64bit)
安装mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm。
2023-03-17 15:35:00
478
1
原创 VMware安装虚拟机（CentOS6）分配ip，并通过Xshell连接
vmware客户端：点击“编辑”–>"虚拟网络编辑“，设置子网ip和本地网段保持一致。因为需要通过本地xshell客户端连接虚拟机，因此虚拟机的网段和本地网段保持一致。手动方式设置固定ip，其他步骤都一样，唯一不同是在以下文件中把ip写死。1、通过DHCP动态分配ip（一次分配后，多次重启虚拟机ip不变)然后，点击”NAT设置“，检查下网关，一般不用修改。然后设置DHCP动态配置，设置起始ip和结束ip。2、通过手动分配动态ip（ip写死）执行命令查看ip：ifconfig。1、首先查看本地网段。
2022-11-30 17:59:31
1310
原创 struts项目No result defined for action action.LoginAction and result success 问题解决
No result defined for action ******** and result input
2022-09-07 11:08:57
398
原创 python3 安装thrift-sasl报错：Failed building wheel for sasl 解决方式
python3 安装thrift-sasl报错：Failed building wheel for sasl 解决方式安装thrift_sasl报错 sudo pip install thrift_saslLooking in indexes: https://mirrors.rong360.com/rong/pypi/+simpleCollecting thrift_saslCollecting thrift>=0.10.0 (from thrift_sasl)Requireme
2020-09-17 19:15:21
1352
原创 Could not find an activated virtualenv (required)解决方案
Could not find an activated virtualenv (required)在执行pip install --upgrade pip时报错网上解决方案如下：https://www.e-learn.cn/content/wangluowenzhang/309242但以上解决方案都没有解决我的问题，最终我的解决方式如下，末尾加–isolated：sudo ./pip ...
2019-12-11 13:07:30
2189
原创 python2.7环境解决ImportError: No module named _tkinter
首先安装Tkinter模块：yum -y install tkinter再次运行import Tkinter后报错：Python代码Type “help”, “copyright”, “credits” or “license” for more information.import TkinterTraceback (most recent call last):Fil...
2019-08-15 17:22:03
11126
1
转载 optparse模块解析命令行参数的说明及优化
见博客：https://www.cnblogs.com/paulwhw/p/9065074.html
2019-08-14 17:46:42
157
原创 Python装饰器学习
一、装饰器是什么在代码运行期间不改变原函数定义的基础上，动态给该函数增加功能的方式，称之为装饰器。是一个很著名的设计模式二、装饰器的使用范围较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计，有了装饰器，我们可以抽离出大量函数中与函数功能本身无关的雷同代码并继续重用。概况的讲，装饰器就是为已有的函数添加额外的功能。三、装饰器和闭包另外装饰器其实是个闭包，闭包就是：...
2019-07-01 21:11:26
149
原创 python初探（一）
Python初探（一）python的特点python的特点如何执行pythonpython的字符串类型更改文件的编码格式获取和更改系统编码判断字符编码类型常量数字逻辑值变量一些基本知识命名规则一些使用习惯数据类型变量赋值变量特性对象python保留字python程序块代码注释python的特点1、简单易学，功能强大2、高效率的高层数据结构3、简单而有效地实现面向对象编程4、简洁的语法和对...
2019-06-08 19:56:22
601
转载 grunt server报错：Warning: Task "server" not found. Use --force to continue.
jdk1.8环境ubuntu16.04系统 172.20.1.10 node-1ubuntu16.04系统 172.20.1.20 node-2ubuntu16.0.4系统 172.20.1.30 node-3安装elasticsearch版本：elasticsearch-6.2.2.tar.gz安装包下载路径（里边有6.2.2版本、6.4.2版本和...
2019-04-28 22:11:32
5723
转载 高并发环境下生成订单唯一流水号方法:SnowFlake
关于订单号的生成，一些比较简单的方案：1、数据库自增长ID优势：无需编码缺陷：大表不能做水平分表，否则插入删除时容易出现问题高并发下插入数据需要加入事务机制在业务操作父、子表（关联表）插入时，先要插入父表，再插入子表2、时间戳+随机数优势：编码简单缺陷：随机数存在重复问题，即使在相同的时间戳下。每次...
2019-04-09 16:55:53
1502
原创 sqoop从hive导出到mysql报错： failed with state FAILED due to: Task failed
因为报错job任务失败，所以查看了job任务的日志找到原因：
2019-03-27 20:06:35
3625
1
原创 java中获取英文的星期方式
public class test4 { public static void main(String[] args) { System.err.println(getWeek(DateFormatUtil.StringYmd("2019-03-21"))); } public static String getWeek(Date date){ SimpleDateF...
2019-03-20 15:01:22
2275
转载 mybatis3中@SelectProvider的使用技巧
mybatis的原身是ibatis，现在已经脱离了apache基金会，新官网是http://www.mybatis.org/。mybatis3中增加了使用注解来配置Mapper的新特性，本篇文章主要介绍其中几个@Provider的使用方式，他们是：@SelectProvider、@UpdateProvider、@InsertProvider和@DeleteProvider。MyBatis 3 ...
2019-03-13 10:55:17
1024
转载 MyBatis-Plus | 最优雅最简洁地完成数据库操作
<div><div class="cl-preview-section"><h2 id="引言">引言</h2>两点：一，使用MyBatis-Plus最新版（3.0.1）完成相关操作二，好久没写MyBatis操作数据库的博文了，有没有想我啊，哈哈，认真看，认真听，认真学。测试效果：下面听我细细道来，MyBat...
2019-03-02 01:02:56
911
原创 解决Caused by: java.lang.ClassNotFoundException: org.springframework.boot.SpringApplication
从git上更新了同事版本后突然项目启动不了了，惊了一跳。报错如下：百度半天都说是springboot版本问题，但我的springboot版本并没有动过。所以肯定不是版本问题。debug模式等都找不到原因，突然想起可以编译下试试。最后用gradle编译了下报错如下然后在gradle配置文件中注释掉相关包后，gradle更新后启动正常总结，开始的报错是找不到SpringApplicat...
2019-02-21 15:33:48
102592
2
转载 java 泛型详解-绝对是对泛型方法讲解最详细的，没有之一
java 泛型详解-绝对是对泛型方法讲解最详细的，没有之一 对java的泛型特性的了解仅限于表面的浅浅一层，直到在学习设计模式时发现有不了解的用法，才想起详细的记录一下。本文参考java 泛型详解、Java中的泛型方法、 java泛型详解1. 概述泛型在java中有很重要的地位，在面向对象编程及各种设计模式中有非常广泛的应用。什么是泛型？为什么要使用泛型？泛型，即“参数化类型...
2019-02-18 14:06:17
282
转载 Java总结篇系列：Java多线程（三）
本文主要接着前面多线程的两篇文章总结Java多线程中的线程安全问题。一.一个典型的Java线程安全例子 1 public class ThreadTest { 2 3 public static void main(String[] args) { 4 Account account = new Account("123456", 1000); 5 ...
2019-02-18 13:50:56
113
转载 Java总结篇系列：Java多线程（一）
多线程作为Java中很重要的一个知识点，在此还是有必要总结一下的。一.线程的生命周期及五种基本状态关于Java中线程的生命周期，首先看一下下面这张较为经典的图：上图中基本上囊括了Java中多线程各重要知识点。掌握了上图中的各知识点，Java中的多线程也就基本上掌握了。主要包括：Java线程具有五中基本状态新建状态（New）：当线程对象对创建后，即进入了新建状态，如：Thread...
2019-02-18 13:49:18
138
转载 java泛型
一. 泛型概念的提出（为什么需要泛型）？首先，我们看下下面这段简短的代码: 1 public class GenericTest { 2 3 public static void main(String[] args) { 4 List list = new ArrayList(); 5 list.add("qqyumidi"); ...
2019-02-18 13:09:43
105
转载 完美配置Tomcat的HTTPS
yvfish 完美配置Tomcat的HTTPS 博客分类： Tomcat HTTPS 阅读更多 Tomcat配置HTTPS的文章到处都有，过程也比较简单，随后文中会转一段过来。但对于启用APR情况下报异常“java.lang...
2019-02-15 10:25:48
549
转载 Spring MVC全局异常后返回JSON异常数据
问题： 当前项目是作为手机APP后台支持，使用spring mvc + mybaits + shiro进行开发。后台服务与手机端交互是发送JSON数据。如果后台发生异常，会直接返回异常页面，显示异常内容，如果是404请求不到资源或者500这类服务器的问题，可能会导致返回404和500异常页面，手...
2019-02-14 13:44:11
832
原创 springBoot @Autowired注入对象为空原因总结
BankDAO类内容如下：package com.wiseco.engine.dao;Controller中内容：cacheTableMap.get(tableName)值为：com.wiseco.engine.dao.BankDAO结果调用controller执行refreshCache函数时报空指针异常，通过debug模式跟踪发现以下地方cacheJob对象是null。分析后...
2019-02-14 10:24:31
36252
2
转载 mysql datetime类型精确到毫秒、微秒的问题
mysql里面的datetime类型的精确度是可以到1/ 10 ^ 6 秒的 某些客户端（如navicat for mysql）的显示经常只能看到精确到秒，其实是设计表的时候的配置问题。如图，简单易懂。在”设计表”中，小数点这一列只能为0，就算填上别的数值，保存时候也会被改为0.可见只能为0. 长度这一栏，最大为6. 最小为0. 就是显示时间的时候的秒后面的小数点后的位数。 ...
2019-02-01 11:47:52
28252
2
转载 HIVE中的NULL处理
背景： 在此记录下使用 sqoop将数据从mysql导出到 hive过程中需要注意的几个地方，包括 NULL值处理、增量导入、parquet格式的日期类型注：这种数据传输工具其实没必要深究所有用法，用到哪块去研究下就行了Sqoop版本：1.4.6 - CDH5.13.0一、NULL处理1. ...
2019-01-30 10:35:47
9386
转载 sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决
在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。 解决方案如下：在yarn-site.xml中加入如下配置：...
2019-01-29 20:43:01
1073
转载 Hive官方手册翻译--hive事务
目录一、Hive 3的警告二、什么是ACID，为什么要使用ACID呢？三、限制四、流式API五、语法变化六、基本设计6.1、 基础目录和增量目录6.2、 紧缩器6.2.1、 增量文件紧缩6.3、 事务/锁管理器七、配置参数7.1、 事务的新配置参数7.2、 为INSERT，UPDATE，DELETE设置的参数7.3、 为紧缩设置的参数八、表属性 正文由 Alan Ga...
2019-01-29 10:35:51
1168
原创 sqoop增量导入时使用--merge-key报错
脚本内容：export SQOOP_HOME=/home/software/sqoop-1.4.4.bin__hadoop-2.0.4-alphaexport PATH=PATH:PATH:PATH:SQOOP_HOME/binsqoop import –connect jdbc:mysql://192.168.124.130:3306/test –username root –pas...
2019-01-28 20:33:09
1732
转载 sqoop增量导入常见问题
sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题。一 &nbsp;业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的，1 把hive查询结果直接进入Hive的表a（a表需要创建，结构需要和b一样）2 通过sqoop把表a的内容导入到MySql表b（b表已经存在），这个时候你需要现在hive上创...
2019-01-28 17:15:49
1124
转载 HDFS JAVA API APPEND操作异常
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.背景关于这个异常的介绍可以查看hadoop exceptions 上面帖子中解释是两个配置项的问题，官方文档对这两个配置项的解释...
2019-01-28 17:14:38
342
2
转载 hadoop最新稳定版本使用建议
hadoop最新稳定版本使用建议 Apache HadoopApache版本衍化比较快，我给大家介绍一下过程ApacheHadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1....
2019-01-22 15:47:06
10564
原创 shell 日期加减运算
比如今日是2012-04-22$ date -d “+1 day” +%Y-%m-%d2012-04-23$ date -d “-1 day” +%Y-%m-%d2012-04-21$ date -d "2012-04-10 -1 day " +%Y-%m-%d2012-04-09$ date -d "2012-04-10 +1 day " +%Y-%m-%d2012-04-11...
2019-01-09 13:35:37
4568
原创 linux下用shell删除三天前或者三天内的文件
说明：+n 大于 n, -n 小于 n, n 相等于 n.find / -amin -30 -ls # 查找在系统中最后30分钟访问的文件find / -atime -2 -ls # 查找在系统中最后48小时访问的文件find / -mmin -10 -ls # 查找在系统中最后10分钟里修改过的文件find / -mtime -1 -ls # 查找在系统中最后24小时里修改过的文件fi...
2019-01-09 13:31:49
7791
1
转载 Spring boot打包为可部署在tomcat下运行的war文件的方法（使用Gradle、Intellij IDEA）
使用Gradle：dependencies { compile("org.springframework.boot:spring-boot-starter-web") providedCompile("org.springframework.boot:spring-boot-starter-tomcat")//此处使用providedCompile，则生成的jar包可放入to...
2019-01-08 15:32:50
402
1
转载 java代码写UTF-8编码文件的方法
Java代码 /** * 输出文件，编码为UTF-8 用记事本另存为：fileContent 全部为英文则为ansi 包含中文则为UTF-8 * @param filePathAndName * @param fileContent */  
2019-01-08 09:22:29
1548
转载 hive的用户和用户权限
HiverServer2支持远程多客户端的并发和认证，支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限，其安全控制体系与Linux及Hadoop的用户是否存在联系。1）remote方式部署HiveHive中...
2019-01-07 20:13:18
348
转载 @Primary-在spring中常被忽视的注解
@Primary-在spring中常被忽视的注解 在spring 中使用注解，常使用@Autowired， 默认是根据类型Type来自动注入的。但有些特殊情况，对同一个接口，可能会有几种不同的实现类，而默认只会采取其中一种的情况下 @Primary 的作用就出来了。下面是个简单的使用例子。有如下一个接口public interface Singer { ...
2019-01-07 09:46:07
125
转载 通过jdbc连接hive
目前使用hive的方式主要有2种：a、仅把hive作为一个可以对文件使用sql查询的工具来使用，即常见的在hive客户端上，指定hive的metastore和hive的数据仓库目录（即hdfs目录），然后指定hadoop的目录以及相应执行的jar包即可，在命令行下调用：1 mammut@classb-ds-bigdata16:~/apache-hive-1.2.1-bin$ bin...
2019-01-05 21:54:36
1758
转载 hive中动态表和静态表区别
虽然之前已经用过很多次hive的分区表，但是还是找时间快速回顾总结一下加深理解. 举个栗子，基本需求就是Hive有一张非常详细的原子数据表original_device_open，而且还在不断随着时间增长，那么我需要给它进行分区，为什么要分区?因为我想缩小查询范围，提高速度和性能. 分区其实是物理上对hdfs不同目录进行数据的load操作，0.7之后的版本都会自动创建不存在的hdfs的目录...
2019-01-04 12:03:51
1640
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人