- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 mysql修改密码Your password does not satisfy the current policy requirements
mysql修改密码Your password does not satisfy the current policy requirements安装出现这个问题的原因是：密码过于简单。刚安装的mysql的密码默认强度是最高的，如果想要设置简单的密码就要修改validate_password_policy的值，validate_password_policy有以下取值：如果要修改这个值:1...
2019-04-19 21:27:07
1914
原创 Hive 外部表 新增字段或者修改字段不生效解决办法
问题现象：Hive 外部表新增字段或者修改字段类型等不生效解决办法： 查询hive的源数据库 表SDS；修改 所有分区的CD_ID 具体操作如下。mysql> select CD_ID from SDS where LOCATION ='hdfs://masters/user/hive/warehouse/apptestlog_gz' ;+---------+| ...
2018-11-26 10:15:55
3257
原创 修改系统资源限制，解禁系统可用资源。
现象：spark作业启动，可以正常提交到yarn（显示还有很多资源空闲），不论给作业分配多少资源，但是作业使用资源数不变。解决方法：调整系统资源限制。具体操作如下：1.句柄数 文件数 线程数echo "* hard nofile 196605" >> /etc/security/limits.confecho "* soft nproc 196605" >> /et...
2018-11-22 19:17:07
470
原创 hive -e 和hive -f 重定向数据，清除warn
问题现象：hive -f “hsql.sql” > /tmp/hsql.loghive -e “select * from tmp.table limit 10” > /tmp/hsql.log备注：hive -f与hive -e 作用是相同的。-f 是指定hsql文件。-e 是指定要执行的sqlHIVE执行重定向之后数据最后多了两行日志。WARN: The method c...
2018-10-26 16:37:04
6175
3
原创 linux系统时区问题 导致Spark Streaming 获取时间错误解决办法
问题现象：当前服务器都设置了时间同步，date命令查看服务器的时间是对的，但是通过java获取当前系统时间，时间是晚8小时。解决办法：1、验证java读取本地系统时间是否正确。vim NowString.javaimport java.text.SimpleDateFormat;public class NowString { public static void main(...
2018-10-23 13:39:14
578
1
原创 linux系统时区问题 导致Spark Streaming 获取时间错误解决办法
问题现象：当前服务器都设置了时间同步，date命令查看服务器的时间是对的，但是通过java获取当前系统时间，时间是晚8小时。解决办法：1、验证java读取本地系统时间是否正确。vim NowString.javaimport java.text.SimpleDateFormat;public class NowString { public static void main(...
2018-10-23 13:39:14
695
原创 重启namenode速度慢，耗时很久加载fsimage问题解决办法
如果重启namenode速度慢，耗时很久加载fsimage问题解决办法可以需要定期执行以下命令提前合并元数据。hdfs dfsadmin -safemode enter hdfs dfsadmin -saveNamespacehdfs dfsadmin -safemode leave（在关闭hdfs服务前，执行一上命令，会极大的加快重启namenode速度）...
2018-10-17 18:24:54
2533
原创 Unauthorized request to start container 问题原因
Unauthorized request to start container 问题原因时间不同步会导致 hive不能执行mapreduce，检查服务器时间是否同步。
2018-10-17 17:57:55
1949
原创 Got too many exceptions to achieve quorum 异常解决办法
Got too many exceptions to achieve quorum 异常解决办法org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 1 successful responses:10.1.5.103:8485: []...
2018-10-17 17:29:53
3105
原创 Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.Lon
这个问题是因为map的方法参数与继承mapper定义的参数类型不一致导致的，应该将Mapper的key参数类型设置成Object，就可以解决这个问题
2015-10-28 11:42:56
7959
1
原创 时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因
时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因为select *不调用mr select单个字段或者count（*）调用mr时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因为select *不调用mr select单个字段或者count（*）调用mr
2015-07-24 18:08:20
3936
2
转载 关于23种设计模式的有趣见解
创建型模式 1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。
2015-03-13 15:44:53
447
原创 编辑距离问题(1)
问题描述：设A和B是2个字符串。要用最少的字符操作将字符串A转换为字符串B。这里所说的字符操作包括:删除一个字符;(2)插入一个字符；(3)将一个字符改为另一个字符。将字符串A变换为字符串B所用的最少字符操作数称为字符串A到B的编辑距离,记为d(A,B)。试设计一个有效算法,对任给的2个字符串A和B,计算出它们的编辑距离d(A,B)。 问题分析： 将字符串拆分为字...
2014-01-03 15:13:24
740
原创 统计数字问题
一本书的页码从自然数1 开始顺序编码直到自然数n。书的页码按照通常的习惯编排，每个页码都不含多余的前导数字0。例如，第6 页用数字6 表示，而不是06 或006 等。数字计数问题要求对给定书的总页码n，计算出书的全部页码中分别用到多少次数字0，1， 2，…，9。给定表示书的总页码的10 进制整数n (1≤n≤10^9) 。编程计算书的全部页码中分别用到多少次数字0，1，2，…，9。In...
2014-01-03 14:54:49
1279
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人