- 博客(25)
- 收藏
- 关注
RSS订阅
原创 浏览器iframe跨域
最近项目中使用到了umeditor 1.2.2，在图片上传的过程中遇到跨域问题。umeditor在图片上传模块中使用iframe来获取服务端的返回结果。众所周知，在chrome等浏览器中是不允许iframe跨域访问的。当在不同域下使用umeditor向服务器上传图片时，会报跨域错误.Cross-Origin Read Blocking (CORB) blocked cross...
2018-10-30 11:22:26
919
原创 mapreduce实现原理
1.MapReduce简介 一 MapReduce是一种分布式计算模型.是由Google提出的,主要是解决海量数据的计算。 二 MapReduce主要分为两个阶段:Map和Reduce,用户只需实现map()和reduce()即可实现分布式计算.2.MapReduce实现流程3.MapReduce原理解析:1.阶段是Map阶段: 1.1 读取HDFS中的文本.将每一行都解析成一个个<...
2018-03-18 14:59:44
784
转载 解决SpringBoot jar包太大的问题
本文主要是解决springboot maven打包jar太大。springBoot的web应用一般都添加了spring-boot-maven-plugin插件Maven xml代码 org.springframework.boot spring-boot-maven-plugin
2018-01-18 11:33:33
6721
原创 HBASE迁移数据几种方式
一.数据导入HBase中常见方式 数据的来源: (1)日志 (2)RDBMS 导入的方式: .使用hbase的api put api（kettle,sqoop） .使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时，效率问题体现得尤为明显。待处理的数据量
2017-12-12 00:18:06
537
转载 SVN创建分支/合并分支/切换分支
在建立项目版本库时，可首先建好项目文件夹，并在其中建立trunk, branches, tags三个空的子目录。这样在trunk中开始进行开发trunk是主分支，是日常开发进行的地方。branches是分支。一些阶段性的release版本,这些版本可以进一步开发和维护的,则可以放在branches目录中.tags目录一般是只读的，这里存储阶段性的发布版本，只是作为一个里...
2018-08-28 22:34:31
656
原创 Node Js入门
1.从node官网下载安装文件，官网地址：http://nodejs.org/2.开始安装nodejs，默认是安装在C:\Program Files\nodejs下面3.进入nodejs的安装目录4.node安装完成.在安装目录创建node-cache和node-global文件夹.如下图:启动cmd，输入：npm config set cache "E:\nod...
2018-08-11 19:22:09
174
原创 MYSQL查询语句优化
mysql的性能优化包罗甚广： 索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。这里的记录的优化技巧更适用于开发人员，都是从网络上收集和自己整理的，主要是查询语句上面的优化，其它层面的优化技巧在此不做记录。查询的开销指标：执行时间 检查的行数 返回的行数建立索引的几个准则：1、合理的建立索引能够加速数据读取效率，不合理的建立索引反而会拖慢数...
2018-03-26 00:07:36
354
原创 Hbase深入学习
Memstore&StoreFile client写入->存入MemStore,一直到MemStore满->flush成为一个StoreFile,直到增长到一定的阀值->compact合并操作->将多个storefile合并成一个storefile,同时进行版本合并和数据的删除->当storefile compact后,逐步形成越来越大的storefile->单个storefile大小
2017-11-18 10:26:15
302
原创 HBASE初窥使用
1.能做什么？ *海量数据的存储. *海量数据的查询 2.概述 Hbase是一个构建在HDFS上的分布式列存储系统。 Hbase是基于Google BigTable模型开发的，典型的key/value的系统. table columnfamily column01, colum
2017-11-13 00:11:05
181
原创 hive深入使用
1.加载数据到hive 用法 load data [local] inpath ‘filepath’ [overwrite] into table tablename[partition (分区字段)]； (1):加载本地文件到hive表 load data local inpath’/usr/beijing/houser/emp.txt’ into table emp; (2).加
2017-10-25 23:38:00
200
原创 hive分区表几大注意事项
分区表： 1.问题的引入 1).bf_log /usr/hive/warehouse 20170910.log 20170922.log 我想分析某一天的数据,如果按照以上的就会扫描全表,从而增加了数据库的压力,引入了分区表 2)./usr/hive/warehouse 20170910/ 20170910.l
2017-10-25 22:36:36
2488
翻译 大数据之hive安装
大数据之hive安装及分析web日志实例 数据搜索与分析是运维狗必备技能 “In reality, 90+% of MR jobs are generated by Hive SQL 一、理论知识预热一句话介绍：基于Hadoop文件系统之上的分布式，按列存储的数据仓库架构，提供数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。 通俗理解：Hive管理HDFS中存储
2017-10-25 20:51:15
446
原创 Hive配置 连接远程mysql
在hive连接远程mysql中间遇到了一些问题: 1.java.sql.SQLException: Access denied for user ‘root’@’hadoop- serion’ (using password: YES) 确认密码 和用户名都是正确的 2.在用户名和密码正确的情况下，其次的原因可能就是没有权限 GRANT ALL PRIVILEGES ON .
2017-10-22 00:15:03
834
原创 Java的加密技术（BASE64与单向加密算法MD5,SHA,MAC）
最近在研究Java的加密算法，包括以下的 一.基本单向加密算法: 1.base64严格的说不属于加密算法,属于编码格式 2.MD5(Message Digest algorithm 5，信息摘要算法) 3.SHA(Secure Hash Algorithm，安全散列算法) 4.MAC(Hash Message Authentication Code，散列消息鉴别码) 二.复杂的对称加密(
2017-08-20 21:31:40
293
原创 Java的加密和解密艺术
1.在项目中服务端解密不对.但是本地解密正确.后来发现base64加密字符会有换行的现象。发现base64一行不能超过76个字符，超过则添加回车换行符. 用字符串对象的replaceAll方法替换掉\r和\n，代码如下： replaceAll(“[\s*\t\n\r]”, “”); 到此解密成功。
2017-08-15 09:43:42
303
原创 jQuery选择器
1.表单元素过滤选择器: (‘:enabled′) 选择可操作表单元素 (‘:disabled’) 选择表单不可操作的所有元素 (“:checked”) 选择所有被checked表单元素2.表单元素选择器 (“:input”) 选择所有的表单输
2017-08-11 23:27:33
161
转载 如何保证微服务接口的幂等性
在我们实际中，在微服务架构的时候，我们在完成一个支付订单常常会遇到下面的场景:1.在预下单创建订单,第一次调用超时(timeout),然后重试了一次2.在订单创建时，我们需要去扣减库存，这时接口发生了超时，调用方重试了一次3.一个订单状态更新接口，调用方连续发送了两个消息，一个是已创建，一个是已付款。但是你先接收到已付款，然后又接收到了已创建4.在支付完成订单之后，需要发送一条短信，当一台机器接收
2017-08-01 12:21:24
3691
翻译 卫语句优化嵌套表达式
根据《重构》第9章中可知，条件表达式通常有两种表现形式。第一种是所有分支都属于正常行为；第二种是条件表达式提供的答案只有一种是正常行为，其他都不是常见的情况。所以这两种表达式有不同用途，对于第一种代码可以用if-then-else的条件表达式；对于第二种某个条件极其罕见，就应该单独检查该条件，这种单独检查就被称为“卫语句”（guard clauses）。将条件和结果产生映射对应的关系。
2017-07-24 02:08:39
570
1
原创 从postsql上迁移数据到Mysql中
1.登陆服务器使用命令:pg_dump -h localhost -U 用户名 数据库名 > /dum.sql 如果想导出单张表的数据: pg_dump -h localhost -U 用户名 数据库名 -t 表名> /pay_log.sql 2.下载官方下载postsql数据库：https://www.postgresql.org/download/ 3.通过dos命令到po
2017-04-10 15:21:51
468
原创 Linux nginx安装
安装nginx 1.安装pcre和 pcre-devel yum install -y pcre yum install -y pcre-devel 2.安装zlib-devel ./configure: error: the HTTP gzip module requires the zlib library. You can either disable the mo
2017-03-27 22:45:36
285
原创 使用Ambari快速部署Hadoop大数据环境
开始部署首先了解下Ambari, 项目地址在:http://incubator.apache.org/ambari/安装文档在: http://incubator.apache.org/ambari/1.2.2/installing-hadoop-using-ambari/content/index.htmlHortonWorks的人写的一篇介绍安装的文章我翻译了下: http://www.cnbl
2017-02-20 13:20:08
1112
转载 Java ActiveMQ Spring ActiveMQ整合+注解消息监听
对于ActiveMQ消息的发送，原声的api操作繁琐，而且如果不进行二次封装，打开关闭会话以及各种创建操作也是够够的了。那么，Spring提供了一个很方便的去收发消息的框架，spring jms。整合Spring后，代码不仅变得非常优雅，而且易用性和扩展性更好。1. maven依赖 <!-- activemq --> <dependency> <groupId>or
2017-01-23 10:57:58
509
转载 mysql保存emoji表情（微信开发用户昵称..）
java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x92\x94’ for colum n ‘name’ at row 1 at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073) at com.mysql.jdbc.MysqlIO.checkErrorP
2017-01-23 10:42:38
4050
原创 MongoDB中Query的方法
Query.All(“name”, “a”, “b”);//通过多个元素来匹配数组 Query.And(Query.EQ(“name”, “a”), Query.EQ(“title”, “t”));//同时满足多个条件 Query.EQ(“name”, “a”);//等于 Query.Exists(“type”, true);//判断键值是否存在 Query.GT(“value”, 2);/
2017-01-23 09:48:57
2206
转载 MongoDB Query 的几个方法
Query.All("name", "a", "b");//通过多个元素来匹配数组Query.And(Query.EQ("name", "a"), Query.EQ("title", "t"));//同时满足多个条件Query.EQ("name", "a");//等于Query.Exists("type", true);//判断键值是否存在Query.GT("value", 2);
2016-02-01 09:02:21
329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人