- 博客(46)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 hive 多字段同时count(distinct)优化
网址：https://www.iteye.com/blog/superlxw1234-1534779 hive 多字段同时count(distinct)优化1. 需求与现状：源表：pcup_3month_login_dtl_mes ， 记录数12亿，文件数 300统计SQL:Sql代码in...
2020-03-06 19:34:20
4686
转载 Eclipse连接MySQL数据库（傻瓜篇）
网址：https://www.cnblogs.com/caiwenjing/p/8079227.html我的环境：MySQL：mysql-essential-5.1.51-win32 jdbc驱动：我已经上传到csdn上一个：http://download.csdn.net/source/3451945 Eclipse：任意版本，免费的，可以百度的到。1。MySQL安装，不会的朋友...
2018-04-25 09:55:18
334
原创 SQL规范与数据倾斜
一.SQL规范1、SQL编写规范逗号放字段前面对用到的表都用子查询的形式，并且只取需要用到的字段缩进(select/from/where …and …/group by/order by/join/on…)符号前后留空格对一些复杂的逻辑和需要注意的点加上注释说明别名 同级用1、2、3...区分(如 t1、t2、t3)2.规范的好处规范的好处逻辑结构清晰便于调试便于模块化处理美观，条理清楚3.误区觉...
2018-04-17 09:58:45
4066
转载 mac上使用crontab周期性执行python脚本
网址：https://www.cnblogs.com/Ohero/p/5230246.html这个月买了本书《Linux系统命令及Shell脚本实践指南》， 看到了一个周期性执行任务cron.顿时产生一个想法： mac上有这种机制么？加上自己也在15年下半年也学了点python脚本，哈哈，顿时就产生了这个想法“mac上使用crontab周期性执行python脚本”，不得不说网络是给力的，居然还真有...
2018-04-12 18:13:00
544
转载 VC维的来龙去脉
http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/?from=timeline&isappinstalled=0目录：说说历史Hoeffding不等式Connection to Learning学习可行的两个核心条件Effect...
2018-03-04 17:32:30
324
转载 Hive 窗口函数、分析函数
网址：https://www.cnblogs.com/skyEva/p/5730531.html1 分析函数：用于等级、百分点、n分片等Ntile 是Hive很强大的一个分析函数。可以看成是：它把有序的数据集合 平均分配 到 指定的数量（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。语法是：
2018-01-31 09:52:28
233
转载 "=>" 在scala 中的用法
例一：《Spark大数据处理技术》程序2-25val compareElement:((String,Int),(String,Int)) => (String,Int) = (val1,val2) => {if (val1._2 >= val2._2){ val1} else { val2}}注释：1、用val定义函数2、compareElemen
2018-01-23 09:23:00
4202
转载 Intelli IDEA创建包目录
网址：https://jingyan.baidu.com/article/e5c39bf5d8abc039d660335f.html首先，给大家看一下我生成的错误的包路径。本来是想生成一个user包，下面有2个包，action 和 dao。但是实际生成的却是这个样子。见下图。接下来我们看看正确的方法怎么生成。比如，我们在src下生成想要的包路径。第一步：先新建一个user.dao（这个目录可以一次
2018-01-18 16:44:22
2474
转载 当我们说Go语言的时候，我们在说些什么？
网址：https://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652392146&idx=1&sn=e3ebcdb53365d438505e92f6d2c0c04d&chksm=84da4a02b3adc3143b6fc45348af847f32820385d048ae0c3937013f8956befe73c6fcc0407e&mpsha
2018-01-15 09:29:51
273
转载 数据倾斜
网址：https://zhidao.baidu.com/question/714457915663857445.html触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。要解决数据倾斜的问题，首先要定位数据倾斜发生在什么地方，首先是哪个stage，直接在Web UI
2018-01-14 22:04:08
347
转载 PG、GP与MySQL的特点和区别
网址：https://www.cnblogs.com/Vvvolcano/p/7146636.html?utm_source=itdadao&utm_medium=referralPostgreSQL数据库介绍：PostgreSQL是一种运行在Unix和Linux操作系统(在NT平台借助Cygnus也可以运行)平台上的免费的开放源码的关系数据库。最早是由美国加州大学伯克利分校开
2018-01-12 17:16:36
6790
原创 intellij-IDE运行Java程序报错：java: -source 1.5 中不支持 lambda 表达式
报错：解决：第一步修改：第二步修改：
2017-12-29 15:04:15
2234
原创 使用PyCharm配置Spark的Python开发环境
网址1：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html网址2：http://itgrocery.cn/2017/03/01/%E5%88%A9%E7%94%A8-PyCharm-%E6%90%AD%E5%BB%BA-Spark-%E5%BC%80%E5%8F%91%E7%8E%
2017-12-26 16:00:33
10190
3
转载 Spark注册UDF函数，用于DataFrame DSL or SQL
网址：https://www.cnblogs.com/wwxbi/p/6798384.htmlimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions._ object Test2 { def main(args: Array[String]): Unit
2017-12-11 16:06:32
919
转载 mysql中游标的使用案例详解
网址：http://blog.csdn.net/xushouwei/article/details/522013601.游标是啥玩意？简单的说：游标（cursor）就是游动的标识，啥意思呢，通俗的这么说，一条sql取出对应n条结果资源的接口/句柄，就是游标，沿着游标可以一次取出一行。我给大家准备一张图：2.怎么使用游标？//1.声明/定义一个游标declare
2017-12-01 11:01:48
285
原创 hodoop中使用MapReduce实例
网址：http://eric-gcm.iteye.com/blog/1807468 https://www.cnblogs.com/hehaiyang/p/4484442.html一、类：WordCountpackage com.wave;import java.io.IOException;import java.util.StringTo
2017-11-23 16:46:06
286
转载 Linux下 su命令与su - 命令有什么区别？
网址：https://zhidao.baidu.com/question/156103424.htmlLinux中切换用户的命令是su或su -。su命令和su -命令最大的本质区别就是：前者只是切换了root身份，但Shell环境仍然是普通用户的Shell；而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误。su切换成root用户
2017-10-25 21:41:00
1385
转载 regexp_extract 正则表达式过滤
网址1：http://blog.sina.com.cn/s/blog_a18b33080102wsdw.html网址2：http://blog.csdn.net/jv_rookie/article/details/55211955函数描述:regexp_extract(str, regexp[, idx]) - extracts a group that matches r
2017-06-30 15:44:05
9231
转载 合并一个文件夹下多个文件内容的单行shell命令
转载网址：http://www.shangxueba.com/jingyan/1898710.html合并一个文件夹下多个文件内容： 复制代码代码如下: find -name "*.log" -exec 'cat' {} \; > test.txt
2017-06-17 11:08:40
584
转载 Windows平台下kafka环境的搭建
Windows平台下kafka环境的搭建一、Kafka配置： 参考网址：http://www.2cto.com/net/201701/588235.html 准备工作：1.安装jdk环境http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载kafka的程序安装包http://ka
2017-04-13 10:01:59
5459
转载 cvCaptureFromFile读取视频文件失败
cvCaptureFromFile不能打开一些视频文件这个问题跟video codec相关。我一般只使用xvid codec，从这儿http://www.xvidmovies.com/codec/下载xvid codec安装后，就可以读写xvid视频了。
2017-01-23 16:14:01
1722
转载 详解卷积神经网络
网址：http://mp.weixin.qq.com/s?__biz=MzA5ODUxOTA5Mg==&mid=2652550746&idx=2&sn=6ef49af97e5d78757f9e642653745f4e&chksm=8b7e4701bc09ce17115bd5c5c28fccb484ae979bc39dfbece89ec5eae9aa0b565d46a479aec0&mpshare=
2016-12-13 08:30:44
210
转载 Hadoop平台中SQL优化的四个思路
网址：http://mp.weixin.qq.com/s?__biz=MzA4ODExNDExNw==&mid=2649952640&idx=1&sn=57e7f3ea720670c9f109549581b2986e&chksm=8828a72abf5f2e3c6e0291214f29bd6a06c997426460842a4e28e296b4e0a9e968b22cb59d16&mpshar
2016-12-08 08:34:22
306
转载 快速认识ELK中的L - Logstash
网址：http://mp.weixin.qq.com/s?__biz=MzA4Nzc4MjI4MQ==&mid=2652402392&idx=1&sn=a8ffef741a4f1d6b3255069c2eaef91a&chksm=8bd8f43ebcaf7d28b74405e5fa9b72d69e7a62b3d2c750bc6b27a790cdb98a37f469028d1881&mpshare=
2016-12-08 08:33:22
541
转载 Apache kafka 工作原理介绍
网址：http://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=2650862248&idx=1&sn=45e7f19b411be46622c61cda8a71f922&chksm=8b6615edbc119cfbbb64c993aeb7ed5bc37a69378a1c65f7d1275983c9e28d549e5f70c7e14c&mpshar
2016-12-08 08:32:28
456
转载 保持简单：Uber流处理架构演进的四字箴言 | 附124页PPT下载
网址：http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992977&idx=1&sn=24e81c309fca42124fa3f15232464fd5&mpshare=1&scene=1&srcid=1206STKn0cTOnQ7WWrBJJVyo#rd
2016-12-08 08:31:17
293
转载 Hadoop新手学习指导
转载网址：1.http://www.bi168.cn/thread-12741-1-1.html 2.http://www.bi168.cn/thread-12748-1-1.html1.零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和ja
2016-08-30 20:41:08
397
转载 学习hadoop学什么？
转载网址：http://www.bi168.cn/thread-12847-1-1.html大数据依然是火的不要不要的，作为大数据基础的hadoop自然也会备受重视，那么Hadoop的使用场景有哪些？小编给大家介绍下。1，大数据量存储：分布式存储2，日志处理：Hadoop擅长这个3，海量计算：并行计算4，ETL：数据抽取到Oracle、mysql、DB2
2016-08-30 20:13:17
816
转载 spark 调用saveAsTextFile 报错NullPointerException
解决方法：1.http://www.cnblogs.com/likai198981/p/4123233.html 2.http://www.myexception.cn/cloud/1976385.html写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException
2016-08-29 11:01:26
4160
2
转载 DataNode不能启动
转载网址：http://blog.csdn.net/cai5/article/details/25902731DataNode不能启动：在客户端日志显示 namenode namespaceID = 1713611278; datanode namespaceID = 596511341这个问题基本上是因为在namenode端多次运行hadoop namenode –f
2016-08-23 11:42:10
318
转载 OpenCV 2.4.6在VS2010的重编译 (OpenCV 源代码 查看)
转载网址：http://bbs.csdn.net/topics/3909077561, 软件准备：1-1，cmake-2.8.12.2-win32-x86.exe 1-2，OpenCV-2.4.6.0.exe 1-3，VS2010 2, OpenCV 2.4.6重编译过程：2-1，OpenCV-2.4.6.0解压缩，设解压缩目录为F:\opencv_extract.
2015-12-07 20:15:34
768
转载 反向传播神经网络极简入门
转载网址：http://www.hankcs.com/ml/back-propagation-neural-network.html我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代
2015-11-09 14:47:05
1072
原创 OpenCV中的HOG+SVM物体分类 hog->compute(trainImg, descriptors,Size(1,1), Size(0,0))出现bug
本人调试这篇博客->OpenCV中的HOG+SVM物体分类(网址：http://blog.csdn.net/yongshengsilingsa/article/details/7535496)出现错误。调试报错：svm_hog.exe 中的 0x00434240 处有未经处理的异常: 0xC0000005: 写入位置 0x00aec240 时发生访问冲突。解决方法：项目属性->连接器->输
2015-10-15 08:46:18
3439
转载 Source Insight 查看opencv源码
转载网址：http://www.cnblogs.com/octobershiner/archive/2012/03/16/2400805.html 在开发的过程中，有时候我们需要研究源代码，查看源码是一个好的习惯，能帮我们学到很多的东西，比如JDK可以帮助我们理解很多设计模式在实际开发中的应用，又或者android开发者，源代码更是必不可少的，当我们看代码的时候总会有各
2015-06-18 14:57:26
1803
转载 KNN与K-Means的区别
转发：http://www.tuicool.com/articles/qamYZvKNN(K-Nearest Neighbor)介绍Wikipedia上的 KNN词条 中有一个比较经典的图如下：KNN的算法过程是是这样的：从上图中我们可以看到，图中的数据集是良好的数据，即都打好了label，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的
2015-01-26 19:58:14
1565
转载 判断点在多边形内部
判断点在多边形内部作者：hyp微博：http://weibo.com/hhyypp0.前言最近不断遇到类似的几何位置问题，一直没有花时间去总结，本文总结了我常用点跟多边形的位置判断方法以及代码。希望能够对大家有所帮助。文中所指的多边形均为凸多边形，一些描述可能有误，欢迎指正。1.测试的多边形在开始之前，我们需要先构建好测试环境。我构建了一个比较特
2014-08-12 12:20:36
733
转载 OpenCV中HOG+SVM物体分类
网址：http://www.360doc.com/content/13/0313/11/2036337_271208986.shtmlhttp://blog.csdn.net/yangtrees/article/details/7471222
2014-06-18 09:49:43
815
转载 VC文件扩展名解读大全
VC文件扩展名解读大全.APS：存放二进制资源的中间文件，VC把当前资源文件转换成二进制格式，并存放在APS文件中，以加快资源装载速度。资源辅助文件。.BMP：位图资源文件。.BSC：浏览信息文件，由浏览信息维护工具（BSCMAKE）从原始浏览信息文件（.SBR）中生成，BSC文件可以用来在源代码编辑窗口中进行快速定位。用于浏览项目信息的，如果用source bro
2014-06-17 10:33:42
615
转载 快速排序c++实现
转载网址：http://www.oschina.net/code/snippet_103022_2499快速排序c++实现1. [代码][C/C++/Objective-C]代码 01//2010/12/21 20:37:2602//快速排序
2013-08-28 17:15:58
708
Vehicle检测训练和检测工具
2014-06-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人