• 等级
  • 289079 访问
  • 187 原创
  • 24 转发
  • 7036 排名
  • 62 评论
  • 5 获赞

Hive 编程专题 六: 列引用之表值函数

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例 - 1 : 生成多列 select explode(deductions) as (type,vol) from default.employee 结果: 错误: 1 - 环境部署 create table account(accountid int, acc...

2018-11-16 22:18:25

Hive 编程专题五 : 列引用之聚合函数

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例: select type, count( object_id ) as objects from tblobj2 group by type order by objects desc 结果 其他聚合与 SQL Server 有些类似: avg() avg(di...

2018-11-16 22:17:24

Hive 编程专题四: 自定义函数 Java 篇

函数,总体分成内建函数与自定义函数。 内建函数针对不同的数据类型有分成很多种,字符函数,数值函数,日期函数,转换函数等; 自定义函数是构建于这些基础内建函数之上,用自定义的逻辑实现返回结果的函数。针对返回结果又可分为单值函数和多值以及表值函数。 1 常看所有内建和自建的函数 show functions ; 注意:Hive 2.3.3 内建函数 271 个 describe function f...

2018-11-15 22:50:47

Hive 编程专题三 : 列引用之算术组合

环境: Hive: 2.7.7Oracle SQL DeveloperCloudera JDBC Driver 案例: select object_id,schema_id, object_id + schema_id, object_id-schema_id,object_id*schema_id...

2018-11-14 21:26:28

Hive 编程专题二 : 列引用之列组合

环境: Hive: 2.7.7Oracle SQL DeveloperCloudera JDBC Driver 案例: select type + '.' + type_desc + ': ' + nameobject as

2018-11-14 21:25:17

Hive 编程专题 一 : 使用正则指定输出列

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例: select type,nameobject,`*date` from tblobj2 limit 10 ; 错误: 1 - 使用 Oracle SQL Developer 执行上述 HQL 语句报错: [Cloudera][HiveJDBCDriver](500051...

2018-11-04 14:24:46

Spark SQL 与 Hive 的第一场会师

“你好,一杯热美式,加 2 份shot, 1 份焦糖,谢谢” L 跨进汇智国际中心大厦的 Starbucks, 拿着 iPhone 对着点餐机轻轻一扫,对黑带服务员小妹抛出一个笑脸。 “ L 先生,您的热美式” “谢谢” 最近 1 礼拜,无论双休还是工作日,L 每天基本都是同一时间,在早上 Starbucks 开门的 5 分钟内必定冲进去,点好咖啡,在大玻璃落地窗坐定。打开 17 寸 MacPro...

2018-11-03 11:34:32

Spark 高难度对话 SQL Server 后记

GIIS (Global Information Industry Summit)峰会已经结束一周了。 从拉斯维加斯回来的 L 却依然兴奋,被冷冰的 SQL Server , Oracle 门票价挫伤之后,阴差阳错进入了另一片广袤的技术天地。 对于技术宅,莫过激起他研究到底的雄心,而此时的大数据生态正好给了 L 一味兴奋剂,而且剂量不低于 500CC. 目睹了 Spark 与 SQL Server...

2018-11-02 00:43:09

SQL 开发应有的一种思维

微信群的朋友们,提出的问题也是越来越有味道了。 可能有些读者会笑话我说,别人要你帮忙免费解决问题,你还觉得有趣,傻瓜! 但我觉得,做这样的傻瓜还确实挺有趣,收获远比其他某些付费却无趣的问题,多得多! *那位拿起搬砖或者准备取关的朋友,先消消气,听我讲个故事。 故事主人公是 艾萨克·巴什维斯·辛格,美国犹太人,用希伯来语和意第绪语写作。在 The New York Times 和 Parti...

2018-10-28 22:17:44

出色的 SQL 编码师成长进阶路线

学习就是一个不进则退的过程,不是带节奏,而是事实。 更高一级的工程师,需要克服的困难,读的书,读的 paper,会逐级加深,比如你还在读数据库实现的时候,人家已经在研究分布式存储的原理与实现了。 你说不想那么累,只想找一种半衰期长的技术混口饭吃,也是一种生活态度。没有什么不好,只是个人兴趣罢了。 你或许产品观很强烈,对产品的理解跟二爷甚至乔帮主那么深邃,是个出色的产品经理;你或许会三四门外语,跟印...

2018-10-21 09:53:26

Spark 高难度对话 SQL Server 续篇

GIIS (Global Information Industry Summit)峰会已经进行如火如荼进行了半程。商业数据库这边明显已经冷了下来,$1100 一天的峰会价格,并不是每个企业都吃得消,再者,在东半球上海举行的 QCon 已经吸引了更多的关注,那里的互联网应用似乎更加吸引资本的青睐,入会价格同样不低,接近 6K RMB ,好在是全场票。 L 这两天拿着 Spark, Hive, Had...

2018-10-19 07:53:14

Spark 高难度对话 SQL Server

在我们欢天喜地迎接超级长假的时候,地球的另半面拉斯维加斯正在进行着一场超级火爆的 GIIS (Global Information Industry Summit)峰会。看名头,这是一场信息领域的全球峰会,峰会的少不了 DB-Engines 公布的前 300 名 SQL 以及 NoSQL ,耳熟能详的有 Oracle, SQL Server, MySQL, PostgreSQL, DB2, Re...

2018-10-09 07:48:51

人工智能 - 应用方向指南

本文主要搜集机器学习等人工智能方向的应用 参考资料 https://www.zhihu.com/question/41012507/answer/106702987 知乎上 [T1 在东京]网友回答: ( 1)代替肉眼检查作业,实现製造检查智能化和无人化 例如工程岩体的分类,现场工程人员在使用tablet拍照后,就可以通过APP自动得到工程岩体分类的结果,高效且淮确率高...

2018-09-13 22:02:05

Shell 编程的老臣 - gawk

shell 的世界里有两个好兄弟:sed 和 gawk. 今天讲 gawk. awk 简史: The name awk comes from the initials of its designers: Alfred V. Aho, Peter J. Weinberger, and Brian W. Kernighan. The original version of awk was ...

2018-09-12 23:02:15

shell 编程的老臣 - sed

vi/vim 的世界里多了两个兄弟:sed 和 gawk. sed: stream editor. 在编辑器处理数据之前,根据事先提供的规则来编辑数据流。 sed 有点类似于 Kafka, 对数据进行一行一行的编辑,行云流水,没有半点拖沓。当然 kafka 更加强大,实时捕获数据,还能指定更复杂的处理逻辑,并且能够发送到任何地方保存起来。sed 能接受的源头是文本文件,最终的结果还只能是普通的文本...

2018-09-09 14:09:56

帕慕克给我上的一堂编程学习课

“学习“这件事,从来大家都以为是读书。其实并不是,任何有益于自己的知识的习得,都叫学习。读书只不过是视觉学习,而与之平行的另一种方式,便是听觉学习。正常人视觉学习,看书读报,那么有视觉障碍的人呢,他们也得有自己的学习方式,对吧,比如听广播,听有声书。 所以不要将学习手段固定在条条框框内,限制自己认知的广度。 学习最忌讳的两件事情:一是走马观花,二是朝三暮四。 结交酒肉朋友,走肾不走心:咣当半...

2018-09-08 13:56:34

开箱即用的 SQL Server Docker 之二

Docker 与 SQL Server 之一,讲的还只是 Docker 的一些基础概念,这篇将 Docker 应用在 SQL Server 上,包括这些主题: 在 Docker 上制作 SQL Server 镜像 Docker 发布 SQL Server 参考:https://docs.microsoft.com/en-us/sql/linux/quickstart-...

2018-09-03 21:57:32

开箱即用的 SQL Server Docker

SQL Server 真是越来越有看头。当我们还在为 Linux 上运行 SQL Server 而兴奋的时候,SQL Server 已经开启了 容器化之路,至此才能看清微软的胸怀,开始拥抱更大的世界。当我越来越深入去阅读有关 Docker 容器的文档,已然发现曾经部署上千台 Linux MySQL 的场景,如今在 Docker 的帮助下,SQL Server 也是手到擒来。如果 SQL Serve...

2018-09-03 21:55:34

Availability Group On Linux 搭建后记

create availability group [InvestorAG]    with (db_failover=on,cluster_type=external)    for replica on  &nb

2018-08-29 07:36:00

Linux 上配置 SQL Server Always On Availability Group

SQL Server Always On Availability Group 配置 步骤: 配置三台 Linux 集群节点 创建 Availability Group 配置 Cluster Resource Manager, 比如 Pacemaker 在集群中添加 Availability Groups 详细解说 1. 配置三台 Linux 集群节点 在集群中的三台服务器之间...

2018-08-29 07:32:37

dbLenis

Even the longest journey begins with a single step ...展开 收起
关注
  • 计算机软件/花旗软件(投行)
  • 中国 上海 浦东新区
奖章
  • 持之以恒