• 等级
  • 308972 访问
  • 196 原创
  • 24 转发
  • 6860 排名
  • 65 评论
  • 8 获赞

SQL 运行时性能统计信息的获取

打个招呼,这一篇可能不适合 CRUD Boy/Girl. 纯做增删改查的 SQL 编码师可能会觉得偏难。 假设如下的存储过程,有两段 SQL 查询组成。执行时发现,响应很慢。 请问你该怎么办? 有同学说,看阻塞情况,这样的: 找到伤害你的元凶了,该报仇报仇,该抱怨就抱怨。 又有同学说,看执行计划,这样的: 这两种做法都可以尝试,且对调优也有相当的帮助。但今天要探讨的是另外一种方法,运行时获取...

2019-01-18 23:15:14

20 图归纳 SQL 数据库知识点

华为的“孟晚舟”事件冲击了我的认知,新年第一课从《财新周刊》学到。具有“亚洲最值得关注的十位女性之一”美誉的胡舒立创建的《财新网》是中国第一个收费的新闻网站。平时看网页新闻,新浪,网易等都是免费的,但《财新网》很特别,想看完整的新闻就要收费。好奇的我来劲了,跑遍了整个社区去追《财新周刊》杂志,却一本都没得卖。 正失望至极,却从曹大的圈子中翻出来一篇《财新周刊》的 PDF. 近曹大者富,果真一点都没...

2019-01-06 07:36:37

投行 SQL 人的 2018 年终回顾

2018 年末了,正如证券公司一样,投资机构也开始忙乎起来了。毕竟一年的收成都在这年底的报告上。据说 7位数的年薪在投行是司空见惯了。呵呵,我也是道听途说而已。与我无关! 我要说的是,我正在帮他们算账,而且还是加班算。 所以正紧的文章这个月很少输出,平日里有点杂想,都写在圈子里了(我不喜欢知识星球这个名号,一直都不喜欢) 今年用书单回忆录的方式记录下这一整年折腾的一些事儿。 专业方面:《Pytho...

2018-12-28 22:42:23

SQL 数据库满载,Redis 力挽狂澜

为什么你的 ERP/MES/CRM/HR/OA 系统访问首页都很慢,明明你确定打开页面时没有大量的写入操作! 或许是时候了解下缓存了。 一次实战:在 SQL Server 前加层 Redis 步骤: 1 - Python 中启动 5000 根线程同时访问 SQL Server, 执行存储过程,并记录每次请求响应时间和 Windows Server 的服务器状态; 2 - 安装 Redis, 并将步...

2018-12-28 22:41:11

Hive 编程专题十 : 泛型函数

本文的主题: 1 - 泛型函数 (Generic Function) 存在的必要性 2 - 一则泛型函数的简例 3 - 全局函数 1 - 泛型函数 (Generic Function) 存在的必要性 泛型函数 (Generic Function) 存在的意义,解决了运行时参数类型多变,而标准函数无法一一匹配的情况。以判断某变量是否为 Null 而赋予不同默认值为例。程序不可能做到对每种类型都做...

2018-11-24 22:29:47

Hive 性能优化 9 大技巧

使用 hint 来改写执行计划 select a.*, b.* from fctOrders a inner join employees b on a.employee_id = b.employee_id 显然 fctOrder 表的记录要比 employees 多上好几个数量级。将 fctOrders 放在第一位导致第一遍 map 跑批的数据量增大。因此当尽量用小表在 join 的...

2018-11-22 22:48:20

Hive 编程专题九 : SQL Join 的那点坑

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例 - 1 : 非全等 Join 失效 select a.*, b.* from default.employee a inner join default.employee b on a.salary < b.salary 异常: SQL 错误: [Cloudera...

2018-11-20 21:14:36

Hive 编程专题 八: 列引用之 RLike 条件

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例 - 1 : where name RLike ‘.(a|l|i)’ select * from default.employee where name RLike '.*(a|l|i)+' 数据部署: insert into default.employee (na...

2018-11-18 22:50:35

Hive 编程专题 七: 列引用之正则应用

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例 - 1 : regexp_replace(s,regex,replacement) select regexp_replace(name,'ali','alibaba') as clientName from default.employee ; select re...

2018-11-18 22:49:48

Hive 编程专题 六: 列引用之表值函数

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例 - 1 : 生成多列 select explode(deductions) as (type,vol) from default.employee 结果: 错误: 1 - 环境部署 create table account(accountid int, acc...

2018-11-16 22:18:25

Hive 编程专题五 : 列引用之聚合函数

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例: select type, count( object_id ) as objects from tblobj2 group by type order by objects desc 结果 其他聚合与 SQL Server 有些类似: avg() avg(di...

2018-11-16 22:17:24

Hive 编程专题四: 自定义函数 Java 篇

函数,总体分成内建函数与自定义函数。 内建函数针对不同的数据类型有分成很多种,字符函数,数值函数,日期函数,转换函数等; 自定义函数是构建于这些基础内建函数之上,用自定义的逻辑实现返回结果的函数。针对返回结果又可分为单值函数和多值以及表值函数。 1 常看所有内建和自建的函数 show functions ; 注意:Hive 2.3.3 内建函数 271 个 describe function f...

2018-11-15 22:50:47

Hive 编程专题三 : 列引用之算术组合

环境: Hive: 2.7.7Oracle SQL DeveloperCloudera JDBC Driver 案例: select object_id,schema_id, object_id + schema_id, object_id-schema_id,object_id*schema_id...

2018-11-14 21:26:28

Hive 编程专题二 : 列引用之列组合

环境: Hive: 2.7.7Oracle SQL DeveloperCloudera JDBC Driver 案例: select type + '.' + type_desc + ': ' + nameobject as

2018-11-14 21:25:17

Hive 编程专题 一 : 使用正则指定输出列

环境: Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例: select type,nameobject,`*date` from tblobj2 limit 10 ; 错误: 1 - 使用 Oracle SQL Developer 执行上述 HQL 语句报错: [Cloudera][HiveJDBCDriver](500051...

2018-11-04 14:24:46

Spark SQL 与 Hive 的第一场会师

“你好,一杯热美式,加 2 份shot, 1 份焦糖,谢谢” L 跨进汇智国际中心大厦的 Starbucks, 拿着 iPhone 对着点餐机轻轻一扫,对黑带服务员小妹抛出一个笑脸。 “ L 先生,您的热美式” “谢谢” 最近 1 礼拜,无论双休还是工作日,L 每天基本都是同一时间,在早上 Starbucks 开门的 5 分钟内必定冲进去,点好咖啡,在大玻璃落地窗坐定。打开 17 寸 MacPro...

2018-11-03 11:34:32

Spark 高难度对话 SQL Server 后记

GIIS (Global Information Industry Summit)峰会已经结束一周了。 从拉斯维加斯回来的 L 却依然兴奋,被冷冰的 SQL Server , Oracle 门票价挫伤之后,阴差阳错进入了另一片广袤的技术天地。 对于技术宅,莫过激起他研究到底的雄心,而此时的大数据生态正好给了 L 一味兴奋剂,而且剂量不低于 500CC. 目睹了 Spark 与 SQL Server...

2018-11-02 00:43:09

SQL 开发应有的一种思维

微信群的朋友们,提出的问题也是越来越有味道了。 可能有些读者会笑话我说,别人要你帮忙免费解决问题,你还觉得有趣,傻瓜! 但我觉得,做这样的傻瓜还确实挺有趣,收获远比其他某些付费却无趣的问题,多得多! *那位拿起搬砖或者准备取关的朋友,先消消气,听我讲个故事。 故事主人公是 艾萨克·巴什维斯·辛格,美国犹太人,用希伯来语和意第绪语写作。在 The New York Times 和 Parti...

2018-10-28 22:17:44

出色的 SQL 编码师成长进阶路线

学习就是一个不进则退的过程,不是带节奏,而是事实。 更高一级的工程师,需要克服的困难,读的书,读的 paper,会逐级加深,比如你还在读数据库实现的时候,人家已经在研究分布式存储的原理与实现了。 你说不想那么累,只想找一种半衰期长的技术混口饭吃,也是一种生活态度。没有什么不好,只是个人兴趣罢了。 你或许产品观很强烈,对产品的理解跟二爷甚至乔帮主那么深邃,是个出色的产品经理;你或许会三四门外语,跟印...

2018-10-21 09:53:26

Spark 高难度对话 SQL Server 续篇

GIIS (Global Information Industry Summit)峰会已经进行如火如荼进行了半程。商业数据库这边明显已经冷了下来,$1100 一天的峰会价格,并不是每个企业都吃得消,再者,在东半球上海举行的 QCon 已经吸引了更多的关注,那里的互联网应用似乎更加吸引资本的青睐,入会价格同样不低,接近 6K RMB ,好在是全场票。 L 这两天拿着 Spark, Hive, Had...

2018-10-19 07:53:14

dbLenis

Even the longest journey begins with a single step ...展开 收起
关注
  • 计算机软件/花旗软件(投行)
  • 中国 上海 浦东新区
奖章
  • 持之以恒