- 博客(196)
- 收藏
- 关注
RSS订阅转载 「数据ETL」从数据民工到数据白领蜕变之旅（五）-使用dotNET脚本实现SSIS无限扩展...
在前面一文中，正式引出了SSIS专业数据ETL工具，笔者仅能作引路作用，未能使用文章的方式给大家写出更多的入门级的文章，希望读者们可以自行根据分享的学习资源自行完成入门及进阶的学习。同时也想给大家分享到SSIS的能力边界性，让大家可以先打开思路，见识到其能力的所在，日后在学习过程中，可以有更清晰的进步方向。dotNET遇上SSIS在笔者过往的文章里已经反复提到过，学习dotNE...
2019-08-10 14:48:00
663
转载 「数据ETL」从数据民工到数据白领蜕变之旅（三）-除了Excel催化剂之外PowerQuery新物种同样值得期待...
在自助式BI时代以前，Excel级别的数据ETL工作，非常低效，动不动就要启用VBA来完成一些常见的需求，自带的原生功能，未能满足大量的繁琐数据ETL刚需功能。在Excel2010后，PowerQuery以插件的形式横空出现，并最终在Excel2016中得以深度内置，是一款非常难得的轻量化数据ETL工具。微软官方插件与第三方插件待遇不同在使用第三方插件的过程中，可以弥补一些数据...
2019-08-10 14:47:00
320
转载 「数据ETL」从数据民工到数据白领蜕变之旅（四）-有了PowerQuery还需要SSIS吗？...
在真正的企业级BI项目中，使用PowerBIDeskTop那一套数据ETL是不可行的，需要使用专业的ETL工具完成数据仓库的搭建，再进行数据建模的工作。鉴于笔者所能触达的读者群体，多数为业务背景的数据分析工作者，本篇给大家带来简单的入门实操演示，让大家减少对专业IT型工具的恐惧心理。所有工具都是为人所用，都是想着尽可能简单易上手的，学习过PowerQuery的群体，笔者很有信心只需...
2019-08-10 14:47:00
767
转载 「数据ETL」从数据民工到数据白领蜕变之旅（一）-工具总览
在人人都是数据分析师的时代，没有哪个人哪个岗位可以和数据脱钩。数据分析的前提是有干净完整规范的数据存在，为了这个前提，许多人活在数据民工的状态（天天搬砖干苦累活），将大量的时间耗费在一些无意义的、没价值的、产出低的数据处理中。本系列以非IT级别的视角，给大家指明一条进步之路，让更多人可以享受到数据白领的工作状态（轻松，多用脑，体面的）。工具真的重要吗？许多业务专业强的人，通常开口...
2019-08-10 14:46:00
174
转载 「数据ETL」从数据民工到数据白领蜕变之旅（二）-重温Excel催化剂经典
关注过笔者前期的内容创作的读者可知，笔者历时16个月打造全网最强大Excel插件：Excel催化剂，放诸全球这样的结论仍可成立。而此插件凝聚了笔者在数据分析领域中数据ETL部分的绝大部分的场景，并让这些场景可以低门槛化让几乎只需入门级的Excel用户即可学习掌握。在此数据ETL专题的系列中，我们一起来重温此经典，同时也让后关注者可以有更好地导读性指引。以科学数据管理方法论指导下...
2019-08-10 14:46:00
315
转载 「PowerBI」丢弃SSDT选择TabularEditor成为你的首选建模开发工具（下）
包括笔者在内，很少说参与到一些非常大的项目，需要团队分工明细化到一种程度，同一样工作需要分开多人来协作完成，但这不妨碍我们对其有一定的了解，可以让我们的视野更开阔。除了协助TabularEditor还有几个高级功能，是大型数据模型开发场景下很不错的应用。现代团队式开发的场景在软件开发行业，团队式开发是再正常不过了，不同的人从git中开一个分支进行开发，开发完后测试通过后进行合并到...
2019-08-10 14:44:00
183
转载 「PowerBI」使用TabularEditor进行PowerBIDeskTop模型开发最佳实践
前面系列文章介绍的场景，设定的工具使用对象是Sqlserver和Azure 的SSAS数据模型开发，其实TabularEditor亦可以有限度地使用在PowerBIDeskTop的模型开发上，本文简单介绍下其最佳的使用场景。PowerBIDeskTop模型不同于Sqlserver的SSAS模型虽然大体上都是同一个引擎，但最终的定位的原因PowerBIDeskTop数据模型只是单机...
2019-08-10 14:44:00
845
转载 「PowerBI」丢弃SSDT选择TabularEditor成为你的首选建模开发工具（中）
上篇主要介绍TabularEditor的界面级别的操作，其最核心的使用脚本自动化方面的高级功能没有涉及，本篇尝试将较为经典用脚本自动化功能引出，让日常建模工作可以立即用上的。深入的话建议阅读工具作者的文档。当dotNET遇上TabularEditor之后TabularEditor是一款使用dotNET语言开发的工具，笔者最喜欢它的地方在于，其类似Excel这样，预留了我们可以使用...
2019-08-10 14:43:00
391
转载 「Azure」数据分析师有理由爱Azure之十-使用PowerShell自动化AzureAS
SSAS模型建好后，还需要对其引用的数据进行更新，一般来说每天都需要对昨天产生的数据进行更新至模型层，在查看报表时，可以无需再手动操作和等待数据模型的更新，直接看到最新的数据。这就开始涉及到自动化的管理层面了，没有哪个项目会让这样的更新操作依赖于人的手工去维护完成。本篇给大家介绍PowerShell的自动化方案。PowerShell简单入门前面推文中曾介绍过PowerShell...
2019-08-10 14:42:00
183
转载 「PowerBI」丢弃SSDT选择TabularEditor成为你的首选建模开发工具（上）
许多社区PowerBI爱好者可能少有接触到企业级BI的SSAS建模工具SSDT，仅使用过Excel或PowerBIDeskTop的工具做多维数据建模。在Sqlserver的SSAS建模过程中（Azure AS通用），一般情况下，是使用微软提供的官方开发工具SSDT来完成，笔者在Azure系列文章中也有提及。但对于一个重度的数据建模工作者来说，更值得推荐的是TabularEditor开...
2019-08-10 14:42:00
353
转载 「Azure」数据分析师有理由爱Azure之九-填坑-PowerBI Pro连接Azure AS模型
因PowerBI Pro的方式可以实现网页版、手机端的报表阅读效果，对终端用户的电脑依赖度更低，特别是公司领导高层更合适使用。在Azure AS做好的模型，若能让PowerBI Pro来调用，就无需重复建模过程，也是一个非常刚需的需求。当然公司级别的的BI项目，就是如此真实，需求是美好的，趟坑的苦却只有实施者能体会。本篇再次为大家填完这个巨坑。未经验证的现状直接使用PowerB...
2019-08-10 14:41:00
290
转载 「Azure」数据分析师有理由爱Azure之七-从零开始做一个完整的Azure AS项目部署
上一篇给大家演示Azure AS功能时，偷了个懒，直接用了示例数据库，若需要从零开始做一个SSAS模型并部署到Azure AS上，过程中有好几个坑要走过，作为准MVP的身份，这里给大家无偿奉献一下，这可是企业级的项目案例，填坑的价值自己心里掂量下，绝对地大大的收获。SSAS数据建模工具SSDT对于PowerBI爱好者群体，多数是玩Excel和PowerBIDesktop，没有上升...
2019-08-10 14:40:00
194
转载 「Azure」数据分析师有理由爱Azure之八-填坑-使用本地网关让AzureAS访问本地数据...
前一篇故意设定一种最简单的场景，避开本地数据源，直接使用Azure SQL上的数据，最终没有任何报错。真实情况更多是有部分本地数据源，特别是Excel数据这样手工维护的数据，怎样可以将这些数据放在本地一样可以被AzureAS来使用呢？本篇给大家填这个坑。加入本地数据源后本篇模拟导入一份Excel表格数据，第1个坑将出现，使用导入数据源，选择excel表格后，出现这个吓人的界面，...
2019-08-10 14:40:00
151
转载 「Azure」数据分析师有理由爱Azure之五-Azure Analysis Services服务实操
为了对得起数据分析师这个称号，最近又重新拾起统计学的课本，发现又是一场被虐的过程。行业里总说统计学是数据分析的基础，是分析师的必备能力。但真正学习下来，应用的场景又有几个？除了科研性严谨的结论需要统计学去科学地验证，在中小企业环境下作用不大。笔者大胆地宣称，企业日常数据分析和统计学高深知识没有半毛钱关系，只要将日常的分类汇总、同比环比、趋势分析、帕累托分析等弄好，在企业环境下产出已...
2019-07-30 19:07:00
529
转载 「Azure」数据分析师有理由爱Azure之六-浅谈Azure AS的企业级应用优势
在上一推文中，有提及到Azure Analysis Services服务的使用，但没有详细展开其在多种PowerBI解决方案中的优缺点分析，本篇将对其作简单介绍，也是站在笔者非专业IT的视角去看待的，观点仅供参考。泛PowerBI解决方案简介从微软Sqlserver2012开始，使用了DAX建模技术的数据模型，当时将这样的能力开发给Excel使用，在Excel2010版中，以插件...
2019-07-30 19:07:00
209
转载 「Azure」数据分析师有理由爱Azure之四-Azure SQL的实操
喜欢Sqlsever的数据分析师们，没有理由不喜欢上Azure SQL数据库，因其使用同一套的T-SQL，在提供相同功能基础上，额外增加了可以轻松外网访问，专业的AAD帐号体系支持，无需苦苦地在企业内部被IT部门多方拦阻，即可开展起自己的数据分析及数据分享工作。部门级需求之困在一般的中小企业中，如果有IT人员，估计大家都有同样的无奈，向IT部提一些数据需求，反馈总是那么地缓慢。I...
2019-07-30 11:06:00
158
转载 「Azure」数据分析师有理由爱Azure之二-立即申请帐号开始学习之旅
目前关于Azure的学习资料不多，除了官方的文档和Microsoft Learn频道外，几乎没有什么中文性资料可学习，就算有，也是以IT的思维方式来展开介绍，对没有IT背景的数据分析师来说，非常难于适应。本篇给大家带来一些简单的入门方式，最要紧的是告诉大家如何申请Azure的免费帐号（国内版是1元帐号1个月1500元人民币额度，国际版免费帐号1个月200美元额度），真正可以Step ...
2019-07-30 11:05:00
157
转载 「Azure」数据分析师有理由爱Azure之三-对照Sqlserver学Azure
正如前系列《有理由爱Sqlserver》所介绍过的，数据分析师可以充分利用Sqlserver的能力让自己的的数据处理、清洗、整合、分发如虎添翼。在Azure上目前笔者给大家找到的最大的应用场景是将Sqlserver的能力转移到Azure上来，可以轻松享受合规正版、最新版、无需IT支持部署的、外网可访问的云上Sqlserver。所以此篇有必要带大家对照着Sqlserver的功能，在A...
2019-07-30 11:05:00
130
转载 「Sqlserver」数据分析师有理由爱Sqlserver之十-Sqlserver自动化篇
本系列的最后一篇，因未有精力写更多的入门教程，上篇已经抛出书单，有兴趣的朋友可阅读好书来成长，此系列主讲有理由爱Sqlserver的论证性文章，希望读者们看完后，可自行做出判断，Sqlserver是否真的合适自己，目的已达成。渴望自动化及使用场景笔者所最能接触到的群体为Excel、PowerBI用户群体，在Excel中，我们知道可以使用VBA、VSTO来给Excel带来自动化操作...
2019-07-30 11:04:00
199
转载 「Azure」数据分析师有理由爱Azure之一-Azure能带给我们什么？
前面我们以相同的方式从数据分析师的视角介绍了Sqlserver，本系列亦同样地延续下去，同样是挖掘数据分析师值得使用的Azure云平台的功能。因云平台功能太多，笔者所接触的面也十分有限，有更专业的读者欢迎补充。对云服务的一点点小认识笔者接触Azure云时间不长，因没有IT背景，故对各大云市场也只能是浅尝即止，有关注Excel催化剂插件的读者们，也应该对笔者使用其他云市场有一些的了...
2019-07-30 11:04:00
158
转载 「Sqlserver」数据分析师有理由爱Sqlserver之九-无利益关系推荐Sqlserver书单
在前面系列文章的讲述下，部分读者有兴趣进入Sqlserver的世界的话，笔者不太可能在自媒体的载体上给予全方位的带领，最合适的方式是通过系统的书籍来学习，此篇给大家梳理下笔者曾经看过的自觉不错值得推荐的Sqlserver书单，希望能够给后来者带来一些指引和少走一些弯路。最好的时代亦是最坏的时代当下的自媒体时代，信息量非常丰富，连笔者这样的没有严密逻辑性的人，亦有机会通过自媒体的平...
2019-07-24 10:53:00
328
转载 「Sqlserver」数据分析师有理由爱Sqlserver之八-最刚需的数据导入导出功能-导出篇...
继续上篇的导入篇之后的运作是导出，数据趟在数据库里，永远也发挥不出价值，这也是绝大多数业务系统的现状，经过系统增删改查后，辛苦生产出来的规范的数据，没能让其发挥应有的价值-数据指标运营。打造数据化运营的企业文化，也将是现金企业竞争的核心竞争力所在，数据分析师理由肩负重任，做好有价值的数据结果分发指导运营。现实状况和前一篇提及的，数据在各业务系统里的导出接口十分单一，大部分是一些...
2019-07-24 10:52:00
176
转载 「Sqlserver」数据分析师有理由爱Sqlserver之七-最刚需的数据导入导出功能-导入篇...
作为数据分析师的角色，数据库的作用是帮助存储数据和需要时可以导出所需数据的用途，这个用途在数据量一大时，不采用数据库方案是没有办法做到一个完美效果的，所以就算不深入了解数据库其他功能，单单数据导入导出功能，对一名合格的数据分析师来说，是必备的本领。鉴于笔者所接触到的读者群体偏向Excel用户的业务导向的群体，此篇可能部分内容对熟悉数据库的群体过于简单，同时为了完整性的方案介绍，某些方...
2019-07-24 10:51:00
268
转载 「Sqlserver」数据分析师有理由爱Sqlserver之四-七大数据库产品测评Sqlserver完美胜出...
虽说各家数据库产品大同小易，学会一家，其他家都可以很快上手，但和编程语言的选择一样，人的精力有限下，只能深入研究一家的产品。故在学习之前，认真去评估应该选择哪一家数据库学习，这样的时间也很值得，总比学到一半不断地更换不同产品所浪费的时间好得多。没有最好的产品，只有最合适自己的，此篇同样假设读者们是往数据分析师的方向发展，使用Windows系统为主。相关阅读「Sqlserver」数...
2019-07-22 14:09:00
152
转载 「Sqlserver」数据分析师有理由爱Sqlserver之二-像使用Excel一般地使用Sqlserver
大家一谈数据库，就觉得非常高深莫测，深不见底，非凡人敢去触摸。但Excel的话，没人敢说自己不会使用吧（相反一大堆人的简历上写着精通OFFICE所有软件套件）。换作其他非微软厂商的数据库，的确很容易产生这样的畏惧感，包括笔者在内，对其他数据库也是不敢靠近。但Sqlserver，出自微软之手，可以让你大为改观，请看下文一一述说。相关阅读「Sqlserver」数据分析师有理由爱Sql...
2019-07-22 14:06:00
148
转载 「Sqlserver」数据分析师有理由爱Sqlserver之三-最值得使有低投入高产出的Sqlserver功能...
数据分析师群体，有别于一般的传统开发群体和数据库运维群体，对Sqlserver的功能需求上也各不相同，本篇以笔者的亲身经历，用一种有别于一般性教程的角度来讲解Sqlserver值得我们学习，投入产出比高的一些功能模块。当然，知道地越多，能够产生的价值也越大，在平衡投入产出比的前提下，越往深入学习，在特定时候会产生成倍的回报。相关阅读「Sqlserver」数据分析师有理由爱Sql...
2019-07-22 14:06:00
104
转载 「Sqlserver」数据分析师有理由爱Sqlserver之一-好用的插件工具推荐
在此系列中，笔者为大家带来一些以数据分析师视角去使用Sqlserver的系列文章，希望笔者走过的路能够给后来者带来一些便利。背景介绍在数据分析师的角色下，使用数据库更多的是为了从数据库中获取数据，和数据库交互的语言是SQL，因此最快速写出想要的SQL语句查询就显得非常有必要了，毕竟不是在分析的路上，就是在写SQL语句查询的路上，相当地高频。用原生的SSMS提供的功能很单薄，还好...
2019-07-22 14:05:00
135
转载 「PowerBI」分析服务多维数据结构重回关系数据库的一大绝招
在过往Excel催化剂定位的轻量级Excel+PowerBIDesktop的解决方案中，已经做过了近乎完美的PowerBIDesktop数据模型数据导出到Excel工作表的应用，这也是个人版数据应用的重要的刚需功能，由Excel催化剂免费奉献给PowerBI社区作完结。此篇再次带领大家进入高地，企业级的应用场景，绝对地蕴含巨大商业价值。其他相关文章第3波-与PowerbiDesk...
2019-07-22 14:04:00
125
转载 「数据分析」Sqlserver中的窗口函数的精彩应用之数据差距与数据岛（含答案）...
上一篇介绍过数据差距与数据岛的背景，这里不再赘述，请翻阅上一文。此篇在Sqlserver上给大家演示1000万条记录的计算性能。测试电脑软硬件说明一般般的笔记本电脑，2017年7月，价格：4500+。数据构造1000万行数据，由10万个用户+每用户100条记录组成，同样使用书中所提及的构造序列的表值函数轻松构造完成。使用循环和随机函数，实现删除10万条数据，因测试时...
2019-07-22 14:01:00
117
转载 「数据分析」Sqlserver中的窗口函数的精彩应用-问题篇
最近看到PowerBI圈子在讨论最大连续区间段的问题，即某人最大的全勤时间，某人的最长的连续打卡时间等问题的计算，佐罗老师给出了10万倍性能的答案。这个问题也引发了笔者一些兴趣，隐约记得以前看过Sqlserver的窗口函数的应用场景中有这方面的知识，这周末也花了一天时间重新温故了一翻，非常有味道，在此打算和大家一同分享一下。时间有限，首篇只能抛出问题，下一篇再贴出答案。在此强烈...
2019-07-22 12:37:00
271
转载 Excel催化剂开源第51波-Excel催化剂遍历单元格操作性能保障
在Excel催化剂推出的这一年多时间里，经常性听到一种声音，大概意思是真正会写代码的人，都不会看上Excel催化剂写出来的功能，自己造一个更舒服贴心，仿佛会一点VBA就可以天下无敌一般，也好像Excel催化剂出的所有的功能，在他们眼中都是幼儿园级别，过家家玩玩而已。这里不对此看法置评，只用事实说话，看看会一点VBA的人，能否造出以下的超强性能保障的代码功能来。遍历单元格性能问题...
2019-07-22 12:36:00
151
转载 「PowerBI」Tabular Editor 一个对中文世界很严重的bug即将修复完成
之前介绍过Tabular Editor这款开源工具，对PowerBI建模来说，非常好用，可以极大的增强自动化水平。详细可查看此文章：「PowerBI相关」一款极其优秀的DAX建模工具Tabular Editor https://www.jianshu.com/p/90ea25906952很遗憾的一点是，此工具对中文支持不够友好，会出现编辑区中文展示积压的问题。抱着试一试的态度，...
2019-07-22 12:35:00
1141
转载 Excel催化剂开源第50波-Excel与PowerBIDeskTop互通互联之第四篇
答应过的全盘分享，也必承诺到底，此篇PowerBI功能分享的最后一篇，讲述如何导出数据模型的元数据，笔者定义其为模型的数据字典。此篇对应功能实现出自：第6波-导出PowerbiDesktop模型数据字典https://www.jianshu.com/p/bc26a8dcdfce关系型数据库有数据字典，分析型数据库更加要有数据字典，DAX建模过程中，若模型的关系复杂，引用的表过多，生成...
2019-07-22 12:18:00
137
转载 Excel催化剂开源第49波-Excel与PowerBIDeskTop互通互联之第三篇
在PowerBIDeskTop开启的SSAS服务，和Sqlserver所开启的一个本质的区别是，前者其端口号是随机生成的，即上一次打开获得的端口号，下一次关闭后再打开，系统分配给它新的端口号，而后者因为是服务器版的，服务器的SSAS端口号是固定的，且服务器一般都是长期打开的，不存在端口号变化引起数据连接字符串要变更的情况。此篇对应功能实现出自：第3波-与PowerbiDesktop互通...
2019-07-22 12:17:00
109
转载 Excel催化剂开源第47波-Excel与PowerBIDeskTop互通互联之第一篇
当国外都在追求软件开源，并且在GitHub等平台上产生了大量优质的开源代码时，但在国内却在刮着一股收割小白智商税的知识付费热潮，实在可悲。互联网的精神乃是分享，让分享带来更多人的受益。在PowerBI领域，出现了十分优秀的DAXStudio和Tabular Editor等开源工具，影响深远。借此，Excel催化剂也决定将最核心的、也是PowerBI群体中热切盼望到功能点进行开源。...
2019-07-22 12:07:00
200
转载 Excel催化剂开源第48波-Excel与PowerBIDeskTop互通互联之第二篇
前一篇的分享中，主要谈到Excel透视表连接PowerBIDeskTop的技术，在访问SSAS模型时，不止可以使用透视表的方式访问，更可以发数据模型发起DAX或MDX查询，返回一个结果表数据，较透视表的方式更为灵活。此篇再次带出Excel向PowerBIDeskTop发出DAX查询的技术要点。此篇对应功能实现出自：第5波-使用DAX查询从PowerbiDeskTop中获取数据源h...
2019-07-22 12:07:00
117
转载 Excel催化剂开源第46波-按行列排列多个图形技术要点
此篇对应功能出自：第10波-快速排列工作表图形对象 - 简书 https://www.jianshu.com/p/eab71f2969a6在Excel的对象模型中，列的宽度不是一般所期待的和行高一样是磅为单位，而是由当前所设定的字符大小的字符宽度为单位，致使在根据图片大小来调整列宽时，没有办法调整到位，总是有那么一点点误差。此篇介绍的图形排列过程中，也会受此困扰，间接使用循环的方式将...
2019-07-22 12:06:00
163
转载 Excel催化剂开源第45波-按原图大小导出图片
从Excel中导出图片，是一个很常规的需求，也有一些久旧不衰的界面操作法小技巧从OpenXml文件中批量导出，在VBA开发中，也会使用Chart对象的背景图的技巧来导出。总体来说，和真正想要的效果还是有差距，特别是这样的方式导出的图片像素会低。在VSTO开发中，有更好的方式，此篇给大家一一分享。使用Excel催化剂的插入图片的方式，图片已经存储在PictureBox容器内，想导出...
2019-07-22 12:05:00
155
转载 Excel催化剂开源第44波-窗体在Show模式下受Excel操作影响变为最小化解决方式
在Excel催化剂的许多功能中，都会开发窗体用于给用户更友好的交互使用，但有一个问题，困扰许久，在窗体上运行某些代码后，中途弹出下MessageBox对话框给用户做一些简单的提示或交互时，发现程序运行结束后，窗体本来是显示在前端最顶层的，却变为最小化在任务栏中。这个问题带来非常不好的用户体验，弄到最后，都不太敢向用户发出MessageBox对话框之类的提示，或者干脆使用ShowDial...
2019-07-22 12:05:00
124
转载 个人永久性免费-Excel催化剂功能第105波-批量调整不规范的图形对象到单一单元格内存储...
在日常制表过程中，一个不得不面对的问题，许多的工作起点是基于其他人加工过的表格，无论自己多大的本领，面对不规范的其他人的制作的表格，经过自己的手，该擦的屁股还是要自己去亲手去擦，而带出来的也只会是一堆脏累活。此篇帮助接手不规范的图片插入操作后的表格，让其最大限度地自动化整理，再辅以少量的未能如愿达到预期效果的手工调整，大大降低工作量。没有Excel催化剂图片功能的后果图片插入，...
2019-07-22 12:04:00
366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人