weixin_38030820的博客

原创 Dazdata BI 新增数据交互回写能力

Dazdata BI 对表格视图新增了行选择和行处理功能。使Dazdata BI具备了数据交互处理回写的能力。下面我们来具体看一下这两个功能。首先，在表格的行选择中，支持多种筛选（分页勾选和筛选后勾选）, 方便用户筛选后做选中。用户选择完成后，可以在提交按钮旁看到已选中的数量，方便用户确认，减少漏勾和多勾的几率。其次，针对选中的行，Dazdata BI提供后处理能力。它是通过用户自定义后端代码实现的。我们已经将行选中功能中的确认按钮路由到上图这个后端自定义代码上。请求时传入了要操作...

原创 Dazdata BI年终总结

原创 Dazdata BI产品模板化创建报表

Dazdata BI产品在经过两年多的市场磨合以及客户需求反馈，我们增加和完善了很多功能。前期，我们主要针对具备二次开发能力的高级用户提供了非常多且强大的功能点，现阶段，我们针对初、中级用户群体，逐步将报表设计模板化，降低学习使用门槛，简化报表制作流程，提高工作效率。所以，我们在最新V10.0版中增加了很多简单易用的优化功能。本期针对用户比较关注的模板化创建报表功能进行讲解。 模板化创建报表，顾名思义就是通过简单的点击已经内置好的模板来实现快速创建好看的报表，无需进行一些繁琐...

原创 Dazdata BI产品3D+BI医院综合管理应用案例

Dazdata BI产品3D+BI医院综合管理应用案例案例视频地址：https://www.bilibili.com/video/BV1tL4y1q7P2/随着技术的进步，传统BI界面已很难满足用户的视觉需求。在越来越挑剔的需求中，我们将3D模型与BI视图相结合，突破传统的平面BI视图，极大的满足了使用者的视觉需求，沉浸式体验BI报表，使冰冷的数据变的活灵活现，愉悦工作的同时提升工作效率。3D模型和BI视图的结合，将会是软件交互界面的改革，其影响同DOS界面转化为图形化界面一样，这种简单明了、

原创 Redash推出中文免费Windows版安装包啦！

Redash中文版在刚刚面世时，支持Linux、MAC系统，以及虚拟机、docker、K8S等部署方式，不支持Windows系统直接部署。在经过一段时间的市场磨合和用户反馈，多数用户对Windows系统的部署呼声普遍很高。针对这一需求，我们经过重新调整打包，最终发布了Windows版本的部署包，极大减少了Redash中文版的部署时间和部署难度。真正做到了一键式部署，让使用者不必为部署发愁，将更多的时间投入到可视化的研究中。以下将为大家演示一下Windows版的部署流程：...

原创 Dazdata BI产品介绍

原创 Redash中文版：低代码平台之3D+BI开发

3D必将成为继dos字符界面和windows gui界面后又一代软件交互界面，3D的开发目前阶段还是相对复杂，需要代码形式的配置才能使用。Redash中文商业版在设计之初就把低代码作为最重要的特征，除了BI需要的图表库ECharts和Plotly.js外，更是引入了三维Three.js沙盒运行环境，以沙盒代码的形式即可开发3D+BI应用。下面以Redash官网在线实例“3D园区”为例https://portal.dazdata.com/default/public/dashboards/bDBc

原创 Redash中文版：首款低代码平台型BI

随着应用软件复杂度越来越高，传统通过属性配置界面调整软件的方法缺陷越来越明显，属性越来越多，属性难以表达逻辑等问题导致应用软件难以配置和使用；而适量代码性配置对于解决属性过多、表达晦暗不明等方面优势明显；同时随着初级计算机人才的大量普及也为低代码平台提供可能；这也是近年来低代码平台异军突起，越来越受欢迎的原因。Redash中文商业版在设计之初就把低代码作为最重要的特征，在属性配置的基础上，为达到功能最大化，所有视图都提供代码配置的能力。目前流行的BI软...

原创 Redash中文版首家集成3D动画可视化

Three.js介绍Three.js是基于WebGL的Javascript开源框架，简言之，就是能够实现3D动画效果的JS库。3D动画可视化开发都是需要前端开发基础，目前市场两大three.js和babylon.js技术应用成熟且广泛。技术不等于做出了受欢迎的商业应用，基于市场需求的原因，3D动画可视化需求差异化较大，因此简化的3D开发流程，让中小开发者也能够加入到3D动画商业开发，是目前3D动画可视化发展的方向，目前国内优锘科技在面向物联网的3D可视化开发已有建树。传统BI侧重于.

原创 数据可视化大屏高大上？有了这款工具你也能制作

数据本身是冰冷的数字，只有通过合适的可视化工具来进行数据的展示表达，才能直观的展现数据价值，实现“用数据说话”。数据大屏就是一种非常有效的数据可视化工具，它可以将业务的关键指标以可视化的方式展示到一块或多块LED大屏上，不仅可以让业务人员快速、直接地从繁杂的业务数据中找到重要数据，还可以对决策人员起到辅助作用。如今，数据大屏已成为应急处理、指挥调度、战略决策等场景下必不可少的一部分。下面我们就结合大屏开发的实际流程，来与大家分享一款非常适合进行大屏开发的可视化工具——Redash中文版，内置多种大屏视图

原创 只要三步！轻松让你的图表动起来

Redash商业版自定义代码视图模式可以绘制plotly.js图表，使用Plotly更加倾向于制作可以交互的图像，图表的每个方面，例如颜色，网格线和图例都可以自定义配置，完全实现了图表的灵活性，可以根据自行的设置来进行图表的显示，我们还可以配合取数函数的使用来进行视图的制作，使得图标的种类更加的多种多样。下面演示如何利用plotly.js制作动画图表。1、打开redash网站，新建视图在查询中新建视图，图表类型选择自定义样式。（没有安装redash的,可以到redash中文版网站http://www

原创 Redash中文版使用介绍

Redash中文版使用介绍https://www.bilibili.com/video/BV11r4y1w7we/初次使用以及数据源插件的配置，如何新建查询并生成报表Redash商业版支持Excel、CSV、Json格式数据文件上传和加载插件包，原版Redash只支 持将Json数据文件自行上传至网络存储，通过网络加载数据；要求联网才能使用， 操作复杂；改进后支持不需联网、本地Excel、CSV和Json文件直接上传，自动加载数 据显示视图和报表，实现了本地文件作为数据源功能。..

原创 自助式分析是数据组织的一种状态

究竟什么是自助式分析？为什么真正的自助式分析难以实现?

原创 现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务

Bloom AI认为业务团队的当前商业智能（BI）流程是分散的、复杂的和技术性的。它只关注数据智能，不考虑其他形式的信息或隐性知识。结果是 60-80% 的数据和分析没有用于决策。

原创 现代数据栈MDS应用落地介绍—ActionIQ智能营销系统

ActionIQ主要从：360度客户数据中心、客户身份解析、细分受众、营销活动编排、实时客户体验、个性化营销等六个方面进行构建。

原创 现代数据栈MDS应用落地介绍—Clearbit营销数据激活平台

现代数据栈MDS的出现使得中小企业低成本获得大数据处理能力成为可能，技术的进步使得各种基于MDS的大数据应用如雨后春笋般涌现，最后一公里的大数据应用在企业的普及，反过来也促使MDS技术平台快速发展。额外的表单字段通常意味着更少的合格潜在客户。获取公司关心的每家公司和联系人的更全面背景信息，以推动大规模洞察、转化和制胜。一致的上下文可让您实时评分和路由潜在客户，以便您可以告别不适合、错误路由的潜在客户和手动排序。使用您的 CRM 数据、网站数据和 100+ 公司、技术和员工属性，通过精确的受众推动更多管道。

原创 现代数据栈MDS应用落地介绍—DataChannel数字营销分析

推出的数字化营销和分析产品，让营销团队能够在需要时快速访问来自所有广告平台和营销自动化工具的新数据。通过与所有关键营销平台的集成，获取数据变得轻而易举。使用高质量数据超个性化您的广告投放，跨营销平台运行超个性化的营销活动。在一个统一平台管理您的细分和受众。业务人员在不寻求数据工程师帮助下就能进行。现代数据栈MDS的出现使得中小企业低成本获得大数据处理能力成为可能，技术的进步使得各种基于MDS的大数据应用如雨后春笋般涌现，最后一公里的大数据应用在企业的普及，反过来也促使MDS技术平台快速发展。

原创 元数据管理：DataHub和OpenMetadata对比分析

DataHub和OpenMetadata都试图解决数据编目，搜索，发现，治理和质量方面的相同问题。这两种工具都是出于为需要支持大量数据源、团队和用例的大型组织解决这些问题而诞生的。尽管这些工具在发布历史和成熟度方面略有不同，但它们的功能存在显着重叠。

原创 现代数据栈MDS的6个趋势

他说，在IT运营管理领域，这涉及分析数据，包括指标，事件，日志，拓扑，事件和更改，并且需要开放的平台，并且可以集成来自无数工具和技术的数据，并补充说，堆栈还需要支持混合客户来自本地数据中心基础设施和应用程序以及多个云资产的数据。“人们，普通商业用户，使用AI / ML做非凡事情的方式，将改变未来企业的运营方式，”他说，并补充说谷歌正在寻找进一步民主化人工智能和机器学习的方法，以便那些没有数据背景的人可以通过简单的电子表格访问它。我们在谷歌有备份，在微软有其他备份，这种互连正在变得正常，“齐马说。

原创 DBT项目结构

dbt 项目告知 dbt 项目的上下文以及如何转换数据（构建数据集）。根据设计，dbt 强制执行 dbt 项目的顶级结构，如文件、目录、目录等。设置与数据平台的连接后，您可以在 dbt Cloud 中初始化新项目并开始开发。每个模型都位于单个文件中，并包含将原始数据转换为可供分析的数据集的逻辑，或者更常见的是，是此类转换的中间步骤。一种在项目中组织分析 SQL 查询的方法，例如 QuickBooks 中的总账。在项目初始化期间，dbt 会在项目目录中创建示例模型文件，以帮助您快速开始开发。

原创 现代数据栈MDS兴起

这就是您的数据来源：它可以是您的生产数据库（例如PostgreSQL），Web服务器的日志，或者第三方应用程序，如Stripe，Zendesk或您正在使用的任何其他产品。例如，在传统的数据堆栈中，想要访问过产品某个区域的客户列表的客户经理需要友好的工程师或分析师的帮助来为他们“提取”数据。通常，现代数据堆栈基于基于云的服务构建，并且越来越多地包含低代码和无代码工具，使用户能够探索和使用数据。通常，这是作为技术和服务的列表共享的，但是给定堆栈背后的工作和理论比简单格式所允许的要多方面得多。

原创 DBT是什么

仅使用 SQL 语句或 Python 数据帧编写业务逻辑，返回所需的数据集，dbt 负责select物化.构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。DBT 针对您的数据平台编译并运行您的分析代码，使您和您的团队能够在指标、见解和业务定义的单一事实来源上进行协作。作为 dbt 用户，您的主要关注点将是编写反映核心业务逻辑的模型（即选择查询）——无需编写样板代码来创建表和视图，也无需定义模型的执行顺序。通常，数据源中的记录是可变的，因为它们会随时间而变化。

原创 现代数据栈MDS的主要特征

这些是重要的注意事项，尤其是在您的组织处理敏感数据或需要遵守严格的数据法律时。因此，重要的是要知道您选择的工具的解决方案提供商公司是否得到了强有力的领导和充足的资金支持。在接下来的几年中，数据仓库解决方案提供商能够进一步改进架构，分离存储和计算，并提供更好的价格点和可扩展性。如果您的数据占用空间可以忽略不计，并且您的团队规模较小，那么如果没有额外的工具开销，您可能会更好。若要了解特定 MDS 工具的优点并做出正确的工具选择，首先了解数据平台的各个组件以及为每个组件提供服务的工具的通用功能非常有用。

原创 现代数据堆栈MDS有什么现代之处

现代数据堆栈（MDS）已经普及了几年，但直到最近才在其定义上趋同。在我们深入探讨MDS的哲学和技术指标之前，让我们先谈谈传统数据堆栈的失败。原因很简单，传统数据堆栈 （TDS） 无法满足任何现代组织的数据需求。为了保持竞争优势，组织需要能够在正确的时间采取行动的数据，并且足够灵活地适应变化。TDS通常是指逻辑耦合且复杂的本地Hadoop（生态系统）和SQL仓库。在我们深入研究什么是现代数据堆栈（MDS）之前，让我们首先看一下仍在使用 TDS 的组织面临的一些问题。

原创 Metabase和Superset 对比分析

Metabse中文社区Metabase和Superset都是排名靠前的开源的数据可视化软件，在技术上有许多相似之处。他们的比较可以帮助用户选择更好的开源平台进行数据可视化。 关于Superset 编辑切换为居中添加图片注释，不超过 140 字（可选） Superset是Airbnb的数据可视化和探索工具。它提供了一组丰富的功能，用于快速数据切片、切块和可视化。 关于Metabase编辑切换为居中添加图片注释，不超过 140 字（可选） Metabase是一种数据可视化工具，旨在简化图表和仪表板的生成。它可以

原创 Metabase和Looker对比分析

基于开发人员依赖性，Looker Studio 对于没有开发人员支持的经验不足的用户来说是一个更好的选择。Looker是Google提供交互式仪表板和实时报告的数据可视化工具，以其在项目管理任务（如构建项目报告和预算预测）中的服务而闻名。除了用于创建复杂仪表板的 SQL 查询外，Metabase 还为用户提供了问题创建者，只需单击几下即可从数据创建基本可视化，而无需编程。Looker 和Metabase都允许用户向下钻取他们的数据，以分层的形式组织和呈现数据，以便于数据访问和理解。

原创 Metabase和FineBI比较

Metabase是一款优秀的自助式数据分析和可视化工具，具有易于安装和使用、丰富的可视化方式、多数据源支持、高度的扩展性和定制性以及轻量级和响应迅速等诸多优势。通过Metabase，用户可以轻松地分析和可视化数据，从中挖掘出更多有价值的信息，并帮助他们做出更明智的决策。与FineBI相比，Metabase的架构更加灵活，用户可以通过编写自定义的插件和API来扩展和定制其功能。同时，Metabase还提供了丰富的主题和样式，可以让用户根据自己的品牌和需求自定义报表和图表的外观。

原创 Redash大屏视图样式（下）

大屏组合千变万化，绚丽多姿，但从本质上来讲，80%都是由这些基本视图组合而成。

原创 Metabase和Tableau、QlikView差异

Metabase 是一个强大而且成本效益高的商业智能工具，具有易于使用、灵活、支持多个数据源、自定义报告和仪表盘、多级问题、自定义问题、共享数据集和仪表盘、数据驱动的提醒和电子邮件通知等功能。然而，对于处理更大量级和更复杂的数据集以及进行更准确的数据预测和分析，Tableau 和 QlikView 可能更加适合。除了基本的数据查询和可视化功能，Metabase 还提供了一些高级功能，例如多级问题、自定义问题、共享数据集和仪表盘、数据驱动的提醒和电子邮件通知等。

原创 配置Airbyte资源限制

如果您连接（管道）的url是。如果 job 容器的内存不足，只需登录到 Airbyte Web 中的 job 页面，检查日志查看 job 的资源配置是否符合预期，如果确实给的资源不足，可以根据上面的步骤修改资源限制配置。连接到 Airbyte 工作数据库并且执行以下 query（注意需要将 id-from-step-1 替换您上一步获取的连接（管道）id，并将资源限制修改给您想要限制的值）替换 id-from-step-1 为上一步查询中获取到id，然后替换资源限制的值为想要限制的值，然后执行query。

原创 配置 AIRBYTE 工作数据库

此外，使用云托管的Postgres实例（如AWS的RDS，GCP的Cloud SQL），您将得到更细粒度的备份和实例大小调整。#外部数据库的用户名 DATABASE_USER=postgres #外部数据库的密码 DATABASE_PASSWORD=password #外部数据库的 ip 或者域名 DATABASE_HOST=host.docker.internal #外部数据库的端口 DATABASE_PORT=3000 #外部数据库的 db 名称 DATABASE_DB=postgres。

原创 Docker部署Airbyte

Docker环境下安装Airbyte。

原创 Airbyte API

Destination_definition：目标定义，实现了目标的增删改查功能。Source_definition：来源定义，实现了来源的增删改查功能。Workspace：工作区管理，实现了工作区的创建、删除等功能。Connection：管道管理，实现了管道的创建、删除等功能。Destination：目标管理，实现了来源连接建立等功能。Source：来源管理，实现了来源连接建立等功能。Oauth：权限管理，实现来源目标的授权管理。State：状态管理，获取和更新管道运行状态。Logs：日志管理。

原创 Airbyte的同步复制模式

ELT 哲学的核心原则，即数据在提取和加载阶段移动时应保持不变，以便始终可以在目标中访问原始数据。由于目标中存在数据的未修改版本，因此将来可以重新转换该版本，而无需从源系统重新同步数据。

原创 Airbyte架构

Airbyte应用架构

原创 Airbyte入门

使用专用实例将为您的 Airbyte 部署提供更高的可靠性。此外，使用云托管的 Postgres 实例（例如 AWS RDS 我们的 GCP 云 SQL），您将受益于自动备份和细粒度大小调整。您可以从一个非常小的实例开始，但根据您的 Airbyte 使用情况，如果不截断作业历史记录，作业数据库可能会增长并需要更多存储空间。系统将要求您输入用户名和密码，默认用户名和密码是 airbyte 和password，部署到服务器后，请注意，源（或目标）连接器中的实际数据永远不会传输或保留在此内部数据库中。

原创 Airbyte支持的数据源类型

Airbyte能支持的常用软件非常多：如抖音、Wordpress、Salesforce、Metabase、Netsuite、Peoplesoft、SAP Business One、Shopify、Zoom、Docker hub、Github、GitLab、Jira、MeiliSearch等等。Airbyte支持的数据类型丰富，全部类型详见官网。与其它软件API集成。

原创 开源软件AirByte：入湖入仓，数据集成管道

在这之后，企业就需要进行 ETL 操作了，由于多数数仓仅接受 SQL 的关系数据结构，因此，企业需要将不符合要求的数据转换为基于 SQL 的数据。我们不难发现 ETL 的问题，主要是流程长和笨重。也正是因为这些数据资源的增长，推动了企业的数字化进程，他们需要更灵活和敏捷的方式来处理数据，显然，传统的 ETL 并不能满足这些需求。Airbyte看似功能单一，但正如很多流行的开源软件一样，Airbyte强大的地方是：它定义了一个被广泛接受的标准，并形成了一个庞大的“连接器”（Connectors）生态。

原创 Metabase学习教程：权限-6

Metabase的LDAP的集成

原创 Metabase学习教程：权限-5

Metabase行为审计