huzechen的博客

原创 AI音乐神器Suno，你听说过吗？可以帮你创作版权音乐变现。

第一步：需要梯子，这个大家自己准备第二步：打开官网：https://app.suno.ai/第三步登录账号：我的是谷歌账号，登录的时候是选的谷歌登录，谷歌登录需辅助邮箱验证，验证的时候输入辅助邮箱就可以了第四步开始创作：输入口令，描述你想要创作的音乐，通过gpt4帮忙创作十个口令，开始输入snuo内生成当然可以！以下是十个欢快音乐的创作概念，每个都有其独特的主题和风格：阳光海滩节奏：中等偏快的桑巴...

转载 「强烈推荐！」10万字、近20家企业智能分析决策合集

如今，企业组织正面临越来越多样化的挑战。一方面，需要构建跨越周期的组织能力，应对可持续发展的长期性问题；另一方面，需要打造敏捷应变的短期能力，来迎接当下大量的不确定性因素。越来越多的企业从过去依赖人脑的战略规划，逐步走向数据驱动的战略迭代，以抵御多变风险，提升韧性增长力。这其中，挖掘数据价值，驱动业务决策已成为企业关注的重点。正所谓“谁来呼唤炮火？应该让听得见炮声的人来决策。”要在不确定的VUCA...

原创 微信机器人接入Midjourney API接口

申请Midjourney API想要对接mj接口可以加我微信：weixin605405145我们首先登陆知数据云平台获取midjourney api查询接口，官网链接 https://data.zhishuyun.com/点击免费体验：申请midjourey api次数申请gpt3.5的api次数 获取机器人 机器人链接????https://github.com/wechaty/wechaty#rea...

转载 知识星球：ChatGPT&AI 变现圈，正式上线！

大家好，我是崔庆才。向认识或不认识我的朋友再次自我介绍一下：我是一名程序员，硕士毕业于北航，目前就职于微软。我对网络爬虫、Web开发、机器学习都有一些研究，并出版过爬虫相关的书籍《Python3网络爬虫开发实战》，书的销量累计 15w+，也一直处于爬虫领域书籍的销冠位置。我热爱技术，喜欢开源社区，GitHub 粉丝量 7k+，平时也运营自己的公众号、星球、博客等发表一些自己的技术分析和个人感悟，全...

原创 如何申请 Midjourney API ，一文教会你，欢迎收藏

要使用 Midjourney Imagine API，首先可以到 Midjourney Imagine API 页面点击「获取」按钮：如果你尚未登录，会自动跳转到登录页面。需要对接的+微信：weixin605405145扫码关注公众号即可自动登录，无需额外注册步骤。登录完了之后会跳回原页面 Midjourney Imagine API ，此时会提示「您尚未申请该服务，需要申请」。申请时会校验实名认...

原创 Midjourney Imagine API 申请及使用

要使用 Midjourney Imagine API，首先可以到 Midjourney Imagine API 页面点击「获取」按钮：如果你尚未登录，会自动跳转到登录页面。需要对接的+微信：weixin605405145扫码关注公众号即可自动登录，无需额外注册步骤。登录完了之后会跳回原页面 Midjourney Imagine API ，此时会提示「您尚未申请该服务，需要申请」。申请时会校验实名认...

转载 ChatGPT消灭全球3亿打工人，25%岗位将被取代，ChatGPT到底抢不抢得动打工人的饭碗...

过去一个月，话题王绝对属于ChatGPT！上线俩月用户就达到1亿，成为史上增长最快的应用，各个平台频繁出现它的身影，还多次霸榜热搜，引发热议。作为一款聊天机器人程序，各种技能点拉满，上能帮大学生写论文、做毕设、做调研，下能帮打工人提高工作效率，更有人靠它血赚“几百万”，实打实的“六边形战士”、十项全能选手。连比尔盖茨都说，这是他见过最具革命性的技术。与此同时，随之而来的是一种新型焦虑——AI焦虑。...

转载 震惊！GPT-5年底上线，与人类的能力对齐

【导读】最近，Runway CEO关于GPT-5的爆料，又被网友们翻了出来，讨论得热火朝天。不论AGI会在哪一年出现，显然，能见证这一天的人都是幸运的。最近，又有网友翻出了关于GPT-5的爆料。据a16z资助的初创公司Runway CEO兼AI投资人Siqi Chen表示，预计到2023年底，GPT-4将被新的GPT-5版本取代。有人告诉我，GPT-5计划于今年12月完成培训，并且OpenAI期望...

转载 Midjourney安装使用保姆级教程（收藏）

原创 拯救全网的Chatgpt解封攻略（盗版必究）

登陆提示被封大陆网友起床第一件事就是看到如下这张图，不管你是普通账号还是plus账号，都会面临被封的风险，大家不要慌，下面狗哥紧急启动了一个解封攻略，送上保姆级的解封教程，帮助大家快速解封。准备一封英文邮件告诉官方这是误会，如果你英文不好狗哥给大家准备了保姆级别的英文模版，专业的人做专业的事情，当粉丝遇到问题，狗哥第一时间奉上给力的教程。把邮箱账号和姓名复制到中英文模板登录别的邮箱，利用这个邮箱发...

转载 GPT-4发布！ChatGPT大升级！AI画图牛逼

一觉醒来，万众期待的GPT-4，它来了！OpenAI老板Sam Altman直接开门见山地介绍说：这是我们迄今为止功能最强大的模型！有多强？根据OpenAI官方的介绍，GPT-4是一个超大的多模态模型，也就是说，它的输入可以是文字（上限2.5万字），还可以是图像。（看图）手套掉下去会怎样？它会掉到木板上，并且球会被弹飞。甚至只需要简单在纸上画一个网站的草稿图：拍一张照片上传给GPT-4，它就可以立...

转载 数据中台：数据模型设计

如果把指标⽐喻成⼀棵树上的果实，那模型就是这棵⼤树的躯⼲，想让果实结得好，必须让树⼲变得粗壮。真实场景举例：⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQ...

转载 阿里数据仓库架构与模型设计

来源：数据学堂编辑：谈数据全文共8636个字，建议阅读18分钟本文将分如下4个部分，介绍阿里巴巴DataWorks的数仓架构与模型设计方法：技术架构选型数仓分层数据模型层次调用规范01 技术架构选型教程本身是以阿里云MaxCompute为例，实际上，流程和方法论是通用的。在数据模型设计之前，需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，...

转载 6000字长文，终于将数据中台架构体系讲明白了

全文共6215个字，建议阅读10分钟当前，大部分企业不再建设从源数据采集到分析应用的烟囱式系统，更倾向于数据集中采集、存储，并应用分层建设。这种方式一方面有利于应用系统的快速部署，另一方面也保证了数据的集中管理与运营，体现数据的资产、资源属性。数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念，起始于阿里的“大中台、小前台”概念。...

转载 美团外卖搜索基于Elasticsearch的优化实践

总第544篇2022年 第061篇美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-Based Service（LBS）业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding（RLE）设计了一款高效的倒排索引结构，使检索耗时（TP99）降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述，并给出最终灰度验...

转载 SQL 分析函数，看这个就够了

个人认为扎实的 SQL 功底是一名数据分析师的安身立命之本，甚至可以称得上是所有数据从业者的基本功。当然，这里的SQL绝不单单是写几条查询语句那么简单，还包括数据库本身的DDL、DCL、查询调优和锁机制等等也都是要很熟练的；甚至再进一步外延，数据仓库也可作为进阶要求。除了工作中常用，我主张学习 SQL 的另外一个原因：它是一门半衰期很长的语言，诞生至今 40 多年，SQL92 和 SQL99 这两...

转载 易点天下基于 StarRocks 构建实时离线一体的数仓方案

作者：易点天下数据平台团队易点天下是一家技术驱动发展的企业国际化智能营销服务公司，致力于为客户提供全球营销推广服务，通过效果营销、品牌塑造、垂直行业解决方案等一体化服务，帮助企业在全球范围内高效地获取用户、提升品牌知名度、实现商业化变现。目前，易点天下累计服务客户超过5000家，其中包括华为、阿里巴巴、腾讯、网易、字节跳动、百度、快手、爱奇艺、SHEIN、Lazada 等知名企业。易点天下始终秉持...

转载 流批一体架构在快手的实践和思考

摘要：本文整理自快手技术专家、Apache Flink & Apache Calcite Committer 张静，在 FFA 流批一体专场的分享。本篇内容主要分为四个部分：Flink 在快手的发展流批一体在快手的规划第一阶段（加强批能力）的进展第二阶段（业务视角的流批一体）的挑战Tips：点击「阅读原文」查看原文视频&演讲 ppt01Flink 在快手的发展在快手内部，Flink...

转载 基于 Flink 的小米数据集成实践

摘要：本文整理自小米计算平台高级工程师胡焕，在 FFA 数据集成专场的分享。本篇内容主要分为四个部分：发展现状思考实践引擎设计未来规划Tips：点击「阅读原文」查看原文视频&演讲 ppt01发展现状首先介绍一下小米计算平台，小米计算平台主要负责小米集团的数据开发平台的建设，体现在产品上是小米数据工场，底层引擎上常见的 Flink、Spark、Iceberg、Hive 等等都是由计算平台在负...

转载 老王跑步入场GPT，要搞AI，先送外卖？

十年前AlphaGo火的时候，百度在送外卖；十年后ChatGPT火的时候，抖音还在送外卖；而十年前送外卖的大佬，现在出来搞AI；所以……要搞AI，先送外卖？公众号后台回复：“ChatGPT”，便可以下载到干货包！！目录：一、ChatGPT简介ChatGPT本质是一个对话模型，它可以回答日常问题、挑战不正确的前提，甚至会拒绝不适当的请求，在去除偏见和安全性上不同于以往的语言模型。ChatGPT从闲聊...

转载 数据治理体系完整指南

本文来源松子聊数据01 数据治理体系数据治理体系内容从两个维度来看：1）数据治理难点痛点：数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2）数据治理5个核心：理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集成、数据生命周期、数据质量、数据开放、数据安全及数据应用。02 元数据2.1、元数据解决的问题有什么数据 - 数据是什么...

转载 基于 Flink+Pravega 的游戏服务器监控与调节系统设计

01背景介绍浏览完赛题，经团队讨论将应用场景锁定在了游戏服务器优化上，一是因为这方面趣味性较高，另外则是团队中的一员常年用爱发电[1]开服，对此比较有业务经验。1.1 团队简介团队四人均为本科生，相识于 Topview 工作室大数据组，现于广东工业大学就读。温嘉诚：大三本科生，负责整体架构的设计与数据处理部分。胡锦峰：大三本科生，负责整体架构的设计与日志采集部分。郑梓游：大二本科生，负责数据传输...

转载 ​网易游戏实时 HTAP 计费风控平台建设

摘要：本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。本篇内容主要分为五个部分： 实时风控业务会话 会话关联的 Flink 实现 HTAP 风控平台建设 提升风控结果数据能效 发展历程与展望未来Tips：点击「阅读原文」查看原文视频&演讲 ppt众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务...

转载 阿里巴巴和字节跳动面试题整理

一面：视频面1. 自我介绍2. 分别介绍下Hadoop的几个组成框架？3. HDFS如何进行写操作的？4. 详细介绍下MapReduce的工作机制？我重点回答了切片原理和Shuffle机制5. MapReduce有哪些优化方法？6. Redis熟不熟，介绍下它有几种数据类型？我回答了8种，面试官说只有5种，后来在网上搜了搜，版本也很多。7. 介绍下布隆过滤器的原理？8. TCP三次握手和四次挥手，...

转载 Arctic的湖仓一体践行之路

本文将系统地介绍 lakehouse、table format 概念，阐述湖仓一体作为数据湖流批一体的解决方案，可以发挥哪些价值。在这个价值驱动下，我们过去两年开发了 arctic 这个流式湖仓服务，并在今年下半年开源。湖仓一体拓展了数据中台和 dataops 的边界，让业务基于数据湖，数据中台也能做流式更新；实时数仓，让数据湖能够具备传统数仓，kudu，doris 的能力，为业务极大地降本提效，...

转载 书单——数据分析（喜欢的可以下单）

1024书单数据分析精益数据分析本书围绕精益创业展开讨论，融合了精益创业法、客户开发、商业模式画布和敏捷/ 持续集成的精华。本书汇聚了100多位创始人、投资人、内部创业者和创新者的成功创业经验，呈现了30多个极具价值的案例分析，可以为各阶段的创业者提供行为准则。R语言实战（第2版）|两版合计印刷50+次，总销量超17万册|深受读者好评，豆瓣评分9.0|从实际数据分析出发，全面掌握R编程...

原创 原创｜Spark千亿级数据去重，性能优化踩坑之路

好久没有更新原创了 大家好，我是狗哥，今天给大家写一点干货，这次咱们就从0-1把思路给大家讲一下，这也是我同事在数据开发中踩过的坑，希望能帮助到大家。先虚拟一个业务场景，方便大家思考 我举个例子，拿京东或者淘宝说吧，如果你的业务让你计算几个维度（广告位置、小时、广告类型等等吧，我就随便举个例子），每个维度的数据uv量级，方便业务评估和市场决策，数据精准度不要求完全精准，误差在1%以内就行了，你该如...

转载 DorisSQL与MySQL函数与语法对照差异篇

1.日期函数 时区.mysql->convert_tz(dt,from_tz,to_tz)doris->CONVERT_TZ(DATETIMEdt,VARCHARfrom_tz,VARCHARto_tz)获取当前的日期，以DATE类型返回.mysql->CURDATE()doris->CURDATE()获得当前的时间,返回datatime类型....

转载 Doris bitmap实现留存计算

一、背景 什么是留存比如用户今天使用某应用，明天还继续使用该应用，叫做留存。bitmap原理基本思想是用数组下标表示元素的值，用0,1标记元素是否存在，1表示存在，0表示不存在。由于使用bit为单位来存储数据，大大节省了存储空间。例如：给定一个数组array=[1,3,5];为什么要用bitmap？bitmap为什么能计算留存？bitmap为什么只支持int类型？①节省存储空间。②留存实际上是...

转载 37手游基于云平台的大数据建设实践

摘要：本文整理自 37 手游大数据平台资深开发工程师史飞翔在实时数仓 Workshop · 广州站的演讲。主要内容包括：云平台大数据建设背景云平台大数据建设方案应用实践未来规划Tips：点击「阅读原文」查看原文视频&PPT～首先介绍一下背景。我们之前是自建的大数据集群，考虑到集群未来的扩展性、稳定性以及成本问题，决定大数据全部上云，今天的分享就是基于 IDC 集群上云的建设实践。01云平台...

转载 关于云音乐数据治理的实践与思考

导读：本文结合过去一段时间云音乐数据开发团队在数仓建设、数据治理方面的具体实践，分享我们在数据治理方面的一些思路。如今的云音乐已经成为一款大众产品，用户每天来云音乐听歌、看评论、逛社区，这个过程中沉淀下来了海量用户数据。平台现在每天收集处理的用户日志已经达到千亿级别，整个集群处理加工使用的数据总量达到了200PB。解决这么大规模下数据存储、处理、使用中的技术问题，作为一名数据开发首先是感到兴奋，但...

转载 阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

作者｜徐榜江 余文兵 赵红梅编辑｜伍翀随着大数据的迅猛发展，企业越来越重视数据的价值，这就意味着需要数据尽快到达企业分析决策人员，以最大化发挥数据价值。企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。在业务建设过程中，实时数仓需要支持数据实时写入与更新、业务敏捷快速响应、数据自助分析、运维操作便捷、云原生弹性扩缩容等一系列需求，而这就依赖一个强大的实时数仓解决方案。阿里云实时计算 Fl...

转载 Clickhouse 索引原理，很多原理在很多地方都是通用的

来源 |blog.csdn.net/maligebazi/article/details/12564703401、概述02、一级索引03、稀疏索引04、索引粒度05、索引的查询过程06、二级索引/跳数索引07、granularity与index_granularity的关系08、跳数索引的类型09、minmax 索引10、set 索引11、ngrambf_v1 / tokenbf_v1索引12、...

转载 终于有人把数据指标体系讲明白了

‍‍来源：数据学堂‍‍“数据岗的核心职能，在于产出数据资产，提升信息的价值密度。”而指标体系就是一个组织最为重要的数据资产。那么：（1）为什么指标体系这么重要？（2）什么是指标体系？（3）指标体系的衡量标准是什么？（4）如何去搭建一套好的指标体系？只要弄清楚了这4个问题，指标体系的搭建工作就迅速地开展、快速地落地，精准地产生业务价值。以上是对于数据同学而言的工作。此外，对于指标体系的使用者而，例如...

转载 Hbase使用Coprocessor构建二级索引

为什么需要二级索引Hbase默认只支持对行键的索引，那么如果需要针对其它的列来进行查询，就只能全表扫描了。表如果较大的话，代价是不可接受的，所以要提出二级索引的方案。网上的实现方法很多，华为，360等公司都有自己的方案，其中华为的已经开源，但是貌似对源码改动较大，新手不容易接受，所以没有选择它们。而其它的像利用Phoenix，solr等外部框架构建索引对Hbase的学习并没有太大的帮助。综上所述，...

转载 为什么列存储能够大幅度提高数据的查询性能？

来源 |www.cnblogs.com/ljhdo/archive/2017/12/14/5508274.html01、列存储的特点02、列存储的物理实现03、列存储索引04、列存储索引的空间使用传统的存储数据的方式是逐行存储（Row Store），每一个Page存储多行数据，而列存储（Column Store）把数据表中的每一列单独存储在Page集合中，这意味着，Page集合中存储的是某一列的...

转载 卧槽，这才是最强Python刷题网站！

大家好，最近经常有粉丝问零基础/基础薄弱，要怎么开始学习python，今天来给大家分享一些python的学习方法，先给大家推荐一个粉丝反馈用起来不错的免费python学习&练习网站传送门：https://www.nowcoder.com/link/pc_gzh_xcssj_python一个不会用Python的程序员甚至一个不会编程的人，到底应该怎么学习Python呢？怎样才能实现Pytho...

转载 60+张PPT，教你如何搭建Spark离线数仓！

分享人：金澜涛，资深大数据专家，前eBay OLAP组技术Leader本文来源未知，如有侵权请联系删文。- END -

转载 图数据库和图计算的区别，终于有人讲明白了

「小晨说数据」，带你学数据！导读：图数据库（图计算）应对的是当今一个宏观商业世界的大趋势，它凭借对海量、复杂、动态数据的挖掘、分析和关联而获得洞察力。事实上，虽然其本身还无法在短时间内完全替代那些已经被用户充分认识和使用的数据平台，但市场对该技术的需求不断激发着图数据库（图计算）的内生动力。本文将浅谈关联数据是怎样对过往技术提出挑战的，同时详细探讨图数据库和图计算之间的区别。 前所未有的能力如果...

转载 一文看懂大数据生态圈完整知识体系

随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。图11数据采集技术框架数据采集也被称为数据同步。随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各...