- 博客(99)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 从零开始搭建AI网站（6）：如何使用响应式编程
在前端开发中，响应式编程可以用于处理用户界面的事件流和数据流，使得界面能够动态地响应用户的操作。在使用 Spring Boot 的 WebClient 时，当我们使用 bodyToFlux 方法将响应体转换为 Flux 对象时，如果响应体是一个流式数据，那么当流式数据传输完毕后，会自动发送一个 onComplete 信号来通知订阅者流已经结束。同样，WebClient也可以与Reactor的Flux一起使用，通过bodyToFlux()方法将响应转换为Flux流，从而实现对响应的处理和操作。
2023-09-02 09:18:22
925
1
原创 DreamBooth为何有能力让第一个应用创建者年赚2500万美金？
题外话，最近很火的生成个人写真的小程序很火，妙鸭，网上大多推测它使用了LoRA模型训练，如果真是这样的话，说明它还不够先进，国外有基于DreamBooth训练个人形象：只需要花费3美元，就可以在一个月内无限迭代生成自己的专属形象，据报告最早做这个网站的人已经赚了2500万美金。Dreambooth由Google提出，使用Dreambooth，一旦系统捕获了对象，就可以合成该对象的任何图像，也就是梦有多远，就能带你走多远。这是没办法中的办法，尽管如此，我们还是能够在不违法法理的情况下得到了一致性的人物形象。
2023-08-02 13:37:37
282
原创 Stable Diffusion VAE：改善图像质量的原理、选型与使用指南
在Stable Diffusion中，不管是V1，V2，还是其他基础模型，如果本身对图像质量没有苛刻要求，其实是不需要额外部署VAE模型的，因为现在很多模型中都已经集成了VAE，比如 Anything VAE 已经集成到 Anything 模型了，再额外增加模型也没有效果。但是通过使用额外的VAE能够胜过默认提供的内置模型。在latent空间中生成后的图像再经解码还原到像素空间，即人类看见的图像，这个过程中，图像会有信息损失，而VAE就充当了上述编解码器的角色，好的VAE模型能够较好的保证图像质量。
2023-08-01 13:23:42
6683
原创 对象分割技术在图像重绘上的运用
基础模型是使用神经网络通过海量的无标签数据集上训练得来的，模型强大的能力带来了诸如ChatGPT和BERT这样的产品。系统先使用Grounding DINO 根据输入的文本进行对象检测，然后将对象检测结果作为输入 传递给 Segment Everything 得到图像掩码（Mask），这些掩码结合文本prompts 作为Stable Diffusion的输入，由SD来进行图像的重绘。这么重要的基础模型，我们怎么用呢？再举个outpainting的例子，现在我们的目标变成这样的：狐狸不变，背景换掉。
2023-08-01 09:26:45
227
原创 Stable Diffusion ControlNet 完全指南
OpenPose有专门提取脸部特征，手部特征，关节，膝盖，脚踝以及以上特征的组合等多种模型。相比img2img，Depth2img 不仅能够利用 文本prompt，原来的图像，还可以使用原来图像的深度信息来控制图像的生成，也就是说，相比前者，他有3维参考信息。从上面示例，大家能够看到边缘检测器和OpenPose的一些区别，前者勾勒人物轮廓，目标图像会保留原图中的头发，衣服等轮廓，适合于一些富含边缘信息的主题和背景迁移，而后者更自由，它关注人物的关键姿势特征，但是不会保留那些衣服，头发等的轮廓信息。
2023-07-30 22:44:43
778
原创 看完这篇文章，你还会用再用AUTOMATIC1111 WebUI吗？
看完这篇文章，你还会用sd webui吗？果是我，果断回去rm 它，如果上述理由还不够强的话，可以再回去试验下，前者是如何使用SDXL的两阶段模型的，而在新的ui中，两阶段模型是如此丝滑地集成到一起，方便得让人欲罢不能。
2023-07-29 22:58:32
1036
原创 还没有上手Stable Diffusion XL 1.0 的同学，看这篇文章就够了
Midjourney虽然出图精美，使用方便，但是出图的灵活性方面是一大硬伤，Stable Diffusion 作为Midjourney的开源替代品，由于其丰富的插件，灵活可控，受到社区的热捧，一直被寄予厚望，这次Stable Diffusion发布了 XL 1.0版本，让它又大火了一把。在SDXL之前，通过Stable Diffusion生成绘画，经常会出现恐怖片场景，SD基础模型特别不擅长进行真人绘制，所绘制的人物要么多头，要么少胳膊，要么多手指，要么少腿，总之人物经常会发生变形。
2023-07-29 00:04:19
1278
原创 如何在Midjourney 中创建形象一致的人物角色
好了，以上就是比较常用且有效的方法，另外，在实战中，还有一些小技巧，比如通过种子法，角色命名法，风格命名法等，图像比例控制，参数控制等以及多角度图像垫图，换脸，PS 等方法。总之，生成完全一致的角色的图像是一个综合运用多种方法的系统工程，这篇文章我用一种最难的真人图像为例介绍，实际上真人图像也要看图像本身的辨识度，该方法不一定对所有角色人物都有效，需要结合实际情况来操作。另外，对于非真人场景，比如动漫角色等，操作难度相对降低。首先我们先来生成一张人像，但是为了获得好的效果，人像尽量简单，背景也不要复杂。
2023-07-18 11:42:58
317
原创 Midjourney助力交互设计师设计网站主页
Midjourney的一大核心优势是提供创意设计，这个功能也可以用在网站主页设计上，使用Midjourney prompt 应尽量简单，只需要以"web design for..." or "modern web design for..."开头即可。以上图像都可以在这个平台使用，20元生成100张图像，赠送ChatGPT3.5，可实现中文输入。“创建插画风格的主页能够给用户一直独特的感受，并且能够比真实照片传递更多复杂信息，越来越多的品牌开始使用这种风格的网站“
2023-07-15 16:01:27
1493
原创 视频镜头拉伸效果实现原理解析
要实现从近到远观看景物，相当于镜头后拉，或者人后退，视野逐渐开阔，对于真实摄影机来讲，没有问题。但是对于计算机，后退的过程中原来的景物比例逐渐缩小，视野逐步放大，从而能够看到更多的景物，但是计算机该看到什么，是未知的，完全靠想象，可是计算机可没有这种想象能力，怎么处理呢？通过这样5步，实现了演示中的视频的主体内容，但是仅仅这5张图象还不足以构成视频，我们必须让它从上一张图像渐变到下一张图像，为了达到对人类视网膜成像非常好的“欺骗”效果，这个渐变过程至少要提供30张图象，这样我们看起来才比较连续。
2023-06-29 10:56:10
205
原创 为什么Paimon值得期待？
前段时间 Flink table store 更名为 Apache Pimon ，并重新进入Apache incubator。截止目前，incubator-paimon项目已经在github上收获了600+ Star（https://github.com/apache/incubator-paimon）：之前虽然了解到Fink table store，但是没空去了解它，趁此机会，我也花了2天时间来...
2023-03-23 17:25:03
2436
2
原创 如何用Spark SQL实现多Catalog联邦查询
目前对多Catalog的支持俨然成为计算引擎的标配，因为在OLAP场景，跨数据源的联合查询是一大刚需。但是，传统的计算引擎如Hive、Spark2对多Catalog支持能力很弱，也许是受Flink、Presto（Trino）的步步紧逼，Hive3也开始支持多Catalog，但是仅限于存储层面和API层面，还没有推进到SQL层。Spark相比Hive要进展好得多，在多Catalog的实现方式上甚至成...
2023-03-18 11:02:43
1431
原创 Flink如何创建同Hive兼容的表
曾使用Flink API创建Hive表，然后查询时碰到过这个问题：hive>select * from test_db.test_flink_hive_table;FAILED: SemanticException Line 0:-1 Invalid column reference 'TOK_ALLCOLREF'但是如果使用Flink SQL去查询却是正常的。切换其他引擎，比如使用Tr...
2023-03-15 19:00:01
585
原创 云原生数据湖元数据管理在滴普科技的实践
元数据在数据湖上的重要性不言而喻，借用阿里云官方社区的一张图：这幅图描绘了数据湖分析平台的总体构架，它主要包括五个模块：数据源：原始数据存储模块，包括结构化数据(Database等)、半结构化(File、日志等)、非结构化(音视频等)数据集成：为了将数据统一到数据湖存储及管理，目前数据集成主要分为三种形态。第一种为直接通过外表的方式关联元数据；第二种为基于ETL、集成工具、流式写入模式，这种方式直...
2023-03-08 13:00:25
693
原创 元数据系统设计理论与实践
本文首发微信公众号：码上观世界在大数据架构中，从数据生产、加工到数据消费，每个环节都涉及到元数据的共享和交换，比如数据库，数据表，表结构、存储格式、ETL任务配置、运行记录、操作日志等，由于这些信息分布在不同的系统，既有OLTP系统，又有OLAP系统，这些系统之间并没有统一的企业标准，导致IT在进行系统集成时面临较大挑战，甚至用户自己也无法寻找需要的数据，并对数据的来源、含义、质量、可信度等给出解...
2023-01-18 15:52:05
745
原创 重新认识Hive
本文首发微信公众号：码上观世界说起Hive这个曾经叱咤风云的大数据数仓分析平台（好像现在依然老骥伏枥） ，可谓无人不晓，但是如果现在让你们重新选择一项数据仓库分析平台，恐怕无人再去选择它她，毕竟Spark、Impala、Kylingence、Presto、Trino、Clickhouse、Starrocks等才是当红明星，谁还会正眼看她一眼呢？回头看当时的Hadoop、Hive生态现在被新兴技术挖...
2023-01-16 18:47:18
213
原创 大数据平台到底该如何设计？
本文首发微信公众号：码上观世界要回答如何设计大数据平台，首先要回答为什么要设计大数据平台。设计大数据平台无非是满足企业的数据查询和分析需求，最终为企业的运营服务。最终交到运营手里的大数据产品可以是报表、看板以及其他高级BI工具。实际上，从大数据运营平台沿着数据链路的产生方向往上游推，还存在着大数据采集与存储平台、大数据开发与计算平台、大数据治理平台等。他们分别服务者不同的用户，比如大数据采集与存储...
2023-01-15 19:23:30
871
原创 如何实现Flink、Iceberg和Hive数据类型之间的互转
Flink、Iceberg和Hive都提供了丰富的SQL 数据类型，但是在具体使用上，还是存在一些差异和不兼容的情况，当将三套引擎放在一起使用时候，经常会碰到将几种引擎的类型之间来回转换。问题是，这几套独立的数据类型是否支持互相转换，以及如何才能减轻转换的复杂性？为此，首先需要仔细地调研几种引擎对数据类型的支持情况，现将三种引擎支持的数据类型和对应关系罗列如下：FlinkIcebergHiveCH...
2023-01-06 16:03:43
825
原创 如何对Hive Metastore进行权限控制
本文首发微信公众号：码上观世界中国“红武士”——刘粹刚东方古国，炎黄子孙，五千余载，历史文明;。诗礼传承，世界同钦，仁爱与人，道德长青。濒江近海，有我南京，十朝都会，物阜文丰。秦淮灯火，玄武清风，紫金绮丽，幕府山雄。岁逢丁丑，噩耗惊逢，东瀛倭鬼，炮火加城。屋坍梁折，百镇荡平，千乡闻哭，遍地哀鸣。刀亡枪杀，不论军民，奸淫掳掠，丧尽良心。朗朗书声，为之顿绝，哀哀母号，泪有血痕。夫妻骤离，邻家同死，妇孺...
2022-12-13 17:59:50
759
原创 动态代理在创建HiveMetaStoreClient上的运用
本文首发微信公众号：码上观世界Hive MetaStore 在版本2.x和3.x中有较大改变，包括常用接口类的参数，比如这个对外使用的HiveMetaStoreClient，其构造方法参数类型由之前的HiveConf类型改成了Configuration，由此出现了不同版本的兼容问题。#HiveMetaStoreClient.classpublic HiveMetaStoreClient(Conf...
2022-11-26 15:47:00
553
原创 如何扩展Hive Metastore Thrift RPC服务接口
Hive 在经历十几年的发展，已经获得广泛应用，随着版本升级，不同版本之间的协议接口会发生一些变化，尽管HMS在尽量保持向前兼容，但在大版本变更时，仍然不能保证完全兼容，比如HMS2到HMS3，有关索引（Index）相关的接口变成了约束（constraint），比如下图中左边是HMS3接口定义，右边是HMS2接口定义：这样当使用Hive 2的Client去访问HMS 3 的服务时候，就会报无效方法...
2022-11-19 19:38:47
349
原创 Flink读取Iceberg表的实现源码解读
本文首发微信公众号：码上观世界任何存储系统都是由数据和元数据组成，Hive也不例外，只是它的数据存储系统和元数据存储是分离的，分别位于不同的分布式系统中，如数据存储在分布式系统MinIO或者HDFS上，元数据存储在HIve Metastore或第三方元数据系统如Glue等。外部系统访问存储系统需要两步：先从元数据系统中获取要访问数据的元数据，如所在的位置等信息，然后再通过元数据访问存储系统，访问实...
2022-10-29 11:35:14
938
1
原创 Metacat实现原理解析
本文首发微信公众号：码上观世界Metacat 是Netflix开源的元数据管理平台， 它的三个主要目标是：提供元数据系统的联合视图用于数据集元数据的统一 API支持业务和用户元数据存储本文从系统特性与架构、Metacat元数据存取模型以及技术实现方面来讲述Metacat的实现原理。Metacat特性与架构Metacat本身不存储数据源的元数据，只存储跟数据源相关的业务元数据和用户自定义元数据。从高...
2022-09-03 18:21:47
2284
原创 如何创建与引擎独立的Iceberg表
本文首发微信公众号：码上观世界创建表是引擎的必备基本能力，引擎有很多，Hive、Spark、Flink、Trino等等，我们姑且只关注这些，创建的表按照是否跟引擎绑定，分为两大类：managed table和external table。以这里举例的引擎为例，它们都可以将表元数据维护在Hive Metastore中，对引擎来讲，这些表以external table的形式存在。在本文中，我们将话题限...
2022-08-19 20:25:40
1272
原创 使用Hive SQL查询Iceberg表的正确姿势
本文首发微信公众号：码上观世界Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要...
2022-08-08 21:23:46
2088
1
原创 万能的Hive Metastore能存哪些类型的表？
本文首发微信公众号：码上观世界由于Hive Metastore在Hadoop生态中的独特地位，Hive Metastore也顺理成章成为实时大数据领域中元数据存储的”兵家必争之地“。目前，主要引擎Spark、Flink、Iceberg、Trino等都集成了Hive Metastore。那么Hive Metastore这个万能元数据大熔炉到底能存储哪些类型的数据表呢？简单概...
2022-07-21 22:02:55
569
原创 整库入湖方案设计方法
整库入湖，顾名思义就是将整个库中的表入湖，为甚强调整库？先来看看如何进行单表入湖。单表入湖有三种实现方式：1. 全量入湖一次性将整个表的数据入湖，实现单表整库入湖有很多工具可以完成，类似的工具有Datax、Sqoop、Kettle等，说类似是因为这些工具暂时还不支持最新数据湖，比如Iceberg、Hudi、Deltlake，但是经过开发修改是能够满足这类入湖需求的。Dat...
2022-06-22 19:25:38
1043
原创 如何设计统一元数据
元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息，帮助用户理解数据关系和相关属性。元数据管理工具可以了解数据资产分布及产生过程。实现元数据的模型定义并存储，在功能层包装成各类元数据功能，最终对外提供应用及展现；提供元数据分类和建模、血缘关系和影响分析，方便数据的跟踪和回溯。元数据是企业数据资源的应用字典和操作指南，元数据管理有利于统一数据口径、标明数据方...
2022-06-11 18:36:25
1484
原创 一种数据湖维表查询方案
构筑强者的道德平台是一个复杂的社会工程，道德平台太低，势必挤压弱势群体的生存空间，而过高的道德平台又必然存在两个问题：首先是很少有人能攀援上去，没有可操作性；其次是过多的帮助不利于社会进步，弱势群体得到的输血越多，则自身的造血功能就越差，就越接近死亡。道德平台理想的高度，是优胜劣汰的法则与人人平等的道德两者之间的平衡。主流的文化，是优胜劣汰的文化，是不给落后观念生存空间的...
2022-06-06 18:52:17
130
原创 数据湖常用查询优化技术
经济发展有周期，人的思想活动也是有周期的，是时候进行一场文化领域的整风运动了，尤其是那些空谈误国，乱教误人子弟的，就是缺少了对其思想改造的过程，严重脱离群众，是时候要常态化地下放了。本文首发微信公众号：码上观世界1MinMax开放式数据格式文件的的元数据信息部分通常都包含当前文件每个列的最大、最小值，比如下图中的parquet文件包含两个字段：year和uid，并且fil...
2022-06-04 20:50:11
712
原创 HMS2.x与HMS3.x是否支持互访？
本文首发微信公众号：码上观世界HMS作为Hive的心脏，管理数据相关的所有元数据，连接着数据分析与数据存储，其本身也支持独立升级或替换。HMS从1.0.0 到当前 HMS3.1.2 ，经历了多次变更，特别是HMS3相比之前的版本有了较大的修改，但在实际应用中，由于升级不及时等原因，经常会遇到两种版本共存的问题，甚至两个版本互相访问的情况，比如联邦查询，但是我们在没有验证或...
2022-05-14 14:08:08
304
原创 Hive Metastore Server实现逻辑
人为什么爱美？“没有某种动力的消耗或变化，不可能让热从低温转移到高温”，这就是克劳修斯在1850年提出的热力学第二定律，该定律规定着宇宙中的一切事物或行为的演化方向：趋于混乱无序的状态，而且这一过程是不可逆转的。用术语来说就是熵增定律，在生活中，熵增的现象很多：在无外因干预的条件下，热水会慢慢变凉，整洁的房间看看变得脏乱，热烈的情感慢慢变得平淡，旺盛的生命也渐渐趋于衰竭。...
2022-05-07 14:54:02
446
原创 Hive Metastore动态切换存储引擎方案探索
Hadoop统一封装了对底层不同存储引擎的支持，且通过开放一致的API接口，便于调用方切换不同的存储访问，但是在Hadoop之上的Hive因为通过静态的配置方式来访问存储引擎，且对外不暴露接口，调用方切换引擎十分不变，本文来探讨下动态切换存储的可行性和方案。Hadoop如何动态切换存储引擎在Hadoop 的文件系统中能够根据路径和配置信息生成FileSystem，接口定义...
2022-04-19 16:59:30
463
原创 详述存算分离场景下的统一数据Catalog
本文首发微信公众号：码上观世界What Is a Data CatalogSimply put, a data catalog is an organized inventory of data assets in the organization. It uses metadata to help organizations manage their data. It ...
2022-04-08 19:34:19
1634
原创 Iceberg事务特性解读
本文来源微信公众号：码上观世界一、常规大数据处理技术的痛点常规的大数据处理技术栈是基于Hadoop、Hive、Spark等实现大数据的抽取、转换和加载（ETL或者ELT），然后基于转化、装...
2022-03-07 12:57:44
1018
2
原创 Dask核心功能介绍及与Spark的比较
从谷爱凌身上，我们看到了支撑她走上神坛的4个因素：优良的基因衣食无忧的生活兴趣自由智力向导其中基因是基础，也可以说是最重要的。不要小看基因的一点儿优化，哪怕一丁点的改良就可能超越当前地球在...
2022-02-11 18:42:37
2844
原创 Flink 流式写入Iceberg实现原理解析
"少年为学者，每一书皆作数次读之。当如入海百货皆有，人之精力不能并收尽取，但得其所欲求者耳。故愿学者每一次作一意求之，如欲求古今兴亡治乱圣贤作用，且只作此意求之，勿生余念；又别作一次求事迹...
2022-01-28 00:17:23
1235
原创 Flink Checkpoint是否支持Kafka 数据消费状态的维护？
本文首发微信公众号：码上观世界使用Flink实时消费kafka数据时候，涉及到offset的状态维护，为了保证Flink作业重启或者运行时的Operator级别的失败重试，如果要做到“断点...
2021-12-25 12:30:19
849
原创 实时作业转离线作业的几种场景及方案
经常听到人抱怨：所在公司太小，业务不稳定，学不到东西。不可否认，的确是这么回事，假如无法改变现状，何不换个角度来看呢？往往小公司和摇摆不定的公司才能锻炼能力和出现“英雄”般的人物，才能分离...
2021-12-03 13:44:45
247
原创 Iceberg文件组织原理
本文首发微信公众号：码上观世界Understanding the rise of China演讲者：Martin Jacques 马丁·雅克语言：英语简介：2010|在TED伦敦沙龙会...
2021-11-05 20:19:07
1240
gps开发包（含有 GPSLIB 库的源代码和 Demo 程序）
2010-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人