- 博客(1777)
- 资源 (7)
- 收藏
- 关注
原创 Gitlab 实现仓库完全迁移,包括所有提交记录、分支、标签
作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。但这只针对 public 的项目,若你是私有项目,还不行,差一步得填写原 gitlab 账号密码。在 gitlab 仓库页面,点击下载,注意使用 gz 格式!车联网核心平台-物联网连接平台、大数据平台架构设计及优化。目前主攻降低软件复杂性设计、构建高可用系统方向。如果你和我一样,不喜欢命令行,就看其他方案。如果你是打杂的,没管理员权限,这步也不行。本文由博客一文多发平台。
2024-03-28 15:57:42 317
原创 Redis官宣不再免费!开源界还能活多久?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!免责声明~任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」无聊...
2024-03-26 23:59:26 730
原创 当Java 22遇到 SpringBoot 3.3.0(下)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!翻译自网络免责声明~任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的...
2024-03-24 23:20:42 626
原创 05-快速理解SparkSQL的DataSet
一个数据集是分布式的数据集合。Spark 1.6增加新接口Dataset,提供RDD的优点:强类型、能够使用强大lambda函数Spark SQL优化执行引擎的优点可从JVM对象构造Dataset,然后函数式转换(map、flatMap、filter等)操作。Dataset API在Scala和Java中可用。Python不支持Dataset API,但由于Python动态性质,许多Dataset API优点已经能使用(可通过名称自然访问行的字段row.columnName)。R的情况类似。
2024-03-24 22:41:33 292
原创 当Java 22遇到 SpringBoot 3.3.0!
作为一名 Java 和 Spring 开发者,现在是一个前所未有的好时机!我一直强调这一点。我们仿佛获得了一个崭新的语言和运行时环境,这一进步 - 奇妙地 - 保持了对历史版本的兼容。这是我目睹 Java 社区所开展的最具雄心壮志的软件项目之一,我们很幸运能够见证其成果的诞生。从现在起,我打算将 Java 22 和支持 Java 22 的 GraalVM 用于我的所有开发工作,我希望您也能跟我一起关注我,紧跟本系列专栏文章,咱们下篇再续!
2024-03-23 23:30:51 586
原创 当Java 22遇到 SpringBoot 3.3.0(上)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!免责声明~任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」Ja...
2024-03-23 23:11:23 1025
原创 03-SparkSQL入门
Spark SQL,结构化数据处理的Spark模块。Spark SQL官网误区:Spark SQL就是一个SQL处理框架,不仅是处理 SQL自 Spark 1.0 版本(2014 年 4 月)以来成为核心发布的一部分。与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据和正在执行的计算的更多信息。在内部,Spark SQL使用这些额外的信息执行额外的优化。与Spark SQL交互的几种方法包括SQL和Dataset API。
2024-03-23 20:22:54 854
原创 01-Spark的Local模式与应用开发入门
在 local 模式下,Spark 会使用单个 JVM 进程来模拟分布式集群行为,所有 Spark 组件(如 SparkContext、Executor 等)都运行在同一个 JVM 进程中,不涉及集群间通信,适用本地开发、测试和调试。SparkContext 是 Spark 应用程序的主入口点,负责与集群进行通信,管理作业的调度和执行,以及维护应用程序的状态。在正常情况下,创建多个 SparkContext 实例是不推荐的,因为这可能会导致资源冲突、内存泄漏和性能下降等问题。我才刚入门大数据诶,这么麻烦?
2024-03-22 19:56:03 1144
原创 汽车行业电商平台化架构演进之道
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。1 架构演进 电商系统架构发...
2024-03-21 23:03:44 948 1
原创 ClickHouse最大QPS到底咋估算?
是用于分析的OLAP数据库,因此典型的使用场景是处理相对较少的请求 — 从每小时几个到每秒几十甚至几百个不等 — 但会影响到大量数据(几GB/数百万行)。但是在其他情况下,它的表现如何?让我们尝试用大量小请求来测试ClickHouse如何处理。这将帮助我们更好地了解可能的使用场景范围和限制。
2024-03-21 16:38:03 654
原创 深挖技术 or 深入业务?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。赚钱能力! 程序员最应该钻研...
2024-03-20 23:06:30 837 1
原创 实现悲观协议,除了锁还能咋办?
并发控制机制的划分方法很多,没有统一标准,使用提出的划分标准,分为悲观协议与乐观协议两种。这里的乐观协议是上一讲提到的狭义乐观协议,悲观协议又分为锁和非锁两大类,我们简单介绍了2PL这一个分支。我们回顾了Percolator模型,按照S2PL的定义,Percoloatro本质就是S2PL,因此TiDB的乐观锁也属于S2PL。S2PL是数据库并发控制的主流技术,但是锁管理复杂,在实现串行化隔离级别时开销太大。而后,我们讨论了非锁协议中的串行化图检测(SGT)。
2024-03-18 09:54:53 775 1
原创 程序员入行忠告!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。1 主动解决【技术】问题 ...
2024-03-16 22:39:25 942 1
原创 数仓开发之ODS层
优秀可靠的数仓体系,需要良好的数据分层结构。合理的分层,能够使数据体系更加清晰,使复杂问题得以简化。以下是该项目的分层规划。
2024-03-15 14:32:23 316 1
原创 为啥你的项目总延期?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。案例一 有没有一种可能,就是...
2024-03-12 23:31:23 810
原创 碾压GPT-4!Claude3到底有多强?
2024年3月4日,官方宣布推出 Claude 3 模型系列,它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型:Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能,允许用户为其特定应用选择智能、速度和之间的最佳平衡。Opus 和 Sonnet 现在已经可以在 claude.ai 和目前在普遍可用的 Claude API 中使用。Haiku 很快也会上市。
2024-03-12 14:19:44 728
原创 大厂裁员从谁开始?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。HRBP,基层小领导,[VP...
2024-03-11 22:42:21 720
原创 tsv文件在大数据技术栈里的应用场景
是的,\t是指制表符(tab),它通常用作字段分隔符在 TSV(Tab-Separated Values)格式的文件中。TSV是一种简单的文本格式,它使用制表符来分隔每一列中的值,而每一行则代表一个数据记录。上面的例子中,\t表示每个值之间的制表符,用来区分不同的列。当你在文本编辑器或者代码中见到\t,它代表的在实际的文件中通常是一个不可见的制表符。在大多数编程语言中,比如Python、Java等,制表符可以用转义字符"\t"来表示。
2024-03-11 22:15:32 1110
原创 这本书太好了!150页就能让你上手大模型应用开发
仅仅发布 5 天,ChatGPT 就吸引了 100 万用户——当然,数据不是关键,关键是其背后的技术开启了新的 AI 狂潮,成为技术变革的点火器。他们关于本书的书评如下。书如其名,这是一本有关大模型应用开发的极简入门手册,为初学者提供了一份清晰、全面的“最小可用知识”,带领大家快速了解 GPT-4 和 ChatGPT 的工作原理及优势,并在此基础上使用流行的 Python 编程语言构建大模型应用。这本书虽然是面向软件工程师的,但因为足够基础,所以我蛮建议不懂编程的朋友从这本书开始了解 AI 的细节。
2024-03-08 15:49:06 938
原创 9款Visio平替架构师作图工具!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。1 [LucidChart]...
2024-03-07 23:04:56 783 1
原创 9款世界级垂直领域软件架构师Visio平替作图工具!
综上所述,国内外在线这些工具在功能上,几乎没有特别明显的差别,支持的功能也都非常的全面,国外很多创业团队起步比较早,产品想对成熟,但是产品基本上都是收费的。国内的工具虽然免费,但是在功能上,还需要一些完善,当然在“本地化”上,国内肯定也占有很大的优势。也期待国内有更多垂直领域的专业工具出现,只要能为用户带来价值的产品,相信市场一定会给予认可的。当然除了以上这些,国外还有很多做线框图的工具,只不过在功能上稍微有些单一,本文并没有列出。
2024-03-07 22:54:10 849
原创 大厂的视频推荐索引构建解决方案
数据链路角度分两块:先验数据链路,数据源主要来自内容中心,通过解析服务写入到CDB中。其中这个链路又分为全量链路和增量链路全量链路主要是在重建索引时才需要的,触发次数少但也重要。它从DB这里dump数据,写入kafka,然后通过写入服务写入ES增量链路是确保其实时性的链路,通过监听binlog,发送消息至kafka,写入服务消费kafka然后写入ES后验数据链路。APP用户行为流水每天有上百亿,这个量级直接打入ES绝对扛不住。需对此进行聚合计算。
2024-03-07 11:04:05 481 1
原创 大厂报价查询系统性能优化之道!
机票查询系统,日均亿级流量,要求高吞吐,低延迟架构设计。提升缓存的效率以及实时计算模块长尾延迟,成为制约机票查询系统性能关键。本文介绍机票查询系统在缓存和实时计算两个领域的架构提升。机票搜索业务:输入目的地,然后点击搜索,后台就开始卷了。基本1~2s将最优结果反给用户。这个业务存在以下业务特点。使用了多层灵活缓存,从而能很好的应对高流量的冲击,提高反应速度。使用可靠的调度和负载均衡,这样就使我们的服务保持高可用状态,并且解决了长尾的查询延迟问题。
2024-03-04 23:33:59 1224 1
原创 服务发现:CP or AP?
通常可使用zk、etcd或分布式缓存(如Hazelcast)解决事件通知问题,但当集群达到一定规模之后,依赖的ZooKeeper集群、etcd集群可能就不稳定,无法满足需求。注册中心负载过高各节点数据不一致服务下发不及时或下发错误的服务节点列表RPC框架依赖的注册中心的服务数据的一致性其实并不需要满足CP,只要满足AP即可。我们就是采用“消息总线”的通知机制,来保证注册中心数据的最终一致性,来解决这些问题的。
2024-03-03 19:34:53 871 2
原创 Twitter推荐引擎架构设计分析
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。0 前言 可靠性保障是复杂的...
2024-03-03 00:01:53 799
原创 再见了Kafka,MQ新王Pulsar大厂实践!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。本文介绍公司选择 Apach...
2024-03-01 23:34:02 805
原创 2024年值得关注的5款国产低代码开发平台
最近几年,低代码\无代码\零代码技术和快速开发平台比较热门,全球知名低代码平台厂商有:微软Power Platform、西门子Mendix、OutSystems等。我们国内最近几年也有一些信创国产化低代码平台涌现出来,比如:云程、氚云、轻流、简道云、得帆、ClickPaaS等,华为、阿里、百度等一些互联网大厂也杀入了低代码赛道,发布了低代码引擎或低代码前端框架等开源产品。
2024-02-29 14:31:19 1615 7
原创 来看大厂如何设计运营后台系统的?
配置数据Json化实现业务字段可扩展性设计的数据模型来介绍满足多语言下各类运营配置数据方法提供SDK内部实现本地缓存,MQ监听,异步更新解决服务中心化的大流量问题和缓存导致数据不一致问题。针对海外具体情况,提出客户端缓存的相关方案如错误码配置举例,错误码需要给客户端返回各类错误码以及对应的相关文案,文案是多语言场景的,通过运营位配置化实现,只需要在分析需求,拆分业务字段和数据露出的条件后,很快就可以给出相应的运营后台。关注我,紧跟本系列专栏文章,咱们下篇再续!
2024-02-25 22:12:28 636 1
原创 大厂的数据质量中心系统设计
日常工作中,数据开发上线完一个任务后并不是就可以高枕无忧,时常因上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而问题发现可经历较长周期(尤其离线场景),往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题(对于一个较冷的报表,这个周期可能会更长)。由于数据加工链路较长,需借助数据血缘关系逐个任务排查,也会导致问题定位难度增大,严重影响开发效率。如数据问题未及时发现,可能导致业务方作出错误决策。此类问题可统一归属为大数据领域数据质量问题。
2024-02-20 22:39:19 1163
原创 ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl‘ module is compiled with
错误消息提到OpenSSL 1.1.1+和LibreSSL 2.8.3的原因是,urllib3 v2.0(您已安装的版本)需要OpenSSL 1.1.1+才能正常工作,因为它依赖于OpenSSL 1.1.1的一些新特性。或者您可以使用与之兼容的较旧版本的urllib3,例如urllib3 v1.26.6,它没有严格的OpenSSL版本要求。问题在于当前安装在您的环境中的’ssl’模块是使用LibreSSL 2.8.3编译的,这与urllib3 v2.0不兼容。
2024-02-19 00:06:34 320
原创 大厂的供应链采购系统设计
公司发展面临商业环境变化,如流量模式、竞争格局和公共卫生事件。采购系统作为供给端核心系统之一,做好顶层设计并持续进行系统演进,才能适应剧烈的业务变化,服务好最终用户。本文从定义宏观设计蓝图落地系统持续演进展开整个采购系统架构过程,看业务系统架构设计过程。不断聚焦,推演采购系统的底层架构关键点。供应链这种B端系统门槛高,对架构师业务深度、技术深度提出双向要求,埋头做系统可不行。将业务敏感度和架构方法论结合,用发展动态眼光看,才能发现真正技术价值和业务价值。本文由博客一文多发平台OpenWrite发布!
2024-02-15 22:23:31 890
原创 大厂的供应链域数据中台设计
受限于对业务掌握度及对应数据特性的了解,大数据平台更倾向海量的同构或异构数据采集,清洗,加工,存储。而提供的数据服务更多是对采集到数据进行汇总及分析。为产品线提供准确及时的数据服务也为数分提供完善的数据脉络,帮助其更好对这些数据深层挖掘分析,再次提升数据价值进则作为独立数据域的数据中台产品,逐渐完善自身特性退则作为一个数据域模块快速融入公司大数据中台基于 DDD 领域建模的供应链域数据中台设计基本完毕,紧接着就是后续流畅的开发工作。
2024-02-10 19:03:51 690
原创 字节跳动官方出品AI,白嫖使用GPT4!
字节跳动在海外推出的AI聊天机器人和应用程序编辑开发平台。专为开发下一代AI聊天机器人而设计,该平台允许用户无论是否有编程经验,都能快速创建各种类型的聊天机器人,并轻松部署在不同的社交平台和消息传递应用程序上。
2024-02-10 18:50:11 1178
原创 供应链领域数据中台架构建设(下)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。3 实践篇 3.1 供应链域...
2024-02-10 18:21:45 405
原创 供应链领域数据中台架构建设(上)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都国企技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设...
2024-02-08 23:58:51 945
Spring基础讲义-java 入门必备
2022-11-05
南邮Windows编程课件
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人