- 博客(1785)
- 收藏
- 关注
原创 【京东云新品发布月刊】2024年3月产品动态
它源自京东开源组件管理、安全合规及知识产权保护的实践探索,提供全面、准确和实时的软件物料清单采集与分析能力,打造企业级标准化软件成分信息库,并集成组件漏洞库和许可证库,赋能组织高效地管理和使用开源软件。金牌服务为客户提供多云规划,架构设计、跨云分布、性能调优、高可用容灾、重保护航等全生命周期的关键服务,在混合多云环境的复杂场景下,帮助客户实现业务价值、灵活性、收入增长和成本控制,加快业务敏捷性和数字转型。分析型云数据库ClickHouse垂直扩容能力增强,磁盘支持热扩容,用户可实现分钟级别集群扩展。
2024-03-28 10:49:57 108
原创 java线程池原理浅析
备注:默认情况下,当线程池中的线程数大于 corePoolSize 时,如果一个线程空闲的时间达到keepAliveTime,则该线程会终止,直到线程池中的线程数不超过 corePoolSize。2.newFixedThreadPool:创建一个固定大小的线程池,因为采用无界的阻塞队列,所以实际线程数量永远不会变化,适用于负载较重的场景,对当前线程数量进行限制。3.提高线程的可管理性:线程是稀缺资源,如果无限制创建,不仅会消耗系统资源,还会因为线程的不合理分布导致资源调度失衡,降低系统的稳定性。
2024-03-28 10:49:25 190
原创 IO模型介绍(select、poll、epoll)
IO中的I就是input,O就是output,IO模型即输入输出模型,而比较常听说的便是磁盘IO,网络IO。
2024-03-28 10:48:55 141
原创 “线程池中线程异常后:销毁还是复用?“
还记得,我们在3.1的时候,发现submit也是调用了execute方法,但是在调用之前,包装了一层 RunnableFuture,那一定是在RunnableFuture的实现 FutureTask中有特殊处理了,我们查看源码可以发现。但是,我们通过java.util.concurrent.FutureTask#get(),就可以获取对应的异常信息。◦当执行方式是execute时,可以看到堆栈异常的输出,线程池会把这个线程移除掉,并创建一个新的线程放到线程池中。
2024-03-28 10:48:24 189
原创 学算法要读《算法导论》吗?
如分治法等,此外在数据结构中创建哨兵节点的技巧也在链表章节中也描述。我认为它的前十六章加上第二十二章用来学习基础的算法已经足够了。开篇我说这本书像鸡尾酒,因为。
2024-03-27 11:14:55 432
原创 基于vite多页面实现多端同构开发和部署
以上是我们基于vite多页面同构方案来实现多个端一套代码开发构建部署,实现工程模块中相同模块和资源的共享复用,减少多个应用的创建和多域名申请,以及多个应用之间相互关联交互,通过path来区分不同的用户访问。
2024-03-27 11:14:24 608
原创 百川仓配切量接口成长史
从一个小小的接口演变成如此支持业务扩展、入口扩展、环境扩展的“3D”接口。也是我从参与专项一路摸爬滚打至今的缩影吧。欢迎大家一起探讨,有考虑不周的也欢迎指出。其实我觉得,大到系统间规划小到接口重构,相对于重要战略落地、紧急需求上线来说,属于重要不紧急的那一类。但不应该等等再说,而应该未雨绸缪,随机应变。
2024-03-27 11:13:19 396
原创 如何判断一个数仓模型的好坏?
一个企业面对大数据的时候,势必会遇到数仓开发,那么数仓开发完之后,如何判断一个数仓模型的好坏?根据自己经验,总结以下几点供参考,
2024-03-26 10:25:40 204
原创 DBCP一个配置,浪费了MySQL 50%的性能!
数据库性能优化对于保证应用的响应速度和处理大量数据的能力至关重要。它可以显著减少查询时间,提高事务处理效率,降低硬件成本,并确保系统稳定性与可扩展性。优化后的数据库能够更好地服务于用户需求,增强客户满意度,对企业的长期发展和竞争力具有深远影响。
2024-03-26 10:24:44 540
原创 hive 、spark 、flink之想一想
19:flink反压机制,你是如何理解的?17:flink的cp ,sp说一说原理,有什么区别?你们的上下游的环境都是什么?9:spark中的app,job,stage,task是什么?25:flink消费kafka的offset是怎么维护的?10:spark的RDD是什么?18:flink的四个图是什么?20:flink的barrier对齐和非对齐是怎么理解的?13:spark 与mapreduce的区别是什么?14: spark的反压原理是什么?21:flink的精准一次和至少一次是怎么理解的?
2024-03-26 10:23:50 176
原创 从0到1:基于SD的AI数字模特探索之路
传统的电商平台通常依靠人工拍摄和编辑产品图片,这需要大量的时间和资源。AI数字模特可以根据需要调整模特的外貌、体型和风格。这样,电商平台可以快速、高效地生成大量的产品展示图片,同时可以根据消费者的需求和喜好进行个性化定制。
2024-03-26 10:23:18 591
原创 京东流水线——满足你对工作流编排的一切幻想
理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。这里我们以“制作Pizza”的流程为例,简单的把操作拆分为4个阶段:准备食材Prepare(如鸡肉,起司,青椒等),揉面Knead(面粉,油,发酵),制作(组合准备的食材与披萨底座),最终烘焙完成。
2024-03-22 14:35:58 654
原创 【稳定性】从项目风险管理角度探讨系统稳定性
从管理风险维度出发,通过对风险的规划、识别、分析和监督,团队可以有效地管理系统风险,从而提高系统稳定性。
2024-03-22 14:34:46 715
原创 稳定性方法论:可灰度 & 可监控 & 可回滚
业务系统核心目标是挣钱,系统稳定性建设核心是防止丢钱(丢钱逻辑如下图所示),站在公司的角度看,产品功能建设和系统稳定性是同等重要。前段时间写了《》,该文章在稳定性建设的理论和实践基础上,抽象出稳定性治理的框架,希望建立一个稳定性治理的标准动作、最佳实践。但从读者的反馈上看,有过类似经验的同学深同感触,经验不足的同学没啥感觉,导致这个结果的原因,我反思了一下,认为:概念太粗,落地容易变形。于是,想写一篇文章,把稳定性最重要的东西写出来,于是有了这篇文章。
2024-03-22 14:32:59 719
转载 Java浅拷贝BeanUtils.copyProperties引发的RPC异常
Tech01背景在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!近期参与了一个攻坚项目,前期因为其他流程原因,测试时间已经耽搁了好几天了,本以为已经解决了卡点,后续流程应该顺顺利利的,没想到 人在地铁上,bug从咚咚来~没有任何修改的服务接口,抛出异常:java.lang.ClassCas...
2024-03-21 11:44:37 30
原创 React memo的原理、实践与思考
在react中,对一个组件进行点击事件等操作时,该组件以及该组件的子组件都会重新渲染。避免组件的重新渲染一般可以借助 React.memo、useCallback 等来实现。memo 类似于 class 中 pureComponent 的特性,用于在函数式组件的父组件中对子组件进行缓存,避免在父组件重新渲染时重新渲染子组件,只有在属性发生变化时重新渲染组件。
2024-03-21 10:20:42 374
原创 【稳定性】稳定性建设之依赖设计
强弱依赖治理的实施需要以下几个步骤:1.确定依赖关系:首先,我们需要明确应用之间的依赖关系。这可以通过分析代码、配置文件等方式来实现。只有了解了应用之间的依赖关系,我们才能进行后续的治理工作。2.分析依赖数据:接下来,我们需要收集应用间的依赖关系、流量以及强弱等数据。这可以通过监控工具、日志分析等方式来实现。通过收集这些数据,我们可以更好地了解系统的运行情况,发现潜在的依赖问题,并预测可能出现的故障。这样,我们可以及时采取措施,为后续的治理工作提供依据。
2024-03-21 10:20:10 344
原创 定时任务优化总结(从半个小时优化到秒级)
通过本次优化让我收获许多,最大的收获是让我深刻明白了,对于编码人员,要时刻考虑资源的消耗。举个不太恰当的栗子,假如每个人在工程里都顺手打印一行无效日志,随着时间的积累整个工程都会到处打印在无效日志。毫不夸张的讲,或许只是因为你多打印了一行log.info日志,在请求量猛增达到一定程度时都会导致机器和应用的不良连锁反应。建议大家在开发的时候在关键点加上关键日志,并且合理利用Debugger,结合ducc进行动态日志调整排查问题。上面只是本次定时任务优化的大概方向,中间也踩了一些其他的坑,在这里就不在赘述。
2024-03-21 10:18:57 333
原创 得嘞,分页插件PageHelper返回记录总数total竟然出错了!
继续查看父类PageSerializable,发现有关于total参数的处理,即mapper返回的list不是Page的实例时total会被设置为返回list的size大小。进一步debug,发现返回list确实不是Page类的实例,故推断出这一结果是由于对mapper返回list结果更换了实例对象导致的,, 以此类推,发现当前代码虽没有对返回结果进行类型转换但是对mapper返回的结果更换了实例对象然后将更换后的对象包装,检查结果:通过与项目中其他地方使用记录的对比,使用方式正确。
2024-03-20 14:36:23 488
原创 数据中台应具备哪些功能?
数据中台在普通开发者来说,感觉就是有很多功能,那么具体有哪些呢?就算是一名普通开发者,也应该知道数据中台具备哪些功能,里面的具体功能模块也应该熟悉,技术人员的立命之本。如下将介绍应包括哪些模块,大致包括八个平台,有这八个平台,那么对于一家公司来说,基本算是可以正常做大数据功能开发,对于每个模块具体细节下次再分享;对于大部分人来说,都是使用数据中台,如果让你来搭建一个数据中台,你知道应该搭建什么功能,才算是一个相对合格的数据中台吗?数据治理平台 – 数据质量,元数据治理,数据安全。
2024-03-20 14:35:49 115
原创 倒排索引关键点普及
现代搜索引擎绝大多数的索引都是基于倒排索引来进行构建的,这源于在实际应用当中,用户在使用搜索引擎查找信息时往往只输入信息中的某个属性关键字,如一些用户不记得歌名,会输入歌词来查找歌名;输入某个节目内容片段来查找该节目等等。面对海量的信息数据,为满足用户需求,顺应信息时代快速获取信息的趋势,聪明的开发者们在进行搜索引擎开发时对这些信息数据进行逆向运算,研发了“关键词——文档”形式的一种映射结构,实现了通过了物品属性信息对物品进行映射,可以帮助用户快速定位到目标信息,极大地降低了信息获取难度。
2024-03-20 14:35:17 304
转载 3月28日,一起“鹏城”万里!
算力如何支撑AI兴起技术如何与产业碰撞3月28日京东云城市大会·深圳站将解码云计算如何服务智能升级、国产建设和降本增效期待与您共同见证扫一扫,预约报名...
2024-03-19 15:00:18 26
原创 代码精简的治理方案和工具
在大型软件系统中,随着业务的发展和变迁,部分代码线上已经废弃或者出现冗余,由于种种原因没有被及时删除和治理,随之而来的是代码维护成本提升。代码精简的价值如上图所示,并由此成为服务治理的一个重要方向,在业界头部企业也有对应的治理项目谷歌【死神】项目,用机器人大规模删除代码:二十多年积累了数十亿行,已删除 5%C++ 代码, 其主要思路是通过程序自动识别代码否正在运行,并将识别结果和原因提交给工程师处理。
2024-03-19 11:18:54 616
原创 系统技术规划的几点概要思路
了解系统里每种业务类型的相关数据量以及占比,结合和产品经理的沟通或者和业务部门的调研情况,对未来业务发展做一个预判,哪些业务会出现大的增长,哪些业务可能会逐渐收缩,有了这些数据的认知,后面做技术规划就有参考和侧重点,提前进行相关技术储备,因为技术规划的最终目的是服务好业务,为业务增长保驾护航。所以需要非常重视性能问题的优化,这关系到整个系统的稳定性。随着业务的发展和系统的升级,有的系统业务已经不使用了,需要关闭,有的业务还在使用,但是用户量少,没有必要单独作为一个系统来维护,可以考虑和别的系统进行整合。
2024-03-19 11:18:11 299
原创 亚洲唯一!京东荣获2024年度Gartner供应链技术创新奖背后的创新探索
而对于京东供应链来说,商品补货的决策直接影响生产,所以对于算法的要求不仅仅是准确率,而需要有高度的可解释性,才能获取业务的信任。为了提高预测精度,最近的可解释算法通常将机器学习方法(ML)与分解相结合,但是现有的混合算法通常依赖于具有统计假设的理论模型,只关注各成分的准确性,不考虑全局信息,而供应链场景下各成分的因素相互依赖,采用统计假设的理论模型难以拟合,这种方式脱离了实际的业务场景,从而导致系统使用率较低,补货不及时等,缺货导致用户买不到自己想要买的商品,影响商品的销售额。
2024-03-19 11:17:41 702
原创 20年编程,AI编程6个月,关于Copliot辅助编码工具,你想知道的都在这里
生成业务代码属于“实时的软件生成”领域的(Prompt编程+低代码)。在过去我一直尝试找到一款适合自己的智能代码辅助工具,来告别繁琐的重复性编码,好提高开发效率。所以我的定位是解决重复性编码的工作。经过六个月的使用后,发现我使用AI的方式随着时间的推移在不断变化和改进。免费版的chat使用的GPT-3.5 Turbo、或者 Google 的 chat-bison、Claude Instant。新版本也增加了chat功能,作为插件在UE上也下足了工服,生成单侧,代码优化,代码解释等主流功能一应俱全。
2024-03-18 16:35:38 969 2
原创 分享一个国内可用的AIGC生成平台|免费创作
AIGC内容生成平台是京东出品的一款基于AI大模型的生成式内容生产工具,它可以帮助用户快速、高效地生成堪比棚拍质感的商品场景图和堪比专业写手的营销文案,让摄影小白1分钟制作百张商品图,百篇营销文案。
2024-03-18 16:32:01 414
原创 博弈论入门篇——「三个枪手」的心理博弈
博弈论是一门很有趣的学科,本文将以博弈问题《三个枪手》为脉络,从零基础开始介绍博弈论,和大家一起博弈论是如何解决实际问题的。希望通过本文,让大家都能听懂博弈论。
2024-03-18 16:30:27 681
原创 京东ES支持ZSTD压缩算法上线了:高性能,低成本
京东 ES 支持 ZSTD 压缩算法上线了,这是一种高性能、低成本的压缩算法,能够提高数据存储和传输的效率,同时降低存储和带宽成本。ZSTD 算法是一种快速压缩算法,可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着,京东 ES 用户可以更高效地存储和传输数据,同时节省存储和带宽成本。此外,ZSTD 算法还具有更好的可扩展性和鲁棒性,可满足大规模分布式系统的需求。因此,京东 ES 支持 ZSTD 压缩算法上线,将为用户带来更高的性能、更低的成本和更好的体验。01 前言。
2024-03-15 14:00:59 617
原创 多模态 + 大模型会带来哪些 “化学反应”?
第三,结合京东的业务场景,用户、商品、内容都在高速增长,以多模态为基础的内容理解是核心技术,我们认为传统的建模和依赖行为的方式遇到了瓶颈,相反,多模态方法更适合理解和描述新的商品和内容。首先,传统的行为模型在典型的冷启场景和用户行为丰富的场景中表现可靠,但一旦遇到新商品或用户行为稀疏的情况,其可靠性就会下降。深度学习工程师需要掌握深度学习算法和模型的理解,具备模型训练和调优的能力,了解大规模数据处理和分布式计算技术,熟悉模型部署和性能优化的方法,具备软件工程和工程实践的技能,并具备解决问题和创新的能力。
2024-03-15 13:54:48 257
原创 大模型基础应用框架(ReACT\SFT\RAG)技术创新及零售业务落地应用
2023年,大语言模型以前所未有的速度和能力改变我们对智能系统的认知,成为技术圈最被热议的话题。但“百模大战”终将走向“落地为王”,如何将大语言模型的强大能力融入实际业务、产生业务价值成为致胜关键。在零售场,大模型应用面临的核心挑战包括以下三点:(1)模型。
2024-03-14 10:14:07 957
原创 京东零售数据资产能力升级与实践
总结为一句话:业务域**主题**下,描述了**X1业务过程X2业务过程**的**X主体**表,每**更新频率**更新更新周期数据的存储方式表,表主键是。
2024-03-14 10:13:37 675
原创 亚洲唯一!京东荣获2024年度Gartner供应链技术创新奖背后的创新探索
而对于京东供应链来说,商品补货的决策直接影响生产,所以对于算法的要求不仅仅是准确率,而需要有高度的可解释性,才能获取业务的信任。为了提高预测精度,最近的可解释算法通常将机器学习方法(ML)与分解相结合,但是现有的混合算法通常依赖于具有统计假设的理论模型,只关注各成分的准确性,不考虑全局信息,而供应链场景下各成分的因素相互依赖,采用统计假设的理论模型难以拟合,这种方式脱离了实际的业务场景,从而导致系统使用率较低,补货不及时等,缺货导致用户买不到自己想要买的商品,影响商品的销售额。
2024-03-14 10:12:59 376
原创 京东广告算法架构体系建设--高性能计算方案最佳实践
综上,通过设计高性能的计算方案,打造新一代算法架构推理体系,在架构层面通过分布式分图异构方案很好的解决了高算力需求下的资源成本边际效应问题,在高算力推理引擎层面,通过一系列的专项优化,让GPU的算力得到充分的释放,实现复杂算法模型算力的扩展。目前新一代的高性能计算方案已经在广告多个业务线进行了落地实践,推荐首页CTR模型、推荐通用信息CTR模型、推荐商详CTR的规模扩展至千亿,助力推荐、搜索等核心业务取得显著的效果收益。
2024-03-14 10:11:55 575
原创 带你走进 HarmonyOS:前端如何迎接新技术的到来
HarmonyOS是一款“面向未来”、面向全场景(移动办公、运动健康、社交通信、媒体娱乐等)的分布式操作系统。在传统的单设备系统能力的基础上,HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念,能够支持多种终端设备。2024年开始,更新后的鸿蒙,Android APK 将不允许在 HarmonyOS NEXT 上运行,因为系统已经不存在 AOSP 代码。
2024-03-13 11:37:17 1016
原创 一个数据库死锁竟然被测试发现了,这你敢信
问题就是刚开始设计方案时直接通过对理赔数据库数据进行查询返回对应的结果,发现接口会出现超时情况,因为理赔错误数据统计时需要根据理赔时的保单号查询承保详情接口判断出是对应的商品计划存在,这个是第三方的接口不受自己控制。▪2.1 针对团险的主流产品、个险的主流产品、理赔系统进行连续一周或者当天的理赔成功数据和错误数据统计,通过对比及时发现主流产品理赔业务的正确性,保证客户理赔的时效性。首先,我根据自己系统的业务类型,开发了几个接口,生产数据异常的接口、生产理赔数量统计接口、生产TOP5理赔数据统计接口等。
2024-03-13 11:36:38 625
原创 代码精简执行过程
因此定期进行代码缩减,清理腐化的代码,对代码进行优化升级,提升代码工程的可维护性与可理解性,是十分有必要的。重复代码检查,使用CPD检查重复超过**行的代码,检查结果作为一个参考,帮助我们找到代码库中疑似重复的代码,然后通过人工甄别,判断该重复代码是否可以进一步抽象,抽象成公共的方法,供多处调用。•jdo-***,线上工程,代码行数20005,通过pmd检查后,可删除400行左右(包括未使用的私有方法,未使用的私有变量、重复引入、无效引用、未使用的本地变量),占比2%左右。
2024-03-13 11:36:06 544
转载 京东云曹鹏:国产化要真替真用,更要创造真价值
刚刚结束的全国两会为发展新质生产力指明了实施路径。《政府工作报告》提出,大力推进现代化产业体系建设,加快发展新质生产力;要加快推动高水平科技自立自强;充分发挥新型举国体制优势,全面提升自主创新能力;强化企业科技创新主体地位,激励企业加大创新投入,深化产学研用结合,支持有实力的企业牵头重大攻关任务。全国政协委员、京东集团技术委员会主席曹鹏认为,新质生产力持续发展要求核心技术自主可控,关键技术自主自研...
2024-03-12 18:43:54 36
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人