- 博客(1138)
- 资源 (22)
- 收藏
- 关注
原创 如何设计数据工厂做数据订正
5、任务捞取数据执行的时候,需要使用GroovyClassloader将class文件加载到内容中,然后在生成对象,需要破坏classloder的双亲委托机制。4、任务执行实例,主要基于任务模版进行执行,任务执行,落任务执行的实例;然后定时任务在捞取子任务执行。1、jar包的管理,用户上传jar包,将用户上传的jar包元数据存储到mysql中,同时上传到oss文件中,同时在把这个jar包下载到服务器的执行目录下。3、任务模版管理,设置任务执行的元数据信息,主要是执行类型,脚本名称,执行时间,数据源类型等。
2024-02-19 15:02:30 184
原创 疲劳度设计方案
多个疲劳度对象在配置阶段打包成一个共享疲劳度对象,每个疲劳度对象上报,都记录位1次共享疲劳度对象上报,每个疲劳度对象的校验,都是1次对共享疲劳度对象的校验。疲劳度模型即疲劳度数据的存储模型,疲劳度数据包含了疲劳度配置数据和疲劳度上报数据(实际的疲劳度行为),因此疲劳度模型分为:配置模型和上报模型。由于疲劳度的行为一定是定时的曝光,点击等,无论疲劳度模型如何设计,中间经过哪些转换逻辑,有无数据汇总,上报的数据一定是是实时的,一条记录表示某个疲劳度维度在某个疲劳度对象和行为下,在某个小时内的疲劳度行为汇总。
2024-01-06 11:56:10 850
原创 架构师必备技能
占便宜的动机--》免费流量--〉更多相同心智的用户--》电商订单--〉集中采购--》供应商---〉平台机制---》机制性价比的商品---〉占便宜的动机。拼多多的成功:是人性的讨论,喜欢占便宜的感觉,然后吸引商家,所有的一切都是基于用户的心智进行业务发展。自己必须要创建价值,自己要为部门提供可以量化的价值,增量价值:通过工作创造的价值。忽略别人的小痛点,或者在别人不去排查的小异常上执着探索,才最终跨越了实现的障碍。作为一个架构师,必须要在有限的资源下最大化架构活动所带来的商业价值。心智定位:到底是什么?
2023-11-09 17:39:34 90
原创 实体圈选方案
针对全选结果如何处理,业务上可以直接使用产出的离线表,如果需要实时获取明细数据,那么一般将结果到处到文件系统中,然后将文件切分为小文件,然后在一点一点处理小文件,此处需要自定义任务调度框架,支持平滑的将明细数据传递给各个使用的业务方。可以使用离线的自定义函数,根据实体的属性决策当前主体属于哪个池子id获取全量的数据集,然后在同步到在线数据库,使用自定义调度框架进行调度落明细数据。圈选实体的数据每天是变化的,因此需要日滚的能力,需要自定义任务调度实现日滚。如果没有实时数据仓库,怎么实现圈选和日滚呢?
2023-09-27 17:13:37 115
原创 领域模型和数据模型
目前很多人都不在乎领域模型和数据模型,认为领域模型 约等于 数据模型,然后数据库模型就按照领域模型进行设计,其实不一定要这么设计。因为领域模型才是业务的本质,数据库模型可以跟任何的领域模型都没有关系,只要存储起来就可以。数据库设计的时候,尽量要抽象,不一定某个表只服务于一个业务。
2023-09-27 16:59:52 110
原创 网络数据包的构建疑问
只是需要三次握手,三次握手需要先经过网络传输,建立连接之后,然后在发送应用程序的数据包,这样每次在发送数据的时候,都是由网络设备和路由器进行处理的,不是由操作系统发起的多次网络请求。1、构建数据包的过程中,应用程序需要向操作系统发起网络请求,操作系统调用网络协议栈,封装成应用程序要发送的数据,然后通过网络接口发送出去。数据包的构建是在本地进行的,并不需要发起多次网络请求。
2023-08-24 23:31:43 41
原创 Java Tips - 利用RuntimeException().getStackTrace()推断出当前执行流中的某个类
以下是SpringFramework的代码,推断出当前有main方法的类对象 private Class<?> deduceMainApplicationClass() { try { StackTraceElement[] stackTrace = new RuntimeException().getStackTrace(); for (StackTraceElement stackTraceElement : stackTrace) { .
2023-08-20 22:40:06 135
原创 读《认知觉醒》有感
早起、冥想、阅读(选择领域自己感兴趣的书很关键)、写作(创建自己的认知体系,我正在锻炼,我就是随便写,所以理智脑不行)、运动(运动可以使神经元变多,但是运动之后一定要多用脑,我以前喜欢运动之后学习,越学习越有精神,且感觉自己更聪明,难道是因为这个,以后多用用)以后下班之后运动,然后在加班。读了这本书,我想提升自己的理智脑,多做一些没有意义的事情,延迟满足,这些没有意义的事情只是当下没有意义,但是对于你理想是有关联的,对于你的理想,你要多付出行动,要多做,多思考,总结,建立认知体系,最后才可以。
2023-08-18 16:19:15 46
原创 数据存储如何进行选型
问题数据量很大的时候,单表很大如果超过1个亿的时候,就需要考虑考虑,如果访问量很大,数据库连接池是个问题,一般单机的数据库连接池就10个,如果太多会有问题。分库分表时候,查询的时候索引是受限制的,只能根据分表键进行查询,即使分表键进行定制,最多也就只能支持2个字段的查询。为啥要搜索,很多场景mysql的表就是某一个业务的,如果一个聚合业务需要很多表的属性,那怎么搞?将在线的myqsl数据同步到hdfs,然后数据同学使用hive做业务开发,查处数据,然后在同步到clickhouse,用于数据实时的业务查询。
2023-08-18 15:45:08 40
原创 系统迁移累
在一个大型的公司,很容易就会遇到系统迁移,将原来的系统废弃 ,然后使用新的系统进行承载。1、代码逻辑迁移,一定要读懂以前的逻辑,仔细想想,将领域模型设计好,然后使用设计模型将代码尽量的扩展,但是不要过度的抽象,如果抽象多了自己都看不懂。核对的方式,离线核对,就是将mysql中数据同步到hdfs,然后使用hive写sql进行不同业务比对。4、时间管理,方案评审,系分时间,开发时间,提测时间,发布时间,数据迁移时间,灰度时间,正式切流完成时间。3、数据库数据的迁移,mysql数据同步到另外一个mysql。
2023-08-17 15:53:17 40
原创 如何实现数据权限,功能权限,审批流平台
目前很多接口的访问都是需要申请权限,或者 在操作某些重要功能的时候,都需要老板审批。创建一个审批流,审批流包括流程的设置,以及流程中变量的透传。在执行某些业务节点的时候,可以回调业务方的接口,进而实现接口的推进。在进行自己业务接口调用的时候,使用切面编程的方式,走先去校验当前人是否有这个权限,如果没有则走授权或者申请方式。数据权限也是一样的,只是展示审批哪些数据的时候,可以回调业务方获取数据,进行选择设置。如果让你设计 权限平台 以及 审批流平台 你需要怎么养的设计呢?2、在权限平台将自己的应用进行注册。
2023-08-17 15:07:56 185
原创 如何解析很大的excel文件
如果面对这个问题使用springmvc的方式文件上传组件,然后使用流读取,然后使用esxyexcel开源方式进行读取,全部读取之后然后在处理。目前处理过上传30w的文件,但是最好不要多列,如何建立文件id和文件明细也是比较重要的,可以先把文件id落下,以及把数据写到公司内部文件系统,然后在慢慢解析,或者,解析的过程中,将数据写入到数据库,但是这个有点慢。总之 easyexcel真的是比较好用的。
2023-08-17 15:00:42 44
原创 如何实现一条记录的修改在草稿
一般数据库修改都是需要直接更新,那么如果这个修改需要审批,那么这个修改的数据改如何保存呢。可以在原来的记录上增加一个编辑状态,记录当前所有的修改记录,然后等审批之后在进行当前记录的覆盖。如果使用新的记录,那么就需要记录历史的和修改的关系。如果使用副本的方式,那就是根据不同的状态进行副本处理。生效的记录只能有一个,但是副本可以有很多,副本可以随时发布替换当前记录。还是要看交互需要怎么设计,一个好的产品会影响程序的复杂性。
2023-08-17 14:41:54 54
原创 销售领域系统设计经验
1、销售的组织架构和普通员工的架构要进行隔离,最好就是2套,否则随着销售业务的调整会出现各种问题。如何让商机按照一定的规则、有序的流转,外围提供统一的查询和基础维护能力。比如门店类目,可以分为门店的后台类目,也可以分为用户看到的前台类目,poi--〉leds--》商机--〉公海--》私海--〉开店。3、功能权限和数据权限和工作流审批,设计基础的权限审批功能。4、模拟登录,B端系统问题排查很难,是否可以模拟登录商家。领域---------能力--------指标。poi--》leads--〉商机--》客户。
2023-07-23 14:27:26 63
原创 销售领域知识
标签与leads,根据标签圈选poi生成leads, 标签和leadid 的关联关系。一个圈选任务可以生成一个taskid:多个leads。销售执行:任务中心,电话销售,拜访记录,外呼记录,二维码,代运营,智能话术。创建领地会生成leads,创建领地与商机的关联关系。leads中心针对生成的leadsspi回调各个业务方,比如。poi,leads,领地,商家,任务,销售方案,销售执行。poi标签,各种指标进行筛选 可以生成leads。商机:leads 是N :1。商机,进行小二多业态任务。
2023-06-23 19:16:19 75
原创 业务任务中心
任务流实例:实例id,开始生效时间,生效结束时间,业务类型,外部关联业务id,任务流模版id,实例业务类型,实体id,实体业务状态,业务状态类型,业务状态,执行人,是否删除。任务实例:实例id,任务模版id,开始生效时间,结束时间,业务类型,任务实例id,实体类型,实体id,任务实例状态,业务类型,业务状态,执行人列表,是否删除。任务模版:id,名称,任务流模版id,备注,描述,状态,业务类型,业务实体类型,业务状态,跳转规则,排序,执行人列表,关联关系:关系类型,id,原始业务id,目标业务id,状态。
2023-06-23 19:05:09 185
原创 开源将文字转换为图片
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
2023-04-27 21:40:03 152 1
原创 商家中心--菜单、操作员、角色、权限的关系
因此 一个操组员登录之后,获取所有的权限,然后根据菜单树做匹配过滤 最终获取一个完整的菜单树。用户关联多个操作员,且操作员可以跨pid。每一个权限对应一个菜单的权限。商户 可对应 多个门店。1个操作员关联多个门店。一个角色 有多个权限。
2023-04-27 21:28:37 241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人