赵广陆-CSDN博客

原创 Java架构师系统架构设计资源估算

目录1 认识资源估算1.1 预估未来发展1.2 资源估算的意义2 资源估算方法2.1 确定系统目标2.2 并发用户数2.3 指标数据3 资源估算的经验法则4 资源估算的常见参考数据4.1 带宽估算4.2 nginx估算4.3 tomcat估算4.4 操作系统估算4.5 redis估算4.6 mysql估算5 并发人数估算5.1 请求量5.2 数据量6 lvs和nginx的计算6.1 lvs估算6.2 nginx估算7 tomcat的数量估算7.1 读的方面计算

2023-10-10 10:48:43 769

原创 Java架构师系统架构设计性能评估

目录1 导论2 架构评估基础系统性能衡量的基本指标2.1 系统性能的指标2.2 数据库指标2.3 并发用户数2.4 网络延迟2.4 系统吞吐量2.5 资源性能指标3 架构评估基础服务端性能测试3.1基准测试3.2 负载测试3.3 压力测试3.4 疲劳强度测试3.5 容量测试

2023-10-09 22:51:36 811

原创 Java架构师系统架构设计服务拆分

目录1 服务拆分和子系统模块拆分1.1 服务化架构的优势2 描绘系统蓝图里面的详解服务2.1 为什么拆分服务3 服务拆分的基本要求3.1 服务功能是自包含的3.2 服务呢应该具备独立性和专业性3.3 服务是无状态的3.4 服务之间采用轻量级的通讯机制4 服务拆分的基本方法4.1 按业务边界拆分4.2 按业务功能进行横向和纵向的拆分4.3 按服务分层拆分4.4 性能进行服务的拆分4.5 安全进行服务拆分4.6 复用服务拆分5 子系统和模块拆分的方法5.1 按业务功能进行聚

2023-10-09 14:58:45 281

原创 Java架构师系统架构设计确定系统边界

目录1 项目背景2 初始业务场景分析2.1 业务的需求分析重要性2.2 全面深入的理解业务从零到一从无到有2.3 需求分析3 需求分析明确系统边界4 高层架构设计4.1 技术架构4.2 部署架构4.3 安全架构4.4 存储架构5 高层架构设计确定系统边界5.1 如何去跟第第三方系统进行交互5.2 明确系统该做什么而不做什么5.3 系统和外部的系统交互关系5.4 系统的运行环境以及呢前置条件6 总结

2023-10-09 12:05:24 591

原创 Java架构师必备基本功需求分析步骤

目录1 逐字逐句拆分需求2 业务流程串通2.1 业务走查法是按照业务执行的步骤进行2.2 检查这个业务业务的可行性2.3 和逐字逐句读区别3 问题挖掘法4 业务功能点分析4.1 思考功能点的触发方式4.2 功能点操作的前置条件4.3 考虑在界面表现形式4.4 功能点执行完成过后会不会有连带的业务功能5 业务流程详细分析5.1 对业务流程的业务背景还有整体功能要进行详细的描述5.2 通过流程图来加深对业务的理解5.3 分析节点的参与者或者说是角色都有哪些

2023-10-06 15:13:35 551

原创 Java架构师必备基本功需求调研和分析

目录1 导学2 需求调研2.1 调研人员2.1.1 头脑灵活访谈2.1.2 懂技术人员2.1.3 擅长沟通人员2.1.4 业务经验多2.1.5 情商要高2.2 需求调研的目标2.2.1 真实和尽可能的多需求2.2.2 调研之前我们该做些什么2.2.3 尽量要可视化2.2.4 多要资料3 需求分析要做什么3.1 需求分析目标3.1.1 没有歧义且不可再分3.1.2 全面3.1.3 识别重难点业务3.1.3 识别非功能需求和质量约束4 需求分析初步明确系统边界

2023-10-06 12:51:21 332

原创 Java架构师设计思想

目录1 设计核心思想封装2 设计核心思想隔离2.1 隔离的好处3 设计思想由大到小，由粗到精，逐步细化3.1 由大到小3.2 由粗到精3.3 逐步细化4 设计思想迭代4.1 和设计思想由大到小，由粗到精，逐步细化区别5 总结

2023-10-05 16:28:02 221

原创 Java架构师职责和技能

目录1 架构师简介2 架构师职责2.1 架构师是技术领导架构设计做决策2.2 架构师可以是团队或者组织2.3 架构师必须掌握足够的技术知识2.4 架构师必须掌握足够的架构设计技能2.5 架构师必须具备很好的编程能力2.6 架构师必须深入理解业务及其业务的领域知识2.7架构师应该具备很好的沟通能力2.8 架构师必须了解软件过程，为项目的全流程提供支持3 架构、架构设计和架构师的关系4 开发人员和架构师差距4.1 架构师技术更全面4.2 架构师掌握技术更深入4.3 架构师开发经验

2023-10-05 11:29:15 640

原创 Java架构师功能设计和架构设计

目录1 架构设计理念1.1 架构定义1.2 文档编写1.3 维护和改进1.4 验证实现1.5 总结2 深入理解和认识架构设计2.1 架构设计关注哪些东西2.2 架构设计是一系列的活动不断演化和完善的过程2.3 架构设计跨越软工的全流程2.3.1 软工的全流程的原因3 功能设计概念4 理解和认识功能设计和架构设计4.1 功能设计与架构设计是互补的关系4.2 只有架构设计的弊端4.3 功能设计遇到的问题4.4 功能设计复用5 架构师架构设计概念5.1 高层架构设计阶段

2023-10-04 16:08:07 450

原创 Java架构师系统架构设计

目录1 导学1.1 技术提升依然突破不了职业的瓶颈1.2 技术提升可薪资依然涨不上去1.3 学了架构课程依然觉得自己成长很慢2 架构的基本认识2.1 什么是架构2.2 为什么要做架构设计3 深入理解和认识架构。3.1 架构定义的行为。3.2 架构关注系统的主要元素3.3 平衡关注点3.4 架构会受到环境的影响3.5 架构会影响开发团队的结构4 架构分类

2023-10-04 14:35:40 1208

原创大数据Spark DataFrame/DataSet常用操作

目录1 一般操作：查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3 过滤算子filter(filter等价于where算子)2 聚合操作：groupBy和agg2.1 排序算子sort(sort等价于orderBy)2.2 分组函数groupBy2.2.1 分组计数2.2.2 分组后求最值、平均值、求和的方法2.2.3 分组后，求多个聚合值（最值、平均值等）。使用算子groupBy+agg2.2.4 分组聚合后取别名2.2.5 分组后行转列，使用pivot2

2021-12-19 15:45:15 3648

原创大数据Sqoop将mysql直接抽取至Hbase

目录1 HBase 表设计2 Sqoop直接导入3 另一种常用思路批量导入1 HBase 表设计用户基本信息： tbl_users-- 1、如果用户表存在先删除hbase(main):013:0> disable 'tbl_users'hbase(main):014:0> drop 'tbl_users'-- 或者清空表hbase(main):015:0> truncate 'tbl_users'-- 2、创建用户表hbase(main):016:0> creat

2021-12-15 20:30:00 3300

原创 Spark多语言开发

目录1 多语言开发-说明2 Java-Spark-掌握2.1 SparkCore2.2 SparkStreaming2.3 SparkSQL2.4 StructuredStreaming2.5 线性回归算法-房价预测案例2.5.1 需求代码实现3 PySpark-了解3.1 SparkCore3.2 SparkStreaming3.3 SparkSQL3.4 StructuredStreaming3.5 决策树算法-相亲决策案例需求3.5.1 思路3.5.2 代码实现1 多语言开发-说明2 Java

2021-11-15 21:00:00 8367

原创大数据Spark Streaming实时处理Canal同步binlog数据

目录1. Canal 环境搭建2 配置Canal2.1 下载Canal2.2 解压2.3 修改instance 配置文件2.4 修改canal.properties配置文件2.5 启动Canal2.6. 验证2.7. 关闭Canal3 Spark实现实时数据分析3.1 在Mysql中创建如下两张表3.2 Spark代码开发3.2.1 在resources下new一个项目的配置文件my.properties3.2.2 在pom.xml文件中引入如下依3.2.3 在scala源码目录下的包下编写配置文件的工具类

2021-11-12 20:45:00 2731

原创 Hive数据仓库数据分析

目录1 创建数据仓库2 创建Hive分区表3 数据分析3.1 统计总记录数3.2 统计非空记录数3.3 关键词分析3.4 uid分析4 用户行为分析4.1 单击次数与rank之间的关系4.2 个性化行为分析5 实时数据1 创建数据仓库我们的目标是在Hive中创建数据仓库，以便利用Hive的查询功能实现交互式数据处理，所以接下来在Hive客户端进行操作。确保Hadoop和MySQL服务已经启动后再进入Hive客户端，命令如图10-11所示。hivecreate database sogou;下

2021-11-05 21:00:00 5496

原创大数据Spark MLlib推荐算法

目录1 相似度算法1.1 欧几里德距离算法1.2 基于夹角余弦相似度算法2 最近邻域3 交替最小二乘法3.1 最小二乘法3.2 交替最小二乘法3.3 ALS算法流程3.4 ALS算法实战3.4.1 数据说明3.4.2 数据建模3.4.3 实战3.4.4 优化改进1 相似度算法无论是基于用户还是基于商品的推荐，都是需要找到相似的用户或者商品，才能做推荐，所以，相似度算法就变得非常重要了。常见的相似度算法有：欧几里德距离算法（Euclidean Distance）皮尔逊相似度算法（Pearson

2021-10-24 18:21:50 6745

原创数据仓库搭建

目录1 数据仓库概念1.1 什么是数据仓库1.2 OLTP与OLAP2 项目需求及架构设计3 项目框架4 框架版本选型4.1 Hadoop版本综述4.2 社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH/HDP/MapR）4.3 第三方发行版的比较4.4 版本选择5 服务器选型6 集群资源规划设计7 测试集群服务器规划1 数据仓库概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数

2021-06-30 20:37:31 5808 6

原创大数据Spark框架概述

目录1 Spark 是什么2 Spark 四大特点2.1 速度快2.2 易于使用2.3 通用性强2.4 运行方式3 Spark 框架模块3.1 Spark Core3.2 Spark SQL3.3 Spark Streaming3.4 Spark MLlib3.5 Spark GraphX3.6 Structured Streaming4 Spark 运行模式1 Spark 是什么Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的

2021-05-04 16:51:17 4449 10

原创 SpringClould-Gateway和nginx网关的区别

目录1 SpringClould-Gateway和nginx2 Zuul和Spring Cloud Gateway3 Nginx在微服务中的地位4 小结1 SpringClould-Gateway和nginx有一天又有人问到我这个,当时没有想过,就说了个软硬件和路由问题其实再想一些业务的话,简单的说gateway 是前端工程到后台服务器之间的一个对内网关,nginx是用户到前端工程的网关，对外网关,使其还可以细说没有研究到那么深比如原理性的东西2 Zuul和Spring Cloud Ga

2021-04-06 08:50:51 18906 2

原创 Hbase+ES和MongoDB存储大数据的选用

目录1 需求2 架构设计3 HBase和MongoDB的区别1 需求解决海量数据的存储，并且能够实现海量数据的秒级查询Hbase是典型的nosql，是一种构建在HDFS之上的分布式、面向列的存储系统，在需要的时候可以进行实时的大规模数据集的读写操作；但是hbase的语法非常固话，即便在hbase之上嫁接了phoneix在应对复杂查询的时候，仍然力不从心；所以说很多公司在历史遗留问题，最开始数据存储在hbase上，当业务越来越复杂，数据量越来越大的时候，使用hbase构建复杂的查询就很吃力了，甚至很

2021-03-16 23:20:00 4440

原创 Token泄露引发的问题

1 如何防止token劫持或者说是泄露？token肯定会存在泄露的问题。比如我拿到你的手机，把你的token拷出来，在过期之前就都可以以你的身份在别的地方登录。解决这个问题的一个简单办法在存储的时候把token进行对称加密存储，用时解开。将请求URL、时间戳、token三者进行合并加盐签名或者缓存用户的ip地址也是不错的选择，服务端校验有效性。这两种办法的出发点都是：窃取你存储的数据较为容易，而反汇编你的程序hack你的加密解密和签名算法是比较难的。然而其实说难也不难，所以终究是防君子不防小人的做

2021-02-23 11:01:01 11946 2

原创 kafka快速入门

目录1 kafka1.1 kafka介绍1.2 kafka安装和配置1.2.1 jdk环境1.2.2 zookeeper安装1.2.3 kafka安装1.3 kafka入门案例1.3.1 创建工程kafka-demo1.3.2 消息生产者1.3.3 消息消费者1.3.4 测试及结论-重要1.3.5 相关概念再介绍1.3.5 生产者详解-理解1.3.6 消费者详解-理解1.4 spring boot集成kafka收发消息1.4.1 环境搭建1.4.2 消息生产者1.4.3 消息消费者1.4.4 测试1.5 传

2021-02-17 12:02:21 1240

原创常见登录密码加密方式

目录1 常见的加密方式1.1.可逆加密算法1.1.1. 对称加密1.1.2. 非对称加密1.2.不可逆加密算法1.3.Base64编码2 密码加密的方式选型2.1 MD5密码加密2.2 手动加密（md5+随机字符串）2.3 . BCrypt密码加密3 jwt介绍3.1 token认证-面试3.2 什么是JWT？3.3 生成token1 常见的加密方式由于在学习JWT的时候会涉及使用很多加密算法, 所以在这里做下扫盲, 简单了解就可以加密算法种类有:1.1.可逆加密算法解释: 加密后, 密文可以反

2021-02-16 18:24:15 15553 1

原创 SpringData ElasticSearch

目录1 SpringData ElasticSearch简介2 ElasticSearch环境搭建2.1 安装ElasticSearch2.1.1 准备工作2.1.2 文件上传2.1.3 文件解压2.1.4 添加用户2.1.5 修改配置2.1.6 启动elasticSearch2.1.7 访问测试2.2 安装Head插件2.2.1 安装nodeJS2.2.2 安装cnpm2.2.3 安装grunt2.2.4 安装head插件2.2.5 安装head插件所需依赖2.2.6 修改elasticsearch的配置

2021-01-18 22:14:48 2519

原创 SpringData Redis

目录1 SpringData Redis简介2 Redis环境搭建2.1 安装redis的依赖环境2.2 上传安装包2.3 解压2.4 编译2.5 安装2.6 复制配置文件2.7 修改redis的配置文件2.8 启动redis服务3 SpringData Redis入门案例3.1 创建工程，引入坐标3.2 创建配置文件3.3 创建测试类，完成一条简单数据的存取4 SpringData Redis的序列化器5 SpringData Redis运行原理分析6 SpringData Redis常见操作6.1 St

2021-01-18 22:13:26 1318

HTML+CSS仿京东购物车页面静态页面

jsp+mysql简单用户管理系统.rar

空空如也