- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习基本概念2
输入特征，参数，激活函数..等等概念自然而然都出来了。X输入，我们的Feature是X这个向量，X乘上矩阵W加上向量b，得到向量r，再把向量r，通过Sigmooid Function得到向量a，越偏红色，代表Loss越大，偏蓝色，Loss越小，那在预测的时候，w为0.75 b代500，可能预测会更准。因为这个函数是自己定义的，Loss的定义的估算的值和实际的值的绝对值，如果根据刚刚的定义，不可能为负数。可以算出来最近3年的误差，把所有的误差加起来，算出来一个L，这就是我们的Loss，值越大，说明越不好。
2023-12-10 17:03:39
481
原创 机器学习基本概念介绍 2023
它其实就是定义了一个function set，我们可以给这个network设定不同的参数，它就变成了不同的function，把这些可能的function集合起来。1、标准训练数据下，loss小，但是测试不好，例如是硬记答案，我们要找在各个环境都表现很好的函式。深度学习中，类神经网络的结构，例如CNN，RNN，Transformer等，指的就是不同的函式集合。2、 过滤掉不行的函式，所以一开始划定范围，不在这个范围的直接淘汰，这个范围也很有讲究。一个好的最佳化演算法，我们期待最佳化演算法对于超参数不敏感。
2023-12-10 12:51:08
989
原创 敏捷的概念
名词 含义 举例 Epic 指公司的关键战略举措，可以是重大的业务方向，也可以是重大的技术演讲.企业通过对Epic的发现、定义、投资、管理和落地达成，使得企业的战略投资主题得以落地，并获得相应的市场地位和回报。 Epic的粒度比较大，需要分解为Feature，并通过Feature继续分解细化为User Story来完成最终的开发和交付。 Epic通常持续数月（months），需要多个迭代才能完成最终...
2022-04-23 17:21:43
323
原创 线程 和进程
第一节：电脑包含了哪些东西？第二节：一个软件的运行涉及哪些方面呢？第三节：怎样才能立项呢？第四节：立项服务与进程管理操作系统进程创建过程进程状态进程内存管理进程间通信网络通信异常处理和信号处理第四节：线程为什么要有线程？如何创建线程？线程的内存线程数据的保护第一节：电脑包含了哪些东西？好不容易组装完这一大堆硬件，还是不能直接用，你还需要安装一个操作系统。安装操作系统也是一件非常复杂的事，一点儿也不亚于把刚才那堆东西组装起来。这个安.
2022-04-10 23:18:25
647
原创 HTTP和RPC
rpc和http区别？RPC Remote Producer Call 远程过程调用HTTP 一种应用层协议优缺点RPC 客户端和服务端都需要采用同一种语言，HTTP客户端和服务端采用的语言没有限制，只需要遵循Rest风格RPC相比HTTP速度快点，HTTP的协议头信息冗余底层都是采用的Socket进行传输RPC强调的是过程调用，实现的细节对用户来讲是透明的，但是HTTP需要用户自己关注请求和响应细节 （浏览器访问是帮我们实现了相关的细节）RPC没有规定传输的数据格式
2022-02-28 20:11:01
566
1
原创 Mysql语句执行逻辑
Mysql基础知识我们要了解mysql，那就从最常见的流程开始，我们在cilent端输入一条sql，究竟会经历哪些步骤？ 可以思考30s …一条SQL查询语句执行流程select * from table where Id=4要弄懂这条语句做的事情，我们先看下mysql整个架构涉及的分为客户端，server端以及存储引擎，存储引擎层负责数据的存储和提取，其架构模式是插件式的，支持 InnoDB、MyISAM、Memory 等多个存储引擎。现在最常用的存储引擎是 InnoDB，它从 MySQL
2022-02-28 19:57:56
8976
11
原创 Spring Cloud Config加载机制
SpringBoot属性文件命名bootstrap.yml（1）bootstrap配置文件中的配置一般是引导配置，类似于bios，用于连接到spring cloud配置中心，加载应用真正需要的配置数据，如：spring.application.name 和 spring.cloud.config.server.git.uri（2）配置一些固定的不能被覆盖的属性，默认情况下，本地的配置文件不能覆盖远程配置（3）配置加密解密外部配置信息的相关属性application.application/yml
2022-02-28 19:50:48
576
原创 一次完整的域名请求过程
一次完整的HTTP请求会经历哪些步骤？ 这是最原始的问题从网络的7层协议来划分 ( OSI参考模型 )，分别有应用层表示层会话层传输层网络层数据链路层物理层还有一个精简的5层模型 TCP/IP模型应用层传输层网络层数据链路层物理层下面由下到上分别阐述每一层存在的意义物理层不同的主机之间通过光缆/线路连接，传输0和1的数字信号，由这些物理手段连接起来叫做物理层数据链路层物理层传输的0和1没有意义，必须要进行分组，后面慢慢形成了以以太网协议为主导的协议，以太网 规定一组电
2022-02-28 19:46:32
2460
原创 HTTP及HTTPS简介
背景HTTP历史以及HTTPS的升级过程前言先复习下OSI(Open System Interconnect) 参考模型 和 TCP/IP 五层数据模型我们今天的主角HTTPHTTP 是基于 TCP/IP 协议的应用层协议。它不涉及数据包（packet）传输，主要规定了客户端和服务器之间的通信格式，默认使用80端口。起源HTTP从1991年的HTTP/0.9协议开始，在1994年发布了draft-fielding-http-spec-00，这个ID很快被IETF采用，改名为draft-iet
2022-02-28 19:44:43
2567
原创 Redis部署模式
单机模式一个单节点，提供读写服务主从模式主从模式设置一台主库，一台或多台从库，主库进行读写操作，从库进行备份操作，主库的写操作会同步到从库。还可以实现读写分离，主库用于写数据，从库用于读数据。 如果从库宕机，不影响其他的从库和主库；如果主库宕机，集群不能执行写操作，但可以正常读。主从同步的步骤哨兵模式当主库遇到异常中断服务后，开发者可以通过手动的方式选择一个从库来升格为主库，以使得系统能够继续提供服务。然而整个过程相对麻烦且需要人工介入操作，难以实现服务的自动化恢复。为此Redis 2.8中提供
2022-02-28 19:35:17
488
原创 Redis使用方法总结
Jedis介绍项目地址： https://github.com/redis/jedisJedis is a blazingly small and sane Redis java client.Jedis was conceived to be EASY to use.Jedis is fully compatible with redis 2.8.x, 3.x.x and above*.Jedis 是Redis的Java实现的客户端。支持基本的数据类型如：String、Hash、List、Se
2022-02-28 19:28:10
728
原创 EnableAutoConfiguration注解和Configuration注解原理
Configuration注解Import注解@Import注解在4.2之前只支持导入配置类在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean使用场景import注解主要用在基于java代码显式创建bean的过程中，用于将多个分散的java config配置类融合成一个更大的config类。其实除了 import注解外，还有 importResource注解，其作用都类似。配置类的组合主要发生在跨模块或跨包的配置类引用过程中<beans xmlns="http:
2021-04-09 17:57:18
726
原创 Redis数据持久化和主从数据同步
Redis数据持久化方式RDB 全称Redis DataBaseAOF 全称 Append Of FileRDB和AOF工作原理RDBRDB工作原理是借助后台的bgsave命令去fork()一个子线程，fsync保存文件到磁盘上，是当前系统的一个快照a. Redis执行bgsave命令，Redis判断是否有正在执行的bgsave命令b. fork子进程c. fork完成d. 子进程对内存数据进行快照生成文件e. 子进程告诉父进程完成实现rdb的方式a. saveb. bg
2021-03-27 12:00:22
268
原创 Redis分布式锁
分布式锁三大要义独享 （同一把锁只会被一个线程获取）不会死锁（超时释放）容错 节点存活就可以被获取到锁常用的redis分布式锁实现方案设置锁set key value px 3000 nx释放锁，需要用lua脚本来实现，为什么用lua，因为redis是单线程的，get 和del不是原子操作ifredis.call(‘get’,KEYS[1] ==ARGV[1])thenreturn redis.call(‘del’,KEYS[1])elsereturn 0end这里三
2021-03-26 17:16:10
227
原创 Redis为什么那么快
Redis多路复用模型提到redis，我们就能想到快，但是，反问一下，单线程的redis为什么这么快？这个问题有几个关键字，单线程，redis，快，我们依据这几个关键字一一分析单线程多线程可以提升系统的吞吐率，但并不是线性提升的，线程数增加，会增加对于共享资源管控的消耗并发访问控制会增加系统的复杂度和降低可维护性RedisRedis的单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成，像其他的数据持久化，异步复制，集群数据同步都是由其他的线程执行的Redis
2021-03-18 19:06:58
224
原创 Spring BeanFactory接口
参考文档https://www.cnblogs.com/coder-qi/p/11296591.htmlhttps://www.jianshu.com/p/f9718de489f0
2021-03-18 15:16:15
255
原创 Java中的锁
一直对Java中的锁原理理解不够深入，或者在浅尝辄止之后未层真正消化，t特此记录。常规面试的时候，总是会遇到高并发类型的题目，例如，了解synchronize的使用吗，说说你理解的synchronize，诸如此类的问题，想要有一个让人惊艳的回答，必须要全面掌握相关的知识synchronize使用方式synchronize常规有两类，一类作用在代码块，一类作用在方法体上作用在方法体上,获取具体实例对象锁public synchronize void doSomething(){// TODO}
2021-03-13 17:02:54
255
原创 CAS
CASCompare And Swap借助了cpu的指令，compxchg，具体实现原理V是读取内存的值，A是寄存器里面的值，value是要更新的值，JDK会通过compxchg指令，判断寄存器里面A的值是否和V相等，如果相等，直接更新A的值为value，如果不相等，就将内存的值V更新到寄存器的A，再重试具体代码如下:CAS存在三个问题ABA问题可以通过增加版本号,来解决ABA问题，如1A，2B，3AJDK 1.5版本提供了AtomicStampedReference 来解决这个问题，
2021-03-12 15:19:04
248
原创 从epoll引发的了解
背景每次看Redis多路复用模型，必然就会引出调用内核的epoll方法，对于操作系统的知识早已没了逻辑，梳理一下，仅当记录回顾。起源epoll是和内核打交道，我们对于熟悉的IO (Input/Output), 常见的分为了磁盘IO和网络IO， epoll我们主要分析的是磁盘的IO，以及由此引出来的IO模型发展常见的磁盘IO模型有五种，阻塞IO模型，非阻塞IO模型 ，IO多路复用，信号量IO，异步IO，这里面的名词很多，我们逐一解释下。阻塞和非阻塞阻塞和非阻塞是相对于调用者这个角度来看的，调用者读
2021-03-10 19:17:32
229
原创 Spring-Cloud Eureka
Spring Eureka是什么？Eureka是服务注册与发现的组件，包含了服务注册和服务发现两个主要的功能Eureka原理Eureka服务注册在Spring-Boot启动类添加注解@EnableEurekaServer@SpringBootApplication@EnableEurekaServerpublic class EurekaServerApplication { public static void main(String[] args) {..
2021-03-08 20:21:34
204
原创 Flink中的watermark
#watermark是什么Flink中watermark是为了解决实时流数据延迟/乱序导致窗口完整性无法收集的问题A watermark is a notion of input completeness with respect to event times. A watermark with a value of time X makes the statement: “all input data with event times less than X have been observed.”
2020-09-29 17:07:52
120
原创 Flink入门资料
#Flink资料汇总入门资料，首推官网，Flink版本从1.5发展到1.9，各项功能逐渐完善官网地址: https://ci.apache.org/projects/flink/flink-docs-release-1.9/#比较好的博客内容Flink概览，一文让你看懂Flinkhttps://blog.csdn.net/oTengYue/article/details/102689538金竹的博客，阿里巴巴技术专家，Blink的开发者https://zhuanlan.51cto.com/co
2020-09-29 16:50:47
109
原创 Waterdrop入门
什么是Waterdrop一个简单易用，高性能，能够应对海量数据的数据处理产品海量数据ETL海量数据聚合多源数据处理为什么需要Waterdrop分布式数据处理入门易，精通难太多Spark/Flink重复代码，重复逻辑可以抽象和简化海量数据处理挑战多，经验少Waterdrop工作流程数据源输入数据反序列化数据处理数据序列化结果输出##样例代码...
2020-09-29 15:51:45
3562
原创 HashCode的原理以及用法
String类中的HashCode方法一直没有深入的了解，今天特地记录一下整个学习过程。首先，上源码:public int hashCode() { int h = hash; if (h == 0 && value.length > 0) { char val[] = value; for (int i = 0; i < value.length; i
2018-04-17 09:00:50
217
转载 dubbo
方法级配置配置类：com.alibaba.dubbo.config.MethodConfig说明：该标签为dubbo:service>或dubbo:reference>的子标签，用于控制到方法级，标签属性对应URL参数类型是否必填缺省值作用描述兼容性
2016-03-04 16:01:51
766
1
转载 安全编码
安全编码规范基于OWASP Top 10(2010) ------The Ten Most Critical Web Application Security Risks 整理，它们列出如下：A1.注入（Injection）A2.跨站脚本（Cross-Site Scripting(XSS)）A3.失效的身份认证和会话管理（Broken Authentication and Sessio
2016-03-04 15:43:39
2101
转载 tomcat配置文件server.xml
一 org.apache.catalina.core.AprLifecycleListener1. 开启APR库的入口，当TOMCAT启动时，会发出BEFORE_INIT_EVENT事件，Listener接收到BEFORE_INIT_EVENT事件后，会初始化本地APR库的服务；2. 当TOMCAT关闭时，会发出AFTER_DESTROY_EVENT事件，Listener接受到AFTER_
2016-03-04 15:40:54
556
转载 Spring事务
一.annotation-driven如何正确使用事务管理器(本文仅基于3.0+版本作为测试)假定spring 容器中定义了两个事务管理器:transactionManagerX,transactionManagerY,分管两个数据源datasourceX和datasourceY."transactionManagerX" />"tr
2016-03-04 15:39:54
263
转载 maven
下面所讲的大部分是命令行下操作。目前已经有很好用的eclipse插件m2eclipse(updateUrl: http://m2eclipse.sonatype.org/sites/m2e)。在开发过程中遇到maven使用上的问题（或对问题的解答），请写在后面的comment里， 之后我们补充到文档中或整理出一个FAQ关于Maven的一些网络资源Maven的官方网站：htt
2016-03-04 15:36:08
343
原创 JDK1.6到1.8的注意事项
jdk7都终止更新了，而我们还在用jdk6.。。。 ，安全层面是一个问题，同时有更多的小伙伴早就迫不及待的想使用jdk8才支持的新特性，so，升级计划提上议程，但是升级前的功课还是要做的： 1.sun.* 包缺失问题 如有特殊需求，请下载sun-support-4jkd8.jar ，放到classpath目录 sun.*包 ，已不推荐使用，oracle会逐步进行删除
2016-03-04 15:30:29
16353
原创 strcut2学习之路（struct的配置）
strcut2是一个流行的web应用框架，首先，我们在eclipse上面进行struct2的配置1.先到struct2的官网下载相应的jar包（http://struts.apache.org/）2.在eclipse中新建一个web项目，引入相应的jar包3. jar包必须要引入的有六个struct2-core-2.x.x.jar struct2框架的核心jar包xwork
2015-09-27 09:50:52
767
原创 hibernate学习之路（hibernate的关联关系）
今天学习了hibernate的三种关联关系，分别是多对一，一对多，一对一关联关系首先，是多对一的关联关系，要想实现多对一的关联关系，首先得在两个实体类中申明。比如多个员工对应一个部门，这就能构成多对一的关联关系。通过外键进行关联1 . 在员工类中应该申明一个对象，Dep dep；然后提供get ()和set（）方法。2. 在Emp.hbm.xml中配置相应的属性
2015-09-26 21:52:59
249
原创 Java基础高效复习（Hashmap的实现原理）
上次面试面试官问题如果让你自己设计，你会怎么实现hashmap的get( ) 和put（） 方法，我当时没想出来，只回答了用数组可以完成。今天又想到这个问题，索性写出来。 首先，让我们看一张图，这是hashmap存储对象的关系图
2015-09-25 16:54:15
295
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人