- 博客(135)
- 资源 (13)
- 收藏
- 关注
RSS订阅
原创 源神，启动！马斯克开源史上最大模型Grok，参数高达3140亿，可商用！
除了Gao，还有英伟达AI科学家Ethan He（何宜晖）指出，在专家系统的处理方面，Grok也与另一知名开源MoE模型Mixtral不同，Grok对全部的8个专家都应用了softmax函数，然后从中选择top2专家，而Mixtral则是先选定专家再应用softmax函数。他指出，Grok采用了旋转的embedding方式，而非传统的固定位置embedding，旋转位置的embedding大小为6144，与输入embedding相同这种创新方法为Grok的性能和效率提供了新的可能性.
2024-03-18 20:04:14
520
原创 上岸阿里了
包含Java基础知识，JVM，Mysql，并发，Spring，Mybatis，Redis，RocketMQ，Kafka，Zookeeper，Netty，Dubbo，ElasticSearch，Flink，Spring Boot，Spring Cloud，高并发项目，大数据系列，数据结构与算法，设计模式，网络与操作系统等20个技术栈的大厂面试题及详解文档。大家好，我是老王，收到来自近期成功上岸的粉丝分享的阿里面试真题，分享给大家参考下，希望大家看完成功面试上大厂Offer。分库分表是以什么维度来划分的？
2023-04-22 11:51:16
421
1
原创 Adept AI,颠覆“产品学“的产品
Adept AI 时Adept 团队出品的一款基于自然语言处理和人工智能技术的产品，可以实现通过语音或文字输入来完成各种操作和任务，而无需使用传统的应用程序或界面。该产品具有极高的智能和自适应能力，可以根据用户输入的指令和需求自动寻找最优解决方案，并执行相应的操作。这种新型的人机交互方式具有革命性的意义，将会极大地改变人们使用技术和工具的方式，甚至会成为未来的主流趋势。该产品主要由Adept 团队自研的大模型Action Transformer (ACT-1)来实现的。1.动作捕捉和执行。
2023-04-09 19:19:24
1865
原创 最近爆火的ChatGPT核心技术演进历程
最近ChatGPT真是火的不行啊，准备针对ChatGPT出一个系列，包含技术演进以及注册和服务集成，帮助大家更好的理解和使用，今天我们就简单聊聊ChatGpt的底层技术支撑以及演进历程。ChatGPT是由OpenAI 团队研发创造， OpenAI是由创业家埃隆·马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，拥有多位硅谷重量级人物的资金支持，启动资金高达10亿美金；
2023-03-03 17:24:29
6878
3
原创 如何用代码实现决策树来决策要不要相亲？
上一篇我们了解了什么是决策树，知道了决策树构建的过程，同时聊了构建决策树的两种算法，那么我们今天来看下如何使用代码实现决策树的构建。数据分析一般是以下的分析流程首先我们构建数据,提供训练数据集将数据进行加载，主要用来读取数据集，将其加载到内存2、数据探索了解数据的特性，更好的帮助我们做数据清洗、特征选择。了解下以下几个方法打印数据信息如果存在数据确实或者数据异常，那么我们其实可以通过其他策略进行数据的修正。当前数据集比较完整。分析数据字段，通过数据集分析，除了序号不影响相亲结果，‘经济’, ‘
2022-12-07 16:53:32
883
原创 为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品与工具产品（赋能） 包括： 资产管理平台、 标签管理平台、 资源服务平台、 BI工具（提效） 包括： 针对数据接入、 开发、 调度等提供工具批量化实施智能化。
2022-10-24 15:47:49
2470
5
原创 如何使用决策树判断要不要去相亲？
ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。ID3 算法计算的是信息增益，本身是一种贪心算法，信息增益指的就是划分可以带来纯度的提高，信息熵的下降。它的计算公式，是父亲节点的信息熵减去所有子节点的信息熵。
2022-09-30 15:21:32
1225
原创 分析问题难以决策，如何用一颗树来解决？
大家好，我是王老狮，对于我们这种奔三的人，最头疼的就是家里催婚的问题，特别逢年过节的时候都会被家里催着去相亲，于是乎，就有了如下的场景那么女儿到底要不要答应呢？该如何来进行决策？可见，做IT并且掘金经常发文章的人，会被女儿认为靠谱所以答应[狗头]在现实生活中，我们会遇到各种选择，不管是选择男女朋友，还是买水果都是经过以往的经验进行判断，把判断逻辑整理成一个结构图，就是一个树状结构，这就是决策树。决策树的工作原理决策树基本上就是把我们以前的经验总结出来。比如提供一个相亲的数据集。
2022-09-29 15:05:08
722
1
原创 数据平台建设的痛点，如何进行元数据治理?
（），又称、，为描述的数据（data about data），主要是描述数据（property）的，用来支持如指示存储位置、数据、查找、文件记录等功能，被称为数据的数据。
2022-09-28 17:26:09
1117
原创 如何提高数据质量？数据常见问题以及根因分析
在数据平台建设过程中，经常遇到需求难以管控，数据准确性不高等各种问题，今天将我们建立中台过程中遇到的数据问题以及通过什么方法去解决的做个总结数据开发没有可视化的开发平台，导致数据同步流程数据任务没有很好地进行管理，任务的调度，资源分配，稽查以及报警机制数据模型很少有合理化的进行建模设计，更多是为了实现需求尔设计表结构，每层表存储数据利用率不高数据开发效率低，数据报表交付慢。
2022-09-07 12:26:56
2027
2
原创 数据中台体系化建设核心方法论
大家好，我是王老狮，最近一直忙于工作，没有更新博客，借着和C站的专家们进行分享交流，强迫自己花时间写了一些内容，今天就把交流会上的一些分享心得分享给大家。
2022-09-04 10:03:35
1129
10
原创 服务老是被攻击，如何设计一套比较安全的接口访问策略？
大家好，我是老王，最近接手了一个项目，兴致勃勃的准备大干一场，结果一顿渗透测试下来我都快傻了。什么防重放攻击，请求体篡改，越权攻击，都整上来了，好嘛，我都不清楚这个项目这半年是怎么度过的。不知道大家公司对接口安全这块是怎么考量的，但是对于面向公网提供服务的产品来说，这个可以说是很致命的了。那么，该如何设计一套比较安全的接口访问策略呢？...
2022-07-27 17:21:15
1377
4
原创 【架构师考试】-软件工程重点知识笔记
通过面向对象的分析构件分析模型的过程建立分析模型的过程大致包括定义概念累，确定类之间的关系（依赖，泛化，组合，聚合，实现）为类添加职责，建立交互图等。Booch方法静态模型描述系统的构成和结构，分为逻辑模型，物理模型，动态模型描述对象的状态变化和交互过程，包括状态图和顺序图。以人为本，与用户紧密协作，面对面沟通，尽早发布增量，小而自主的开发团队，适用于规模小的项目。螺旋模型带带方法，瀑布与原型研发模型的结合体，适用于大型，复杂，风险的项目。架构图（包图），用例实现图，类图，其他（状态，活动图）......
2022-07-24 08:25:07
589
原创 前一阵子闹得沸沸扬扬的IP归属地，到底是怎么实现的？
大家都知道，前一阵子抖音和微博开始陆续上了IP归属地的功能，引起了众多热议。有大批在国外的老铁们开始"原形毕露"，被定位到国内来，那么IP归属到底是怎么实现的呢？那么网红们的归属地到底对不对呢？这篇文章帮大家揭晓。 大家都知道，我们一般想访问公网，一般必须具备上网环境，那么我们开通宽带之后，运营商会给我们分配一个IP地址。一般IP地址我们都是自动分配的。所以我们不知道本机地址是什么？想知道自己的ip公网地址，可以通过百度搜索IP查看自己的ip位置那么问题来了。百度是怎么知道我的公网IP的？一般情况，用户访问
2022-07-11 12:36:13
1122
原创 【JAVA秘籍功法篇-SpringBoot】SpringBoot如何集成Redis？
大家好，我是王老狮，一个有思想有内涵的架构狮。Redis作为分布式缓存，在我们的项目中经常会用到，今天我们看下SpringBoot如何集成redis。配置文件增加redis配置Redis持久化配置redis的初始化组件有多种，如官方推荐的jedis，或者SpringBoot自带的RedisTemplate。因为我本人比较爱用SpringTemplate，所以本次配置以RedisTemplate为例介绍初始化以及使用。操作redis操作redis的话可以直接以下面这种方式使用，比较简单，同时也有第
2022-06-22 19:21:53
292
原创 【JAVA秘籍功法篇-SpringBoot】初识SpringBoot
Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域（rapid application development）成为领导者。总结为以及优化就是：推出springboot的初衷就是为了简化spring的配置，使得开发中集成新功能时更快，简化或减少相关的配置。SpringBoot具备以下特点：自Sp
2022-06-19 17:00:21
192
6
原创 【JAVA秘籍心法篇-Spring】Spring XML解析源码详解
【JAVA秘籍心法篇-Spring】Spring XML解析源码详解所谓天下武功，无坚不摧，唯快不破。但有又太极拳法以快制慢，以柔克刚。武功外式有拳打脚踢，刀剑棍棒，又有内功易筋经九阳神功。所有外功招式配合内功心法才能大成，使其练成钢筋铁骨，无往不前。大家好，我是王老狮，一个有思想有内涵的架构狮。在茫茫大千的程序宇宙，JAVA可以说是一个层级的位面，需要在这个位面脱颖而出，各种技术框架只是我们的一些外功招式，要想让自己位于不败之地，更要搭配招式的内功心法，了解底层实现原理。融会贯通，收为己用。成为一套完
2022-05-16 08:00:00
922
4
原创 漫谈数据安全-老板担心敏感数据泄露，该如何建设数据的安全体系？
背景随着数据的不断迭代，数据种类和体量越来越多，那么数据的保护以及如何防止敏感数据的泄漏是当前面临比较大的挑战。数据安全的痛点解决数据误删除问题；解决敏感数据泄露问题；生产环境和测试环境隔离痛点问题解决方案如何解决数据误删问题数据的备份与恢复一、冷备通过对物理文件的拷贝也可达到备份的效果，但是需要注意的是通过拷贝物理文件进行备份期间，要避免数据写入。一般用于历史归档数据的备份。二、热备文本文件导入导出ClickHouse通过其 ALTER TABLE…FREEZE 功能提供了
2022-05-09 09:00:00
2623
12
原创 【JAVA秘籍功法篇-分布式事务】事务的实现原理
事务基本概念什么是事务？在我们平常使用Mysql等数据库时，经常会遇到事务的提交和回滚等场景。那到底什么是事务呢？事务是恢复和并发控制的基本单位，事务有四个特性，也是我们常说的ACID，原子性（Atomicity），一 致性（Consistency），隔离性（Isolation），持久性（Durability）。事务经典场景对于银行转账，是我们最常见的事务控制的场景了，比如老王给张三转账1万块 ，那整个转账流程为：先查询老王账户是否大于10000账户大于10000，老王账户扣款10000张
2022-05-04 10:59:05
921
5
原创 如何解决数据更新导致缓存一致性问题？
如何解决数据更新导致缓存一致性问题？一.为什么使用分布式缓存我们初步了解了什么是缓存以及一般的缓存使用逻辑，那么为什么要使用分布式缓存呢?在服务架构初期我们基本上都是单体架构，一个tomcat服务器撑起一片天，可能只需要基于本地内存存储进行缓存即可。但随着架构的演进，由单体SOA架构闫金成分布式架构之后，如果还使用本地缓存，那么就会导致多台服务器上缓存不一致，数据无法共享问题。因此基于这种问题，分布式的缓存由此诞生。当前分布式缓存最常用的工具还是redis和memcached。二.缓存过期以及一致
2022-04-17 13:28:44
2715
7
原创 彻底玩转分布式缓存-初识缓存
1.缓存的概念在了解缓存之前，我们先了解几个存储方式外存，内存和缓存的概念1.1.外存外储存器是指除计算机内存及 CPU 缓存以外的储存器，此类储存器一般断电后仍然能保存数据。常见的外存储器有硬盘、软盘、光盘、U 盘等，一般的软件都是安装在外存中（windows 系统指的是 CDEF 盘, Linux 系统指的是挂载点）。 1.2.内存内存是计算机中重要的部件之 运行都是在内存中进行的，因此内存的性能对 内存(Memory)也被称为内存储器，其作 是用于暂时存放 CPU 中的运算数据，以
2022-04-14 08:30:00
248
7
原创 Spring源码深度解析二-Spring源码如何导入？
Spring源码深度解析二-Spring源码如何导入？大家好，上章介绍了Spring的一些常识。今天我们就从一个demo开始入手，讲解Spring的源码如何导入，怎么一步一步的查看Spring的启动流程。本次讲解源码以Spring5.1.3版本为例一、准备工作1、安装JDK1.8版本。2、 因为Spring源码是使用gradle进行构建的，所以需要安装配置gradle。3、Spring源码下载下载spring源码包，git clone https://github.com/spring-pr
2022-04-11 08:45:00
2505
6
原创 Spring源码深度分析一-Spring前世今生以及源码学习路线图
大家好，我是王老狮，今天开始开新坑。作为JAVA程序员，Spring基本上是必备的技能，也是面试经常考核的技能，特别是大厂，Spring源码基本是必问的题目。但是很多同学看到源码就头疼，根本不知道源码该无法下手。今天开始，就带着大家全面剖析下Spring，SpringBoot，以及SpringCloud的源码，欢迎大家来交流。一、Spring的前世今生我们学习一款框架，不仅要学习他的作用以及是如何使用的，更应该了解他的过去，这样有助于我们思考为什么要有这么一款产品，以及他带给我们什么样的价值。可以说，S
2022-04-06 08:30:00
1739
原创 代码review神器Upsource，让你快乐的进行CodeReview
大家好，我是王老狮，您的支持就是我创作的动力，大家觉得好的话可以点赞关注收藏三连下。今天跟大家推荐一个代码review的神器Upsource，具体有多强呢？我们一起来看一下他的能力。一.Upsource简介Upsource是Jetbrains公司出品的一款Code Review工具，通过与版本管理软件（ Git、 Mercurial、 Subversion 和 Perforce）结合，通过社交化的形式，将代码予以团队成员或其他人分享、讨论。一般我们代码review都是对代码有问题的地方进行标注，Up
2022-03-30 20:00:45
6984
8
原创 漫谈MySQL十二-高性能的索引的优化之道
正确地创建和使用索引是实现高性能查询的基础。前面我们已经了解了索引 相关的数据结构，各种类型的索引及其对应的优缺点。现在我们一起来看看如何 真正地发挥这些索引的优势。3.3.1. 索引列的类型尽量小我们在定义表结构的时候要显式的指定列的类型，以整数类型为例，有 TTNYINT 、NEDUMNT 、INT 、BIGTNT 这么几种，它们占用的存储空间依次递增， 我们这里所说的类型大小指的就是该类型表示的数据范围的大小。能表示的整数 范围当然也是依次递增，如果我们想要对某个整数列建立索引的话，在表...
2022-03-10 17:04:26
1200
7
原创 深入解读索引在查询中的使用
索引在查询中的作用到底是什么？在我们的查询中发挥着什么样的作用 呢？请记住：1 、一个索引就是一个 B+树，索引让我们的查询可以快速定位和扫描到我们 需要的数据记录上，加快查询的速度。2 、一个 select 查询语句在执行过程中一般最多能使用一个二级索引，即 使在 where 条件中用了多个二级索引。3.2.3.1. 扫描区间对于某个查询来说，最简单粗暴的执行方案就是扫描表中的所有记录，判断 每一条记录是否符合搜索条件。如果符合，就将其发送到客户端，否则就跳过该 记录。这就是全表扫描。
2022-03-08 08:45:00
3138
6
原创 漫谈MySQL十一-InnoDB中的索引的类型
大家好，我是王老狮，上篇索引的数据结构中我们了解到索引的主要存储结构还是B——数，InnoDB 中的索引自然也是按照 B+树来组织的，前面我们说过 B+树的叶子节 点用来放数据的，但是放什么数据呢？索引自然是要放的，因为 B+树的作用本 来就是就是为了快速检索数据而提出的一种数据结构，不放索引放什么呢？但是 数据库中的表，数据才是我们真正需要的数据，索引只是辅助数据，甚至于一个 表可以没有自定义索引。InnoDB 中的数据到底是如何组织的？我们今天来看下InnoDB中索引的类型。一.聚集索引/聚簇索引
2022-03-06 12:32:30
1503
6
原创 漫谈MySQL十-索引的数据结构，从二叉树到B+树
大家好，我是王老狮，上一节我们了解了索引相关的一些知识。那么索引是怎么实现的呢？他的数据结构是什么样的呢？为什么要用这样的数据结构呢？我们带着疑问来学习下索引数据结构相关的知识，希望大家有所收获。一.MySQL索引的数据结构和书的目录一样，下图就是MySQL中的一种B+树索引，每一 个节点都是主键的 ID当我们通过 ID 来查询内容的时候，首先去查索引库，查到索引后能快速的 根据索引定位数据的具体位置。InnoDB存储引擎支持以下几种常见的索引：B+树索引、全文索引、哈希索引，其中比较关键.
2022-02-26 18:48:23
756
原创 漫谈MySQL九-MySQL中事务的使用
目录一、SQL 标准中的四种隔离级别二、MySQL 中的隔离级别2.1.如何设置事务的隔离级别2.1.1.使用GLOBAL 关键字（在全局范围影响）：2.1.2.使用 SESSION 关键字（在会话范围影响）：2.1.3.上述两个关键字都不用（只对执行语句后的下一个事务产生影响）：2.1.4.启动参数修改三、MySQL事务的使用3.1.事务基本语法3.1.1.事务提交3.1.2.事务回滚3.1.3.事务提交3.2.保存点3.3.隐式提交3.3...
2022-02-19 16:19:49
715
原创 漫谈MySQL八-什么是事务
1.事务的基础概念1.1.什么是事务？事务是数据库管理系统（DBMS）执行过程中的一个逻辑单位（不可再进行分割），由一个有限的数据库操作序列构成（多个 DML 语句，select 语句不包含事务），要不全部成功，要不全部不成功。例如：A 给 B 要划钱，A 的账户-1000 元， B 的账户就要+1000 元，这两个 update 语句必须作为一个整体来执行，不然 A 扣钱了，B 没有加钱这种情况就是错误的。那么事务就可以保证 A 、B 账户的变动要么全部一起发生，要么全部一起不发生。事务特
2022-02-19 10:04:52
785
7
原创 漫谈数据治理一-数据老有问题，我们该如何提高数据质量?
一、前言大家好，我是王老狮，狮是工程师的狮哈。细心地小伙伴应该发现我改名字了，具体改名原因呢？毕竟过了一年了，我也成长了，DarkKing感觉有点太中二了，因此换个成熟稳重一点的名字。（难道我会告诉你我有起名困难症吗？）随着互联网后期以及物联网的崛起，甚至互联网公司们已经不满足现实世界，诞生了元宇宙概念开始往虚拟世界方向走。包括上海也将元宇宙当做重点建设方向去布局。身为韭菜的你是不是瑟瑟发抖。现实中收割完之后，虚拟世界里继续收割。真是走廊上铺地铺，不留余地啊。到底元宇宙是好是坏，我们不做评论。但同
2022-02-13 12:24:37
4081
12
原创 漫谈MySQL七-系统数据库mysql库详解
大家好，我是王老狮，Mysql库是数据库的核心，它存储了 MySQL 的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。今天我们就来聊聊mysql库中的一些重要的表。1.权限系统表因为权限管理是 DBA 的职责，所以对于这个部分的表，我们大概了解下即可。在 mysql 系统库中，MySQL 访问权限系统表，放在 mysql 库中，主要包含如下几个表。user：包含用户账户、全局权限和其他非权限列表（安全配置字段和资源控制字段）。 db
2022-02-12 11:08:49
1361
6
原创 漫谈MySQL六-系统数据库sys库详解
目录1.sys介绍2.sys 系统库使用2.1.查看慢 SQL 语句慢在哪里2.2.查询表的增、删、改、查数据量和 I/O 耗时统计3.sys小结大家好，我是王老狮，平时我们在使用mysql中经常遇到慢sql以及想要了解sql执行的性能如何。那我们应该从哪里获取这些信息呢?今天我们就来聊一聊SYS库，来找一找答案。1.sys介绍sys 系统库通常都是提供给专业的 DBA 人员排查一些特定问题使用的，其下所涉及的各项查询或多或少都会对性能有一定的影响。所以这个库的配...
2022-02-11 11:54:30
4645
11
原创 漫谈MySQL五-系统数据库information_schema详解
目录1.什么是information_schema？2.information_schema 表分类Server 层的统计信息字典表Server 层的表级别对象字典表Server 层的混杂信息字典表InnoDB 层的系统字典表InnoDB 层的锁、事务、统计信息字典表InnoDB 层的全文索引字典表InnoDB 层的压缩相关字典表3.information_schema 应用查看索引列的信息大家好，我是王老狮，上篇我们讲了mysql自带的系统库perform.
2022-02-09 21:32:41
5073
2
原创 漫谈MySQL四-系统数据库performance_schema详解
目录1.系统数据库的简介2.performance_schema详解2.1. 什么是performance_schema？2.2 performance_schema 使用2.2.1 检查当前数据库版本是否支持2.2.2.performance_schema 表的分类2.2.3.performance_schema 简单配置与使用2.2.4.查看最近执行失败的 SQL 语句2.2.5.查看最近的事务执行信息3.总结1.系统数据库的简介 以下系统库...
2022-02-08 19:01:33
5710
7
原创 MySQL入门基础三-存储引擎详解
一、存储引擎从体系结构图中可以发现，MySQL 数据库区别于其他数据库的最重要的一个特点就是其插件式的表存储引擎。MySQL 插件式的存储引擎架构提供了一系列标准的管理和服务支持，这些标准与存储引擎本身无关，可能是每个数据库系统本身都必需的，如SQL 分析器和优化器等，而存储引擎是底层物理结构和实际文件读写的实现，每个存储引擎开发者可以按照自己的意愿来进行开发。需要特别注意的是，存储引擎是基于表的，而不是数据库。插件式存储引擎的好处是，每个存储引擎都有各自的特点，能够根据具体的...
2022-01-09 20:50:51
607
5
原创 MySQL入门基础二-基础架构组件详解
大家好，我是DarkKing，从上篇我们了解到mysql的基础架构。那么他们每个组件都是什么作用以及如何协作的呢？每个组件都具备什么样的能力？我们从一条SQL语句执行来说起。一、Mysql架构分层从下图可以看出来，mysql的基础架构主要分为三层，连接层，server层以及存储引擎层。连接层：连接器server层：缓存，分析器，优化器，执行器存储引擎：常用的择优innoDB和MyISAM引擎。那么当我们要执行如下的一条SQL语句时，他是经过一个什么样的流程得到我们需要的...
2022-01-09 20:34:17
1440
5
原创 阿里内部资料，10W字总结JAVA面试题-JVM篇
JVM是Java运行基础,面试时一定会遇到JVM的有关问题,内容相对集中，并且深度和要求都比较高。
2021-12-20 08:30:00
1039
24
jar包问题排查脚本.zip
2020-02-22
show-busy-threads
2020-02-15
FaceDetect.zip
2019-10-02
人脸识别java
2017-10-20
java实现人脸识别并裁剪人脸图片
2017-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人