- 博客(111)
- 收藏
- 关注
RSS订阅原创 深入jvm
即我们常说的永久代(Permanent Generation), 用于存储被 JVM 加载的类信息、常量、静 态变量、即时编译器编译后的代码等数据. HotSpot VM 把 GC 分代收集扩展至方法区, 即使用 Java 堆的永久代来实现方法区, 这样 HotSpot 的垃圾收集器就可以像管理 Java 堆一样管理这部分内存, 而不必为方法区开发专门的内存管理器(永久带的内存回收的主要目标是针对常量池的回收和类型 的卸载, 因此收益一般很小)。在 Java 中，引用和对象是有关联的。
2024-04-21 16:26:00
707
原创 【小白入门篇5】哪些免费GPU羊毛可以薅?
巧妇难为无米之炊, 虽然现在大模型开源很火热, 但是缺少gpu计算资源的小伙伴, 还是无法实操这些开源模型,对大模型研究浅尝辄止,或者只能用第三方开放的平台的普通对话框, 今天就介绍一些免费GPU资源, 足够大家平时对一些开源模型的学习和部署。支持控制台和jupyter notebook, 三个月的试用期,免费版本显存一般是16G左右,无对话时间限制, 建议不用的时候,关掉实例,毕竟除了时间还有资源大小限制。各位读者,如果你有更好免费平台, 可以在留言中评论,为一穷二白的技术人送点福利.
2024-04-21 16:14:39
421
原创 【大模型开源篇1】彦宏您怎么看LLaMA3的开源
Meta LLaMA是Meta公司开源的大模型，作为大模型开源界得鼻祖， 刚刚发布LLaMA3。从ChatGPT 拉开了大模型竞赛的序幕，Meta 选择了开源，至此大模型也开始百花齐放的时期，但是开源模型一直无法超过必源模型，如今LLaMA3发布，大有后来居上的趋势。此外,Meta还支持丰富的应用生态, Meta 提供的生成式 AI 能力在免费产品中性能是最强大的。
2024-04-20 08:59:36
835
原创 Java GC了解
jvm提供其他命令作用jps： 虚拟机进程状况工具，类似linux的ps命令jstat：虚拟机统计信息监视工具，经常看gc情况的会使用到jinfo: java配置信息工具jmap： java内存映射工具，dump，查看堆情况一般会用到jhat: 虚拟机堆转储快照分析工具，分析dump文件jstack： Java堆栈跟踪工具，查看线程的堆栈情况整个jstack文件分析。
2024-04-10 16:21:05
546
1
原创 【大模型应用篇4】普通人构建智能体的工具
用户与智能体聊了什么?哪些智能体最受大家喜爱?OpenAI的GPTs大火之后,随后很多公司都推出类似智能体构建平台, 这类平台基本都依赖大语言模型+插件，或者挂载知识库，或者调用复杂工作流，很多都成为了我日常使用的工具。dify也是基于插件方式,但是相对coze插件,以及支持发布的平台会少很多,但是好在开源,这个未来有可能会迎头赶上coze, 平台免费有次数限制.coze.cn是国内版本,可以发布在国内的应用上比如微信、飞书等平台, 国人可以快速使用你的智能体,使用大模型几座是云雀模型,是字节自研。
2024-04-10 14:57:10
648
原创 从事Java开发不得不知道的事
堆------->新生代(Yong)----->eden、 from to（救助空间Survivor）------->旧生代(Old)------->方法区（持久代 并不完全等价）------->栈------->程序计数器------->本地方法栈。
2024-04-09 12:38:44
270
原创 【大模型应用篇3】LLM时代下的智能体
(大语言模型, Large Language Model), Agent概念最早起源于M.Minsky(AI之父之一） 于1986年出版的《Society of Mind》（也是神经网络热潮开始的年份）, 只是LLM出现, LLM的涌现能力让人们快速嗅到可以基于LLM打造智能体, 近期 Web GPT、Chatdev、Toolformer、Devin、MetaGPT等AI Agents产品也是层出不穷。通过给予基于大语言模型（LLM）的智能体以“资产、偏好及个性”，模拟人类在经济行为场景中的决策过程。
2024-04-08 13:22:40
1104
原创 DDD实践思考
领域驱动设计强调技术专家和业务专家，通过统一的语言来完成领域的建模，帮助技术侧和业务侧形 成一套统一的语言.DDD就是以领域为入口，来解决产品设计，研发的思想。
2024-04-08 09:30:13
342
原创 java锁
乐观锁是一种乐观思想，即认为读多写少，遇到并发写的可能性低，每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有去更新这个数据，采取在写时先读出当前版本号，然后加锁操作(比较跟上一次的版本号，如果一样则更新)，如果失败则要重复读-比较-写的操作。java 中的乐观锁基本都是通过 CAS 操作实现的，CAS 是一种更新的原子操作，比较当前值跟传入值是否一样，一样则更新，否则失败。悲观锁是就是悲观思想，即认为写多，遇到并发写的可能性高，每次去拿数据的时候都认为别人。
2024-04-07 15:21:59
209
原创 线程生命周期
定义了一个退出标志 exit，当 exit 为 true 时，while 循环退出，exit 的默认值为 false.在定义 exit时，使用了一个 Java 关键字 volatile，这个关键字的目的是使 exit 同步，也就是说在同一时刻只能由一个线程来修改 exit 的值。● 方法 run()称为线程体，它包含了要执行的这个线程的内容，线程就进入了运行状态，开始运行 run 函数当中的代码。如果处于就绪状态的线程获得了 CPU，开始执行 run()方法的线程执行体，则该线程处于运行状 态。
2024-04-06 21:15:21
683
原创 JVM类加载器
因此所有的加载请求都应该传送到启动类加载其中，只有当父类加载器反馈自己无法完成这个请求的时候(在它的加载路径下没有找到所需加载的Class)，子类加载器才会尝试自己去加载。采用双亲委派的一个好处是比如加载位于 rt.jar 包中的类 java.lang.Object，不管是哪个加载器加载这个类，最终都是委托给顶层的启动类加载器进行加载，这样就保证了使用不同的类加载器最终得到的都是同样一个 Object 对象。方法是由编译器自动收集类中的类变 量的赋值操作和静态语句块中的语句合并而成的。
2024-04-06 17:53:30
905
原创 java 线程池实现方式
线程和数据库连接这些资源都是非常宝贵的资源。那么每次需要的时候创建，不需要的时候销 毁，是非常浪费资源的。那么我们就可以使用缓存的策略，也就是使用线程池。
2024-04-05 20:32:51
631
原创 【大模型应用篇2】提示词实践-短剧文案
我们能做的是更多改变自己，优化提示词，增加一些自己独特想法，根据AI产生出来的文案，再进行人工优化，才达到优质作品。上面展示如何利用AIGC方式生成文案步骤，可能离真正优质的文案还是有一定的距离，但是要做深、做好、做优文案也是非常不容易的，要反复打磨提示词，让AI能够写出符合预期的文案。》带大家一起学习了提示词工程，我相信大部分朋友学完之后，还是有懵懂的，这节课带大家实操一下提示词的应用场景，现在短剧的创作很火，好看的短剧内容一定不会差，我们以短剧文案创作为例。有脚本之后，就可以刻画人物形象，方便选角。
2024-04-04 10:28:04
1056
原创 初识mysql
和我一起学AImysql 分层● 连接层:与客户端进行连接的服务主要完成一些类似连接处理,授权认证 及相关的安全方案.在该层上引入了连接池的概念● 服务层提供核心的服务功能如果sql接口,完成缓存的查询,sql的分析和优化部分及内置函数的执行.所有跨存储引擎的功能都在这一层实现服务器会解析查询并创建相应的内部解析权,并对其完成相应的优化,生成相应的执行操作服务器还会查询内部的缓存,如果缓存空间足够大,这样可以解决大量读操作的环境中,能够很好的提升系统性能。
2024-04-03 15:52:51
223
原创 微服务，容器化时代监控体系-opentelemertry
自动插桩库的使用方式可能会与编程语言相关，对于一些场景，可能只需要在你的项目依赖中增加该组件即可，对于另外一些场景，可能需要在你的代码中显式使用该包。opentelemetry的前身是Opencensus,它爹是google,它妈是微软, 目标是集成Metrics、Tracing、Logging的融合及大一统, metric指标: 例如cpu、内存、硬盘、网络等机器指标，grpc的请求延迟、错误率等网络协议指标，用户数、访问数、订单数等业务指标，都可以涵盖在内.它提供对 Tracers 的访问。
2024-04-03 10:36:52
708
原创 JVM原理
即我们常说的永久代(Permanent Generation), 用于存储被 JVM 加载的类信息、常量、静 态变量、即时编译器编译后的代码等数据. HotSpot VM 把 GC 分代收集扩展至方法区, 即使用 Java 堆的永久代来实现方法区, 这样 HotSpot 的垃圾收集器就可以像管理 Java 堆一样管理这部分内存, 而不必为方法区开发专门的内存管理器(永久带的内存回收的主要目标是针对常量池的回收和类型 的卸载, 因此收益一般很小)。在 Java 中，引用和对象是有关联的。
2024-04-02 16:30:07
607
原创 【大模型应用篇1】学会对模型念咒语
当你交代任务，如果没有将任务描述很详细，他给你的回答往往不是预期，这也是现在虽然大模型很火，但是真正在大众的普及率，远没有那么高，所以为了解决大模型对于普通人使用门槛过高，专门出现一批人对模型下咒语， 让普通人可以傻瓜式使用大模型能力，咒语被业界称为“prompt engineering”（提示工程）。
2024-04-02 16:23:37
1213
原创 【小白入门篇4】兄弟,你还在网上盗图吗
之前《【小白入门篇2】总有一款AI工具适合你》、《【小白入门篇3】还是GPT4更香》文章的介绍软件中大部分是文字生成文字的，随着人对艺术形态追求越来越高，现在AIGC领域也逐渐出现文生图、文生视频的大模型。我个人现在写文章，文章的配图就用AI工具自动生成的，避免去网上寻找浪费时间的同时，也可能导致侵权。MJ, DallE，文心一格，Leonardo.Ai这类入门门槛比较小的在线生成图片软件,可以做一些创意图片，或者业余的图片,这类图片对细节要求没那么高,如上图中,其实有些小孩的眼睛和嘴巴还是有点奇怪。
2024-03-29 13:14:13
168
原创 【小白入门篇3】还是GPT4更香
OpenAI chatgpt4毕竟是官方的版本，必然需要推荐，就是有点贵，有钱的伙伴还是优先推荐GPT4。免费比较推荐的是coze和copilot，copilot会自动使用搜索引擎获取最新消息，对于一些时间敏感性的内容获取，我会优先使用copilot, 当然coze.com也可以，同时coze.com还可以自定义gpts。缺点的是以上表格中的工具都需要kx上网才可以访问，如果大家有什么好的工具可以在留言区评论交流。如果大家仅仅是想学习如何构建自己的GPTs，coze.com还有个国内的兄弟coze.cn。
2024-03-26 17:05:11
191
原创 【小白入门篇2】总有一款AI工具适合你
介绍了GPT的形成，直到今日，GPT工具层出不穷，搞得很多初学者眼花缭乱，今天梳理一下国内外比较出名的GPT工具，适用各个领域非专业的同学选择。值得注意的是，以上都是开箱即用的工具都有web端（部分还有手机端，只需注册即可），对于小白是可以快速使用的，大部分垂直领域的工具只开放试用功能，好在大部分通用的模型都有免费版，这些通用模型在某些插件加持下，可以完成垂直领域模型的功能，同时个人感觉有手机版的工具，确实方便了不少，随着携带一名助理，不香吗。从现在开始，学会AI工具，逐渐成为人们人生必修课。
2024-03-21 16:05:45
290
原创 【小白入门篇1】GPT到底是怎样练成？
但是GPT在很多领域依然能够超越人类（毕竟人类很多时候也会一本正经胡说八道，从某种意义来说更像人类了），并且还在不断发展，GPT功能是很强，但是如何学会用它，也是一门需要学习课程（提示工程师），有些人也用了提示工程结合其他工具制作出来很多GPT外挂（GPTs）。为了完成目标，人类引导的方式成本过高，于是乎，请了一个”好老师“（reward模型），这个老师不会像人类监督那样，直接给出答案，而是对模型输出给一个反馈，只有好与不好，让模型根据反馈自动调整输出，直到老师给出好的评价。这时需要人类的指导。
2024-03-20 13:14:44
1071
原创 window 7 安装VC-redist.x64.exe的问题
由于在单位上,还有些电脑是window7, 安装常用的工具软件obs studio24.0.3、Snipaste等开源软件出错, 需要提前安装VC-redist.x64.exe, 但是经常安装出现0x80240017错误, 引发一系列的其他问题,记录一下常用的一些安装解决方法.
2024-03-15 15:47:30
381
原创 Transformer家族
实现了大量的基于Transformer架构的主流训练模型, 不仅仅是自然语言处理模型,包括图像、音视频以及多模态模型。上面表格中的模型只是冰山一角，在最新的2023年《Transformer models: an introduction and catalog》论文有提到更多关于Transformer家族成员，并且提供了相关发布时间以及说明，有兴趣大家可以下载去看看。Encoder 的注意力层都可以访问初始输入句子中的所有单词，而 Decoder 的注意力层则只能访问输入中给定词语之前的词语。
2024-03-13 12:47:54
955
原创 Transformer原理
Muli-Head Attention就是上面介绍的多头注意力机制，在注意力机制层后，多了一个Add&Norm层，再进行全链接层，最后再来一个Add&Norm层，其中Add&Norm层就是输入+输出再进行Layer Norm结果。在Encoder和Decoder机制中都有Attention机制，何为自注意力机制，自注意力机制实际上是想让机器注意到整个输入中不同部分之间的相关性，能够专注输入的不同部分，正如人类在处理信息会更加关注某些细节和词语。参考李宏毅的视频，来全面介绍一下Transformer的原理。
2024-03-12 13:10:32
484
原创 机器学习综述
机器学习是人工智能的一个子集，目前已经发展出许多有用的方法，比如支持向量机，回归，决策树，随机森林，强化方法，集成学习，深度学习等等，这些都是我们经常听到算法，今天着重介绍一下人工智能现在最大的研究方向：机器学习。这类学习算法非常贴合现实场景，我们在实际场景中很容易收集到未标记的数据，标记的数据往往是少量的。内部指标：DB指数（Daives-Bouldin Index，DBI）、Dunn指数（Dunn Index，DI）和SC轮廓指数（Shihouette Coefficient ，SC）
2024-03-11 14:46:26
343
原创 又有模型说超越GPT4
其中，能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。不论未来结果怎么样。作为一个技术爱好者，还是很希望看到这种不断“你追我赶，百家争鸣”的现象，毕竟这个也会倒推科技不断进步和发展。因此，新模型强大的视觉能力非常有帮助。我的态度就是，静观其变，到底是驴是马，得让用户遛遛才知道。目前效果基本属于自吹自擂（更详细查看下面的文章），虽然也有一些网友发表一些实验的效果，但是只有亲自去体验才有答案，
2024-03-06 10:54:23
271
原创 未来人人都是程序员？
StarCoder2 是一套面向代码的开放式大语言模型系列，提供3种规模的模型，分别包括 30 亿（3B）、70 亿（7B）和 150 亿（15B）参数。随着编程语言在学生时代逐渐普及，学生对计算机和编程有一定的认识之后，加上编程大模型工具的加持,编程语言未来是否会跟我们的中文、英语等语言一样，成为人人必备的技能之一呢？少儿编程依然成为和舞蹈、足球、游泳等一样的小学生课后的兴趣课之一。老黄更是语出惊人，学计算机的时代过去了，下个赛道是生命科学，有网络调侃说，黄老板以一己之力，将曾经天坑专业变成热门。
2024-03-05 14:22:34
361
原创 大象如何转身-苹果放弃10年领域
（3）、 2024年生成式 AI 正值行业爆发 ，是个新兴的领域，美国大部分大厂都转向AI，比如微软、谷歌、Meta等公司，对苹果公司，AI对他所占领的市场也很强的吸引力，而且这个领域刚开始，鹿死谁手还未可知。（1）、小米感觉会哭晕在厕所，小米如果定价太贵，相对华为、蔚来、理想等没有核心的亮点，难以破茧。可谓是前有狼，后有虎。（2） 、25 日，理想表示正在加速制定出口计划，已开启中东地区的布局，今年计划在中亚和中东建立销售和服 务网络，并在四季度开始理想 L9 和 L7 的海外交付。
2024-03-01 14:29:19
250
原创 微调实操四:直接偏好优化方法-DPO
在《微调实操三:人类反馈对语言模型进行强化学习(RLHF)》中提到过第三阶段有2个方法,一种是是RLHF, 另外一种就是今天的DPO方法, DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好.
2024-02-26 20:36:48
411
原创 谷歌Gemma开源了
谷歌推出了全新的开源模型系列Gemma，相比谷歌之前的 Gemini模型，Gemma 更加轻量，可以免费使用，模型权重也一并开源了，且允许商用。（2）Meta采用开源方式，已经吸引很多开发者参与进来， 谷歌希望借Gemma 的开源，谷歌能够吸引更多的人使用自己的 AI 模型，而不是直接投奔 Meta、Mistral 这样的竞争对手。（3）人类反馈强化学习（RLHF）：使用 RLHF 对监督微调模型进一步微调，不仅从人类评分者那里收集了偏好对，还在 Bradley-Terry 模型下训练了奖励函数。
2024-02-23 19:48:45
622
原创 英伟达为啥熄火了？
2023年英伟达随着大模型的快速崛起，对算力需求越来越多，股价也是一路飙升，中国春节期间，英伟达市值超过亚马逊和Alphabet等巨头，成为美国第三大市值公司，仅次于微软和苹果。：不仅卖的贵， 股价也贵，即使经历了周二的大跌，英伟达今年以来的股价仍累计飙升约40%，成为全球市值第三的公司，此时很多业内人认为需要较强的未来预期，不然股价难以继续上扬。（3）OpenAI、英特尔、AMD、Meta、亚马逊和微软等，正联合起来“围剿”英伟达，希望降低成本并减少对英伟达的依赖。
2024-02-21 19:16:50
164
原创 微调实操三:人类反馈对语言模型进行强化学习(RLHF)
但是, 这些模型有时可能表现出意外的行为，例如制造虚假信息、追求不准确的目标，以及产生有害的、误导性的和偏见性的表达。在此设置中，预训练的 LM 作为策略，将提示作为输入并返回输出文本，它的动作空间是 LM 的词表，状态是当前生成的 token 序列，奖励由 RM 生成。然后，需要训练 RM 预测人类偏好的输出。1.1.1 RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
2024-02-21 10:08:44
1237
原创 从gradient_checkpointing_enable中学习
冻结是一种非常有效的方法，通过取消计算模型某些层中的梯度计算（如embedding层，bert的前几层），可以大大加快训练速度并且降低了显存占用，而且几乎不会损失模型的性能, 特别是某种优化算法（如SGD、AdamW或RMSprop）执行优化步骤时，网络的底层的梯度就都很小，因此参数几乎保持不变，这也被称为梯度消失，因此，与其花费大量的时间和算力来计算底层这些“无用”梯度，并对此类梯度很小的参数进行优化，不如直接冻结它们，直接不计算梯度也不进行优化。通常，在反向传播期间，模型的中间激活值需要被保留以。
2024-02-19 15:13:13
910
原创 sora的理解
近期, openai紧跟Runway、 Google、Meta等公司, 发布了视频生成模型Sora, 全面进军视频领域。官网的视频效果炸裂，连贯性优秀，生成视频时长可达60秒，但模拟复杂物理场景仍有瑕疵。相对Pika、Runway的效果还是有进一步提升。考虑到这一技术的风险性，目前sora暂不开放。
2024-02-18 15:26:38
369
原创 微调实操二: 有监督微调(Supervised Finetuning)
1、背景在上一章《微调实操一: 增量预训练(Pretraining)》中进行了第一阶段的增量专业知识训练,这篇开始实践一下指令微调的训练，在预训练模型基础上做指令精调，以对齐指令意图。通过输入中添加指令，使得模型可以将指令作为上下文的信息，可以引导模型生成特定任务所需的输出。这次训练的目的就是让模型获得听懂指令的能力，可以适应多种不同任务。2、合并增量模型得到merge_pt作为sft阶段的训练模型.3、sft阶段数据集sft训练数据集就是对话记录的数据集，这个数据和增量预训练是完全不一样。
2024-02-07 19:28:53
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人