- 博客(539)
- 资源 (22)
- 收藏
- 关注
RSS订阅
转载 SQL优化的30条建议
1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is nul...
2019-09-29 19:11:41
1589
转载 java 性能优化：35 个小细节，让你提升 java 代码的运行效率
代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么好修改的，改与不改对于代码的运行效率有什么影响呢？这个问题我是这么考虑的，就像大海里面的鲸鱼一样，它吃一条小虾米有用吗？没用，但是，吃的小虾米一多之后，鲸鱼就被喂饱了。代码优化也是一样，如果项目着眼于尽快无BUG上线，那么此时可以抓大放小，代码的细节可以不精打细磨；但是如果有足够的时间开发、维护代码，这时候就必须考虑每个可...
2019-04-25 09:49:40
7002
30
转载 归纳头可能是任何大小的Transformer模型中通用ICL能力的来源
最近读了的一篇长文（确实非常长），叫做，觉得写的非常好，看到中文互联网应该还没有这个文章的中文翻译，也怕自己忘掉，所以读到哪就翻译到哪，做一个记录。大部分内容靠GPT翻译，我在其基础上做术语和逻辑的修正，有些地方中文没法特别好地表达出来，我会附带原文用词。有些地方原文就很抽象，我会注明自己的理解。
2024-03-22 13:13:46
19
原创 现有的通用模型中融入少量中文数据没有太大意义&少量的数据就能影响整个大模型
相关链接：只修改一个关键参数，就会毁了整个百亿参数大模型？ | 新程序员-CSDN博客现象 1：mBERT 模型的跨语言迁移现象 2：大语言模型同样存在显著的语言对齐现象 3：知识与语言分离现象 4：语义和词形对齐现象 5：少量的数据就能影响整个大模型现象 6：大语言模型参数中记录了知识有明显的语言核心区现象 7：大模型语言核心区与维度依赖理论
2024-02-19 21:35:22
426
原创 NVIDIA 驱动和 CUDA 版本信息速查
使用 nvidia-smi 看到的 CUDA 版本，通常就是这个驱动在上表里对应的 CUDA 版本，例如内核驱动版本是 470 的话，看到的 CUDA 版本就是 11.4。之前和 NVIDIA 驱动和 CUDA 搏斗比较多，因此记录一下一些常用信息，方便查询。里面写了 CUDA 11.x 可以兼容 NVIDIA >= 450。显卡的 Compute Capability 可以在。可能被占用以外，还需要用 lsof 检查。如果发现 rmmod 失败，可以。编译选项与显卡对应关系。
2024-01-20 13:07:10
1752
原创 Transformers 2023年度回顾 ：从BERT到GPT4
当前各种大型模型蜂拥而至，模型的基数一直在增长，但是简单的层的增加和数据集的增长被各种更好的技术替代，这些技术允许质量改进(使用外部数据和工具，改进网络结构和新的微调技术)。但是越来越多的工作表明训练数据的质量比数量更重要：正确选择和形成数据集可以减少训练时间并提高结果质量。OpenAI现在正在走向闭源，他们已经尝试过不释放GPT-2的权重但没有成功。
2024-01-09 21:35:57
1311
原创 低成本TB级数据库技术选型之思考两三点
提到MOGNODB 的特长，必须提到JSON ，在数据库处理的格式中，我们大多习惯关系型的数据的表达方式，而在除了数据关系型的二维表格的数据表达的方式以外，更加简便的流行的数据格式的表达是 JSON ，JSON，即JavaScript对象表示法，是一种易于人类阅读的数据交换格式，尽管JSON是基于JavaScript编程语言标准的一个子集，但它完全独立于语言。你可以从图谱中发现你感兴趣领域的趋势，对领域内文献引用动态有一个真实的、可视化的理解，并对最新发表的重要论文工作及时进行跟进。
2024-01-01 17:19:38
1124
原创 10TB海量JSON数据从OSS迁移至MaxCompute
前提条件 开通MaxCompute。 在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见创建业务流程。 将JSON文件重命名为后缀为.txt的文件，并上传至OSS。本文中OSS Bucket地域为华东2（上海）。示例文件如下。 { "store": { "book": [ { "category": "reference", "
2023-12-31 17:36:39
1042
原创 苹果手机微信H5支付不能跳转支付，及头条抖音APP使用微信H5支付成功后，不跳转到支付成功提示页面问题经历及解决方法
苹果手机微信H5支付不能跳转支付，及头条抖音APP使用微信H5支付成功后，不跳转到支付成功提示页面问题经历及解决方法。最近有一个做头条抖音APP推广的用户，反馈说有两个问题，他们推广网站页面 在进行微信H5支付时，如果手机是苹果手机三星手机等一些型号测试时，不能拉起微信进行支付，第二个问题是，尽管在小米华为OPPO VIVO等这些安卓系统手机，头条和抖音APP都能拉起微信H5支付，但是支付成功以后不能进行跳转到指定的连接页面上。比如制作的一个加微信好友的页面。
2023-12-27 18:02:00
696
原创 一个类似connectedpapers的文献知识图谱神器：Libraries S2
Libraries S2 文献数据来源于35家主流数据库发行商，覆盖率足够高，特殊的相似度算法更能发掘出我们需要的文献，并生成文献网络，可以节约大量的文献查找时间。以前在看论文的时候，我都是先用谷歌学术搜索，然后看到优秀的相关文文献后，再去查看它的参考文献，以及引用了该文章的后续论文。在阅读文献、写综述、写论文的related works的时候，总会苦恼如何查阅该领域的论文呢？怎么才能尽可能的查找齐全？
2023-12-07 22:55:30
316
原创 Python Web APP在宝塔发布
本地测试运行：uvicorn main:app --host '127.0.0.1' --port 8082 --reload。运行配置——>启动模式：worker_class = 'uvicorn.workers.UvicornWorker'
2023-11-15 22:44:37
388
原创 transformers安装避坑
您可以按照官方Rust网站（https://www.rust-lang.org/tools/install）上的说明安装Rust。升级pip和setuptools：过时的pip和setuptools版本有时会引发问题。包相关的类似问题或错误消息，看看是否有已知的解决方案或变通方法。其实就是网络问题，跟你的工具版本没关系的，你多试几次，或者找找有没有更快下载的通道。，应该类似钥匙，如果本地下载后，它们就会没有这个hash值，运行。，但是它还会提示各种千奇百怪的错误，比如我下面这个。
2023-11-11 22:13:24
1684
翻译 亿级海量论文相似度排序算法及搜索引擎原理（翻译）
首先，我简要介绍一下 Semantic Scholar 的高级搜索架构。您的搜索查询将转到 Elasticsearch（我们索引了近 ~190M 篇论文）。排名靠前的结果（我们目前使用 1000）由机器学习排名器重新排名。我们最近对 （1） 和 （2） 进行了改进，但这篇博文主要是关于在 （2） 上所做的工作。我们使用的模型是具有LambdaRank目标的LightGBM排名器。它的训练速度非常快，评估速度快，并且易于大规模部署。
2023-11-01 22:17:42
737
转载 CentOS7如何安装和配置Squid Proxy代理服务
代理服务器（Proxy Server）位于连个终端设备之间，充当一种中间设备。客户端C向服务器S发起资源请求，可以是一个文档，或者网页，请求先被发送到代理服务器P。然后代理服务器P发送该请求到目的服务器，并获取其资源。代理服务器的好处，是可以缓存资源。比如，有许多用户访问的网页，代理服务器将其内容缓存在本地，这样用户来访问的时候，代理服务器直接把内容就给返回了。代理服务器可用于安全校验，管理权限和缓存服务。
2023-10-24 22:49:59
1582
转载 一文看懂：如何充分高效训练多轮对话大模型
Firefly项目链接：https://github.com/yangjianxin1/Fireflyfirefly-ziya-13b权重：https://huggingface.co/YeungNLP/firefly-llama-13b该项目已支持对LLaMA-2、Baichuan、InternLM、Bloom、Ziya、LLaMA-1等开源大模型进行多轮对话指令微调。可以在16G显存上微调130亿的大模型，并且这套训练流程在Open LLM排行榜🤗上进行了验证，
2023-09-21 22:21:11
916
转载 后新消费时代：卷出来的情绪赛道，玩疯了的对话价值
2023年8月，吴声在立秋演讲「新物种爆炸·吴声商业方法发布2023」提出来「对话时代」这个新概念。前1个月，先有「芭比」粉火爆，后是喜茶XFENDI的「喜悦黄」出圈，然后瑞幸X茅台「全民上头」和华为「奔腾不息」来了。往前2个月，自「多巴胺穿搭」开始，「多巴胺生咖/茶饮/果汁」……处处都现多巴胺，万物皆可多巴胺。
2023-09-15 17:05:27
288
原创 对话大模型中的情感支持及商业化落地
人在交流过程中，他不光可以说话，还可以传递语音、语调，还有小动作，小表情。郑叔亮指出，使用OpenAI的GPT接口的问题在于，无法使用自己的数据训练，无法控制训练过程，必须按照给定的格式匹配自己的数据，增加成本不说，也留下非常多的隐患。正因上述诸多原因，未来很可能“每个企业都需要一个私有大模型”，而在郑叔亮是如此描述这样一个过程的：先以一个规模相对较小的通用大模型作为底座，再在其上构建聆心智能的超拟人对话大模型，其语料和训练的数据会相较友商丰富很多，也可以植入企业专有数据进行训练。
2023-09-15 16:52:19
334
原创 达摩院SPACE对话大模型：预训练语言模型，预训练对话模型，知识注入
面向理解的预训练对话模型的出现，对于对话理解方面，相对于预训练语言模型，带来了巨大的提升，如上图所示，EMNLP2020 上的一篇文章（Probing Task-Oriented Dialogue Representation from Language Models）的实验结果，表明预训练对话模型和预训练语言模型相比，在对话理解任务上，可以提升 10% 以上的效果；今天面对的任务是大量的无监督数据和小量的有监督数据，我们提出了半监督学习，通过半监督的方式，将有监督数据和无监督数据结合起来，如上图所示，
2023-09-15 15:33:14
697
转载 LLaMA ChatGLM2 BLOOM模型技术分析对比
贝塔是常数或者可训练参数，Swish函数可以看做是介于线性函数与ReLU函数之间的平滑函数.
2023-09-08 17:05:34
2072
1
转载 复旦大学教授肖仰华：ChatGPT 浪潮下，面向大模型如何做数据治理？
基于此，面向大规模的数据治理研究，可从以下三层架构来思考：最底层是基于大模型的知识质量评估体系、人在环中的大模型训练优化机制、复杂数据的预训练机制等基础理论，往上为样本纠偏、样本优化、多模融合、知识注入、事实编辑、领域适配、价值对齐、认知提升等关键技术，最上层是认知增强和推理增强，研究顺序逐层推进。数值推理本质上是对自然语言文本中的数值实体进行区别与一般文本的特殊处理，包括将数值映射到数字线上的近似大小的量级化能力，以及对数值实体之间进行分析、思考以及符号化运算和推理的过程，反映了人脑具备的高级认知功能。
2023-09-08 15:32:48
261
转载 中科院：大模型一被夸智商就爆表！ChatGPT情商98分秒杀人类，Hinton预言成真？
Hinton认为，AI已经或将要有情感。随后的研究不断证明，Hinton的说法或许并不是博人眼球的妄言。有心理学家对ChatGPT和人类进行了情绪测试，结果表明，ChatGPT的得分要远远高于人类。无独有偶，中国科学院软件研究所和微软等机构的研究人员最近设计了一种EmotionPrompt。他们发现，
2023-09-08 14:37:24
149
原创 Chinese-LLaMA-Alpaca-2模型的测评
以Chinese-LLaMA-2-7B为例，对比不同精度下的模型大小、PPL（困惑度）、C-Eval效果，方便用户了解量化精度损失。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。是另一个综合性中文评测数据集，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题，共计11.5K个选择题。是一个大模型长文本理解能力的评测基准，由6大类、20个不同的任务组成，多数任务的平均长度在5K-15K之间，共包含约4.75K条测试数据。
2023-09-07 17:24:00
1094
1
转载 OpenAI独家绝技RLHF被开源DPO超越？让RLHF彻底傻瓜化！
实验表明了 DPO 可以微调 LMs 以对齐人类偏好，甚至比现有方法更好。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。
2023-09-06 22:29:26
507
原创 centos密码过期导致navicat无法通过SSH登录阿里云RDS问题
具体错误提示：2013 - Lost connection to server at "hand hake: reading initial communication packet', system error: 0。解决办法：更新SSH服务器密码。
2023-09-06 15:22:59
489
转载 「AI+心理干预」AI+认知行为疗法，治愈心灵的良药丨青源Workshop观点集锦
考虑其扮演的角色，设计相应的输入给大语言模型的提示语，并在人类精神诊断医生的参与下，不断反馈，强化训练语言模型。比如，一个孩子最近要考试，比较紧张焦虑，这是考试引发的心理问题，不需要去找精神科的医生，只需要接受心理咨询师的心理疏导或心理咨询就可以了。比如，一个可疑的强迫性神经症的来访者（可疑的强迫性神经症属于神经症性心理问题，尚未达到强迫症的诊断标准，可以进行心理咨询），除了存在不合理认知以外，可能还存在强迫行为，需要对强迫行为进行暴露治疗，这不是通过共情就可以解决的问题。（4）虚拟现实和增强现实。
2023-09-02 05:33:44
2199
原创 基于知识引入的情感分析研究综述
本文介绍了情感分析中引入外部知识的部分工作，简要介绍了现阶段情感分析常用的外部知识，从最常见的情感词典入手，逐步介绍基于情感词典的情感词向量、预训练语言模型，展示了使用多任务学习融合词性、依存句法等文本底层特征抽取器的工作，最后介绍了近期热门的使用结构化外部知识的文本情感迁移学习工作。我们可以看出，情感词典虽然最为简单，却是情感知识引入多种引入方式的基石，在情感分析算法中地位无出其右。
2023-08-27 20:00:53
203
转载 常识性概念图谱建设以及在美团场景中的应用
常识性概念图谱就是建立概念与概念之间的关系，帮助自然语言文本的理解。同时我们的常识性概念图谱侧重美团场景，帮助提升美团场景中的搜索、推荐、Feeds流等的效果。是什么，概念是什么，建立核心概念是什么的关联体系。例如“维修洗衣机”，“维修”是什么，“洗衣机”是什么。什么样，核心概念某一方面的属性，对核心概念某一方面的细化。“带露台的餐厅”、“亲子游乐园”、“水果千层蛋糕”中“带露台”、“亲子”、“水果千层”这些都是核心概念某一个方面的属性，所以需要建立核心概念对应属性以及属性值之间的关联。给什么。
2023-08-26 22:06:58
130
转载 让陪伴机器人不再「直男」，读懂更多情绪 | 香港理工大学李嫣然
导读：现实对话中，「多喝热水」、「早点睡」等直男语录让人啼笑皆非。从某种意义上说，现有的对话系统就好比「直男」，对于情绪的感受力较弱。因其仅仅根据文本表面的意义进行分类，无法理解文本背后更深层的意思，无法与对方实现真正的「共情」。如何提高陪伴机器人的共情能力，实现更专业、自然的情绪支持人机对话？香港理工大学李嫣然博士团队在这方面做了大量的工作。团队通过真人多轮情感支持对话中的中文语料数据挖掘语言背后的情绪流，进而针对AI的情绪探索和反馈能力等方面进行了有效地优化。
2023-07-16 15:06:15
413
原创 ChatGLM2-6B、ChatGLM-6B 模型训练自己数据集实战
ChatGLM-6B是开源的文本生成式对话模型,基于General Language Model(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上(INT4)显存占用6G左右,
2023-07-10 10:00:07
4210
1
原创 DeepSpeed使用体会
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。
2023-07-08 18:49:13
1205
转载 DeepSpeed-Chat 代码分析及使用详解
根据上面的分析，对模型微调的完整流程如下：数据部分读取tokenizer: 从预训练模型中读取tokenizer读取处理数据 train_dataset, eval_dataset设置 train_sampler， eval_sampler设置train_dataloader， eval_dataloader （使用DataLoader）模型部分设置DeepSpeed配置参数导入并实例化 model可选：LoRA设置。
2023-06-20 17:36:54
1713
转载 自定义模型与数据进行DeepSpeed-Chat训练
本文将演示如何在DS-Chat代码中使用除facebook opt之外的其他预训练模型，以及如何准备并使用自定义数据进行模型训练，以便训练出针对特定领域或应用的大型模型。本章的主要内容包括以下几点：实验设置介绍：我们将介绍本实验的设置，并为你介绍这样选择的原因，希望能够给你AI技术学习提供一个参考。如何替换模型：我们将介绍如何替换DS-Chat中使用的预训练模型以及如何将自己的预训练模型集成到DS-Chat中。
2023-06-20 17:25:55
1009
转载 大模型训练基本流程讨论
让pre-model自动化的生成模版，思路如下，fix主pre-train模型，让模型对有标注的任务做训练，模型学习后改的输入的句子embbeding，当然输入原句是不改的，只是让模型改非输入句子部分，最后就可以自动化的学习到最有prompt模版了。通常情况下，预训练模型的大小越大，它在各种任务上的表现也越好，但同时需要消耗更多的计算资源[1]。这张图表示的意思是，我还是我，但是我经过简单变化和学习后，我就可以成为多样不一样的我，但是pre-train模型是不动的，动的只是参入的参数，眼睛、一幅、装饰。
2023-06-20 15:06:14
6100
原创 P-Tuning v2: 与微调性能相等的提示性优化
提示微调，只用一个冻结的语言模型来微调连续的提示，大大减少了训练时每个任务的存储和内存使用。然而，在NLU的背景下，先前的工作显示，提示微调对于正常大小的预训练模型来说表现并不理想。我们还发现，现有的提示微调方法不能处理困难的序列标注任务，表明缺乏普遍性。我们提出了一个新的经验发现，适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配，而只有0.1%-3%的微调参数。
2023-06-20 12:17:58
481
原创 [译] DeepSpeed：所有人都能用的超大规模模型训练工具
我们于今年 2 月份。这是一个开源深度学习训练优化库，其中包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员开发了图灵自然语言生成模型()，其在发表时为世界上最大的语言模型（拥有 170 亿参数），并有着最佳的精度。我们在 5 月份——支持有着 2000 亿参数的模型训练，与最新技术相比，训练速度可达 10 倍——以及一系列计算、IO 和收敛优化功能，从而助力最快速的 BERT 训练。
2023-06-20 12:14:01
1145
WPBakery-Page-Builder-v6.6.0.zip
2021-04-28
2018-2019中国开发者调查报告
2019-03-15
华为adb手机驱动工具 官方版
2017-02-04
po,mo互转工具
2016-03-14
市场需求文档(MRD)写作方法与技巧(上)
2015-06-01
文档管理---Minidx
2007-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人