- 博客(281)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 本地部署Llama3-8B并进行弱智吧问题测试
当地时间4月18日，Meta开源了Llama3大模型，目前开源版本为8B和70B。Llama 3模型相比Llama 2具有重大飞跃，并在8B和70B参数尺度上建立了LLM模型的新技术。由于预训练和后训练的改进，Llama3模型是目前在8B和70B参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使Llama 3更具可操控性。
2024-04-19 09:49:43
1511
原创 使用Ollama加载微软开源WizardLM2-7B模型，并进行“弱智吧”问题测试
当然基于以上的测试，我们也可以有理由猜测WizardLM2训练语料可能并不包含“弱智吧”的内容，另外，WizardLM2的中文语境下的效果可能确实没有英文语境下表现得好。开发团队在发布模型之前忘记对其进行毒性测试，微软删除了WizardLM2所有相关模型，HuggingFace的WizardLM仓库已经清空。接下来，我们使用ollama来加载测试一下WizardLM2-7B模型，看看他是否有微软宣称的那么强大。首先声明，此项测试并不严谨，仅仅作为一项娱乐测试，不具有任何参考意义。
2024-04-17 17:44:49
531
原创 使用Java+Qwen+SearXNG构建本地AI搜索问答
，拓展大模型的网络搜索能力，但存在一个问题就是SerpAPI每月只能使用100次的免费调用。），调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索，可以实现完全免费、私人和本地运行的搜索聚合器。作为一个Java程序员，博主借鉴FreeAskInternet的思路，使用Java+Qwen+SearXNG构建了本地AI搜索问答，相比原来使用SerpAPI，使用上将不受限制。
2024-04-17 11:34:22
620
原创 微软开源 WizardLM-2，70B优于GPT4-0613，7B持平阿里最新的Qwen1.5-32B
当地时间4月15号，微软发布了新一代大语言模型 WizardLM-2，新家族包括三个尖端型号:WizardLM-2 8x22B, WizardLM-2 70B，和WizardLM-2 7B，作为下一代最先进的大型语言模型，它在复杂聊天、多语言、推理和代理方面的性能有所提高。
2024-04-16 14:11:38
1316
原创 FreeAskInternet：本地AI搜索引擎，一周收获6.4K Star
FreeAskInternet是一个完全免费，私人和本地运行的搜索聚合器和答案生成使用LLM，无需GPU。用户可以提出一个问题，系统通过搜索进行多引擎搜索，并将搜索结果合并到ChatGPT3.5 LLM中，根据搜索结果生成答案。所有进程在本地运行，不需要GPU或OpenAI或Google API密钥。
2024-04-12 16:06:04
330
原创 Google开源代码大模型CodeGemma-7B力压CodeLLaMa-13B
CodeGemma 以 Gemma 模型为基础，为社区带来了强大而轻量级的编码功能。该模型可分为专门处理代码补全和代码生成任务的 7B 预训练变体、用于代码聊天和指令跟随的 7B 指令调优变体、以及在本地计算机上运行快速代码补全的 2B 预训练变体。
2024-04-11 11:46:37
866
原创 挑战GPT4，开源大模型王者Llama3即将来袭
他的话语暗示着可能会有多次迭代或不同版本的发布。尽管现有报道仅确认 Llama 3 将同 Llama 2 一样集成代码生成能力，对于全面的多模态功能并未明确提及，然而，在官方发布的预告视频中，Meta 展示了将“人工智能”与“元宇宙”深度结合的愿景。去年七月，Meta 进一步推出了性能更为强劲的 Llama 2 版本，并在此基础上实现了开源协议的重大转折，由“仅限研究使用”升级至“完全免费商用”，尽管这一举措导致市场上出现大量基于 Llama 内核的衍生模型，但无疑重塑了大型语言模型行业的整体格局。
2024-04-10 10:43:42
337
原创 一篇文章读懂大模型Function_call和Agent的联系与区别
function_call通常指的是模型调用特定函数的能力，这些函数可以是内置的，也可以是用户自定义的。在执行任务时，模型可能会通过分析问题来决定何时以及如何调用这些函数。例如，一个语言模型在回答数学问题时，可能会使用内部的计算函数来得出答案。function_call机制允许模型利用外部工具或内部功能来增强其处理特定任务的能力。
2024-04-09 17:14:48
419
原创 阿里开源Qwen-1.5-32B模型，性能超Mixtral MoE
开源社区长期以来一直在寻求一种能在性能、效率和内存占用之间达到理想平衡的模型。尽管出现了诸如Qwen1.5-72B和DBRX这样的SOTA模型，但这些模型持续面临诸如内存消耗巨大、推理速度缓慢以及显著的微调成本等问题。当前，参数量约30B的模型往往在这方面被看好，得到很多用户的青睐。顺应这一趋势，阿里推出Qwen1.5语言模型系列的最新成员：Qwen1.5-32B和Qwen1.5-32B-Chat。
2024-04-08 15:32:32
705
原创 使用Java拓展本地开源大模型的网络搜索问答能力
开源大模型通常不具备最新语料的问答能力。因此需要外部插件的拓展，目前主流的langChain框架已经集成了网络搜索的能力。但是作为一个倔强的Java程序员，还是想要用Java去实现。可以选择Free Plan，提供每月100次的免费使用。接下来就是使用自己的邮箱和手机号进行注册。Serpapi 提供了多种搜索引擎的搜索API接口。
2024-04-03 13:42:02
802
原创 微软开源的面向初学者的生成式人工智能课程
微软开源了一套面向初学者的生成人工智能课程，旨在通过18节课教我们开始构建生成式AI应用程序所需知道的一切。
2024-04-02 09:21:19
206
原创 AI程序员Devin的开源替代品-Devika
Devika是一名高级人工智能软件工程师，可以理解人类的高级指令，将它们分解成步骤，研究相关信息，并编写代码来实现给定的目标。Devika利用大型语言模型、规划和推理算法以及网页浏览能力来智能地开发软件。Devika的目标是通过提供一个人工智能结对程序员来彻底改变我们构建软件的方式，他可以在最少的人工指导下完成复杂的编码任务。无论您是需要创建新功能，修复错误，还是从头开始开发整个项目，Devika都可以为您提供帮助。Devika是模仿Devin设计的，旨在成为Devin的开源替代品。
2024-04-01 09:51:42
1246
原创 阿里通义千问Qwen1.5开源MoE模型
此外，相比Qwen1.5-7B，Qwen1.5-MoE-A2.7B的训练成本降低了75%，推理速度则提升了1.74倍。在这个比较分析中，阿里将Qwen1.5-MoE-A2.7B与最好的7B模型，比如Mistral-7B（base模型为v0.1，chat模型为v0.2）、Gemma-7B以及Qwen1.5-7B进行了对比。如果要使用量化模型，只需将模型名称Qwen1.5-MoE-A2.7B-Chat替换为Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4（暂时不支持AWQ）。
2024-03-29 08:40:19
984
原创 借鉴LangChain思想使用Java实现大模型Function_Call工具开发及调用功能
虽然，使用以上框架实现了自定义工具，但是调用工具时，均需要依赖于python环境和以上框架，觉得还是有一定的限制。再加上，博主之前的基于大模型的所有功能（本地知识库、Text2SQL等）均是使用Java调用OpenAI接口实现，没有使用类似langChain这样的python框架。作为倔强的Java程序员，还是想用Java去实现自定义工具。博主之前研究的是ChatGLM3模型，该模型提供了Openai方式调用工具的代码。但后续转到Qwen1.5模型后，好像不可以直接用Openai接口的方式调用工具了。
2024-03-28 10:18:14
776
原创 Ollama部署马斯克Grok-1模型
并且在Hugging Face上有大佬放出了Grok-1的非官方GGUF量化模型。在ollama官网，有大佬也已经上传了Grok-1模型。近日llama.cpp添加了对grok-1模型的支持。
2024-03-26 11:25:06
436
1
原创 Xorbits Inference比Ollama更强大的模型部署与推理框架
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
2024-03-26 09:21:14
977
原创 预训练大语言模型研究资料整理分享
关注公众号，发送关键字“大模型资料”获取1、大规模语言模型-从理论到实践【复旦大学】2、大规模预训练语言模型方法与实践【崔一鸣】3、大语言模型综述4、行业大模型标准体系及能力架构研究报告
2024-03-25 14:55:46
328
原创 Open WebUI大模型对话平台-适配Ollama
Open WebUI是一种可扩展、功能丰富、用户友好的大模型对话平台，旨在完全离线运行。它支持各种LLM运行程序，包括与Ollama和Openai兼容的API。
2024-03-25 10:55:41
1475
原创 Prompt提示词工程构建指南
这有助于理解为什么要执行这个任务，以及它与更广泛的目标或项目的关系。Role (角色) ：指定负责执行任务的个体或团队的角色或职责。OutputFormat（输出）：指定任务完成后的结果应该呈现的格式或样式，例如报告、演示文稿或数据表。Suggestions（建议）：提供有关如何改进或最优化任务执行的建议。Constrains（限制）：说明在执行任务过程中可能遇到的限制或挑战，如时间、预算或资源的限制。Profile（轮廓）：描述执行任务的个体或团队的特征，可能包括经验、技能或其他相关特质。
2024-03-08 17:40:28
912
原创 LangChain自定义工具Tool
SYSTEM_MESSAGE_PREFIX = """尽可能用中文回答以下问题。您可以使用以下工具"""# 初始化大模型实例，可以是本地部署的，也可是是ChatGPTdescription = "当查询手机号的归属地时，使用这个工具"# 初始化工具# 初始化对话存储，保存上下文# 配置agentsystem_message=SYSTEM_MESSAGE_PREFIX, # 指定提示词前缀verbose=True # 是否打印调试日志，方便查看每个环节执行情况。
2024-03-07 16:09:33
531
原创 Qwen-Agent自定义Tool
description = '手机号归属地查询服务，输入手机号，返回该手机号的归属地。'description': '输入的手机号',}]
2024-03-07 10:52:58
1025
原创 Ollama内网离线部署大模型
1、创建一个名为 Modelfile 的文件，并使用 FROM 指令，填写的模型的本地文件路径。访问huggingface下载qwen1_5-0_5b-chat-q5_k_m.gguf模型。2、在Ollama中创建模型。
2024-03-06 11:45:33
3259
13
原创 GGUF模型的不同量化模式说明
在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。q6_k：将Q8_K用于所有张量。q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
2024-03-06 11:15:13
1302
原创 Linux系统CPU模式部署Qwen1.5-14B
Qwen1.5已适配Ollama。Ollama 是一个命令行聊天机器人，它使得几乎可以在任何地方使用大型语言模型变得简单。
2024-03-04 16:49:48
631
原创 Qwen-VL本地化部署及微调实践
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
2024-02-23 11:59:17
2063
3
原创 利用ChatGLM3构建Prompt实现Text2SQL
将自然语言文本（Text）转换成结构化查询语言 SQL，帮助用户快速生成想要查询的 SQL 语句；或者是用户输入一段话，然后系统完成一系列自动化查询和报表展示的操作，过自然语言描述完成复杂数据库的查询工作，得到想要的结果。
2024-01-04 10:02:14
3192
原创 使用ChatGLM3自定义工具实现大模型查询MySQL数据库
大模型虽然强大，但是由于训练的时间和语料限制。只能获取训练数据集中有的事件和内容，这意味着大模型不具备访问最新资料的能力。ChatGLM3-6B模型以通用语料训练为主，因此，缺少专业领域的知识。ChatGLM3-6B体量较小，虽然拥有较强的数学，英语等能力，但仍然无法与GPT4等大模型进行抗衡，因此，会出现数学计算不准确等问题。简而言之，就是给大模型加上“四肢“，让大模型学会使用工具，很多问题将迎刃而解。
2023-12-28 15:53:56
2204
原创 使用LLaMA-Factory微调ChatGLM3
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
2023-12-25 16:52:35
4240
2
原创 微软Autogen框架加载本地ChatGLM2-6B&ChatGLM3-6B
（1）使用Fastchat框架搭建运行ChatGLM2-6b模型openai兼容API。需要分别启动控制器、模型执行器和API服务。（3）测试AutoGen。
2023-12-14 18:11:13
1133
原创 ChatGLM2-6B微调实践-QLora方案
chatGLM_6B_QLoRA.json文件为所有transformers框架支持的TrainingArguments，可根据实际情况自行修改。使用的项目目前使用的peft为dev的版本，在合并lora model和base model时，会报错。原因是训练的步数太少，连保存checkpoint的step都没有达到。修改model_name_or_path参数为本地真实的模型路径。合并微调的Lora model和基座base model。适当调整chatGLM_6B_QLoRA.json中的配置。
2023-10-10 12:00:20
1953
2
原创 ChatGLM2-6B微调实践-P-Tuning方案
准备我们自己的数据集，分别生成训练文件和测试文件这两个文件，放在目录 ChatGLM2-6B/ptuning/myDataset/ 下面。执行web_demo.sh，访问http://xxx.xxx.xxx.xxx:7860。加载模型，需要从网上下载模型的7个分片文件，总共大约10几个G大小，可提前下载。如提示找不到conda命令，需配置Anaconda环境变量。训练集文件： train_file.json。测试集文件： val_file.json。根据提示一路安装即可。
2023-10-08 14:18:54
1497
2
原创 CentOS7启动进入紧急模式
系统安装好之后，手动将/home目录合并到了根目录。系统启动时会尝试加载/home挂载点，但是/home挂载点已经没有了。2、注释掉#/dev/mapper/centos-home /home xfs default 0 0。1、编辑fstab文件夹vi /etc/fstab。3、reboot重启即可。
2023-10-07 09:59:47
858
原创 docker部署neo4j
拉取镜像docker pull neo4j:3.5.35-community查看镜像[root@localhost data]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEneo4j 3.5.35-community 3548ff943256 13 months ago 446MB创建容器并运行docker run -d --name neo4j_
2023-09-19 15:13:44
505
原创 CentOS7安全配置
找到【Port 22】 ，删除注释符号【#】，将22改为要设置的目的端口，如9999，然后保存文件并退出。2、创建记录登录失败次数的文件。3、添加定时 10分钟执行一次。2、防火墙开放当前设置的端口。3、开放ssh使用的端口。
2023-09-18 10:24:40
357
原创 Linux系统用户密码过期_禁用过期策略
这个命令将禁用该用户的密码过期。其中，-m 0表示密码更改的最短天数为0，-M 99999表示密码更改的最长天数为99999，-I -1表示密码过期后不锁定用户账户，-E -1表示密码过期后不会立即禁用用户账户。使用Chage命令可以检查用户密码更改策略和过期信息。
2023-09-13 10:59:18
602
原创 M3E&ChatGLM向量化构建本地知识库
向量数据库是一种特殊类型的数据库，它用于存储和处理向量数据。向量数据库的主要特点是能够高效地执行向量空间中的搜索和比较操作，比如最近邻搜索（nearest neighbor search）。向量数据库在许多领域都有应用，包括机器学习、人工智能、计算机视觉和自然语言处理等。M3E Models ：Moka（北京希瑞亚斯科技）开源的系列文本嵌入模型。
2023-09-07 16:49:58
6005
1
原创 本地化部署ChatGLM2-6B模型
ChatGLM是清华大学开源的方案，中文效果还是很不错的。基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
2023-08-28 14:11:47
793
原创 解决docker容器无法访问的问题
1、Linux内核和docker版本不匹配的问题，需要重启服务器所以没有试，服务器上好多程序，不能重启；今天本想着在服务器上部署内部使用的chatGPT应用，然后在服务器上部署了v2ray科学上网。v2ray部署之后，原来服务器上的docker容器均无法访问了。一顿操作，最后证明果然是docker0网卡的问题。添加：net.ipv4.ip_forward=1。docker容器重启多次均无法访问！docker服务重启也无济于事！图片上并不能看出来是不是有问题。服务器网卡重启也不行！
2023-03-29 17:34:03
5182
3
原创 Springboot打成JAR包后读取配置文件
2、位置的优先级：config>./>classpath，也就是jar包同级目录config文件夹优先级最高，其次是jar包同级路径，最后是classpath，在classpath中同样也是config路径的优先级大于同级路径；5、application-default.yml > /config/application.properties，default的优先级是大于config目录的。（1）在项目名.jar同级目录，创建一个config文件夹，把application.properties放进去。
2023-01-16 10:50:50
2452
apache-hive-2.3.5-bin.tar.gz
2020-06-23
tg-jdbc-driver-1.2.jar
2020-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人