- 博客(55)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 【知识图谱】知识图谱的本质是什么？
知识图谱是一种结构化的语义知识库，能够描述物理世界的实体、概念及其相互关系，本质是用于表示知识，给机器提供先验知识。换句话说，还有其它用于知识表示的方法，知识图谱只是其中的一种。知识是经过剪裁、塑造、解释、选择和转换了的信息如：“奥巴马是美国的前总统”，对机器而言就是一句话，不知道在讲什么；处理一下，如变成三元组：（美国，前总统，奥巴马），这就是一条知识了。这个转换的过程，就是知识表示将人类知识形式化或者模型化的过程就是知识表示。知识表示是将信息抽取成知识，用于给机器提供先验知识。
2022-10-01 21:52:39
5635
2
原创 【flask】适合生产环境的高并发部署方案（gunicorn + gevent + supervisor）
历时两天，构建了基于python的微服务环境，该方案可用于生产环境，再搭配一个Nginx进行反向代理和负债均衡，可满足高并发需求。技术方案为：python + Flask + gunicorn + gevent + supervisor + Docker。
2022-08-14 19:49:54
6191
原创 【小笔记】用tsai库实现Rocket家族算法
项目：https://github.com/timeseriesAI/tsai简介：用于处理时间序列的工具库，包含TCN、Rockert等众多时间序列处理算法。
2024-01-17 08:00:00
628
2
原创 ChatGLM3-6B的本地api调用
content”: “从前，在一个遥远的国度里，有一个美丽的村庄。有一天，一位智者来到了村子的广场，他跟村民们分享了这样一个故事：\n\n从前，有一片荒芜的土地，上面长满了各种美丽的花草。有一天，一只小鸟飞过来，告诉村子里的居民们，这片土地是一个魔法之地，只要每个人都在广场上许下一个美好的愿望，魔法”,可以看到，ChatGLM3-6B的默认调用接口和传递参数，及返回结果的参数与chatGLM2-6B的API有非常大的区别，并不兼容，需要有较大的修改。注意是POST方法！
2024-01-10 08:30:00
4338
6
原创 20分钟本地部署ChatGLM3-6B
和chatglm2相比，输出的结果似乎没有明显的改变，当最大的一个区别在于，chatglm2-6B有专门的int4版本，而chatglm3-gb取消了这个版本，在代码中可以直接指定量化版本。访问改地址即可进行对话：http://localhost:8501/email的地方直接回车，后面就会加载模型了。注意：chatglm3-6B约11G大小。
2023-12-13 11:00:41
2165
2
原创 【小笔记】为什么语义相似度要用余弦相似度而不用欧式距离？
它计算的是两个向量夹角的cos值，只关注向量的方向，不考虑向量的绝对大小（因为不管长短，都会除以模变成单位向量），这也是它的缺点。一个只关注距离，一个只关注方向，为什么NLP就选择了余弦相似度呢？它计算的是高维空间中两个点之间的绝对距离，不考虑向量的方向性。
2023-10-19 20:45:24
471
原创 【知识图谱】KBQA核心架构小结
KBQA是指基于知识图谱的问答系统，是知识图谱的重要应用形式，基于知识图谱的问答和基于LLM的问答殊途同归。KBQA是一个系统，由多种功能模块组成，其核心架构梳理如下：下面对各个模块简单小结。
2023-10-16 19:25:55
250
原创 【小笔记】从算法训练现象分析可能的参数设置问题-loss分析篇
【学而不思则罔，思而不学则殆】9.30首先给出一个理想的训练loss收敛图片：loss平滑的下降，并逐渐收敛到0.平滑说明学习率设置较合适，收敛到0说明模型在参数空间中收敛到一个很理想的区域。
2023-09-30 13:25:00
221
原创 【小笔记】fasttext文本分类问题分析
【学而不思则罔，思维不学则怠】2023.9.28关于fasttext的原理及实战文章很多，我也尝试在自己的任务中进行使用，是一个典型的短文本分类任务，对知识图谱抽取的实体进行校验，判断实体类别是否正确，我构建了27000个样本，3种类别（A，B，C），经过调参，最好的F1只有0.61，感觉这就是它的天花板了，在网上看到很多人在自己的场景中都能达到0.8、0.9之类的，我就在想，为什么我这个提不上去。
2023-09-28 21:14:32
365
原创 【小笔记】面对一个没搞过的任务，如何选择合适的算法模型？
确定要解决的问题是一个什么类型，在算法中有没有一个专业的任务名定义它，确定了问题类型就明确了问题解决方向。有时候我们要解决的问题可能有多种解决问题的角度，此时可能就会对应多个任务类型。举例：实体抽取是知识图谱中的一个任务，可以将其视为序列标注任务，也可以将其视为一个阅读理解任务。有时候待解决的问题可以作为一个复杂的任务，也可以拆分为多个子任务举例：实体抽取即可以作为一个完整的任务，也可以拆分为实体边界识别和实体类别分类两个子任务；
2023-09-28 11:19:35
91
原创 【python】编译whl
执行完毕之后会在当前文件夹下生成一个同名的whl压缩文件。kenlm-0.2.0.tar.gz解压到D盘；kenlm-0.2.0.tar.gz解压到D盘；（这招学会了，就不用再花积分下载了）
2023-08-21 20:52:29
792
原创 【小笔记】anaconda离线创建环境
1.创建新的conda环境，避免把原有的环境给搞坏。在CMD中执行，而不是在anaconda的命令行中执行：conda create -n 环境名 --offline python=3.82.在pycharm中配置conda环境：setting->Project Interpreter->齿轮->add->conda 环境->已存在的->新环境下的python.exe3.安装工程的requirement.txtpip install -r requiremen
2023-02-28 15:01:40
1070
1
原创 【疑难杂症】allennlp安装报错：Installing build dependencies ... error
因为allennlp是基于pytorch的NLP库，所以allennlp的版本会受pytorch的版本影响，若是直接pip install allennlp，则可能会安装新的pytorch版本。最后，给一个基于pytorch1.7.1的配套方案，若你也是这个版本，则可以直接按这个配套方案安装，若是不，则参考上面的实验找到合适的allennlp版本。而官方没有给出一个配套的建议，我的方法是实验，首先从一个稍微低一点并接近0.9.0的版本开始，而transformer通常不会导致问题。1.2.0， 顺利安装。
2023-01-29 12:47:59
4045
原创 【知识图谱】实体抽取及算法选择
1.英文通常以单词为单位，中文以字为单位；2.目前SOTA级别的模型：BERT+CRF3.基于实体词典和深度学习方法的区别？实体词典很好用，每在词典中增加一个词条都能立竿见影的增加可以识别的实体。但此方法最大的问题在于：一，词典的扩充是一个比较费时费力的事情；二，未登录词OOV无法识别；三，无法识别多义词，如苹果。深度学习方法，如BERT+CRF能处理多义词的问题，通过一个词的上下文来确定其语义。但OOV的问题仍无法解决。数据标注也是一件比较麻烦的事情。
2022-12-26 22:28:41
565
原创 【Python】同一网络下，手机和电脑进行socket通信
最近在学python网络编程，发现socket可以进行跨主机的进程通信，于是尝试用电脑作为服务端，手机作为客户端，来进行socket通信。
2022-12-16 06:00:00
2131
原创 【Pandas】优化读取文件内存占用过大的问题
pandas读取文件占用内存多主要是没有准确识别每一列的数据类型，采用了object进行存储，所有的优化办法都是围绕数据类型转换进行的：一是在读取时指定最佳的数据类型，二是在读取后进行数据转换；更进一步的的优化操作有：（1）将数值向下转换为更高效的类型；（2）将字符串列转换为categorical类型。
2022-11-06 13:32:20
3042
原创 【疑难杂症】OSError：［Errno 14］Bad address
问题背景：我是在预生产环境部署算法模型时遇到了这个问题，最重要的是，相同的代码和环境（用的容器）在开发环境中，没有出现任何问题，但当部署到预生产中就报错了，网上一查，解决办法寥寥无几。所以我解决了，准备记录一下，供来者参考。原因：内存不够。当程序所需要的内存超出了限定范围时，则会报此错误。在我的问题中，是因为开发环境中没有资源限制，而预生产环境中进行了内存限制，导致加载预训练的模型时，内存不够。解决办法：1.增加可供程序使用的内存；2.优化程序，减少内存消耗。
2022-10-26 19:59:21
1206
原创 【flask】算法部署：只加载一次模型，减少每次接口响应时间
模型部署每次调用模型进行预测时，都会加载一次模型，这个过程是比较占资源的，换言之，很耗时。每次访问时，都无需再加载模型，模型相当于一个全局变量
2022-09-17 20:54:45
2774
5
原创 【NLP】中文NLP常见任务及工具
这个表随着对工具的认识增加，持续更新，✔表示某工具支持某任务工具中文分词词性标注句法分析分本分类文本纠错实体抽取关系抽取情感分类备注Jieba✔✔适合中文分词LAC✔✔✔Spacy✔综合性工具✔文本纠错工具xmnlp✔✔✔✔综合性工具。
2022-09-15 08:12:46
1002
2
原创 【Sklearn】3种模型保存的文件格式及调用方法
Sklearn保存和调用模型的三种方式方式一：保存为python支持的pickle格式import picklefrom sklearn.svm import SVCfrom sklearn import datasets# 定义分类器svm = SVC()# 加载iris数据集iris = datasets.load_iris()# 读取特征X = iris.data# 读取分类标签y = iris.target# 训练模型svm.fit(X, y)# 保存成pyth
2022-02-12 18:32:58
4757
1
原创 【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口
问题：在虚拟机启动hadoop集群后，在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。问题排查：首先在windows里ping一下是否能通：若不能ping通，试一下ping IP地址，这里master的IP地址为192.168.128.130.若IP地址能ping通，则试一下在浏览器中将master换成IP地址访问一下：如果能利用IP访问，那么可以在Windows里面C:\Windows\System32\drive
2021-08-26 20:21:53
41625
12
原创 【hadoop】碎片知识点
HDFS文件块在集群中均匀分布时，HDFS工作状态最佳。默认的，Hadoop会保存3个复本，第一保存在运行客户端的节点，第二个和第三个保存在另一个机架上的两个随机节点。Mapreducemap任务处理本地数据时，性能最佳...
2021-08-18 17:25:45
206
原创 【工具】Pycharm：连接Mysql失败的简单解决
以前都是Pycharm中连接和写入数据库，在Mysql Workbench里面查看数据是否写入成功，倒也没觉得有什么问题。今天突然看到，在Pycharm中还可以直接查看Mysql的数据！！！类似于这样：Pycharm连接Mysql的教程，请查看：https://www.cnblogs.com/QiKa/p/14225469.html按照教程来，没想到最后测试连接，竟然失败了。我很确信自己的MYSQL处于正常状态，相关的服务也是开启了的，user和密码都是正确的，正常打开Mysql Workbe
2021-03-12 16:56:00
4710
原创 【小笔记】算法训练时batch size设置多大合适？
梯度下降法通常分为三类：（1）批量梯度下降法：每次训练输入全部数据，能够考虑全部样本的梯度，获取到准确的梯度，但比较耗时，并且输入全部数据，可能内存或GPU装不下；（2）随机梯度下降法：每次随机选择一个样本进行训练，使用一个样本的梯度进行下降。比（1）快很多，也不占内存，但可能不会收敛；（3）mini-batch梯度下降法：为了每次训练尽可能的多输入一些样本，同时又不会太耗时和超内存，mini-batch将训练样本分为多个批次，一个一个的输入，最后将多个输入的结果进行平均，即得到一次完整训练的梯度。
2021-03-04 10:24:41
8795
2
原创 【Scrapy】一篇完成入门与实战
Scrapy是python环境下的一个爬虫框架，相比Beautiful和requests，其效率更高。1.Scrapy的入门教程（推荐）：https://www.jianshu.com/p/43029ea38251（Scrapy的安装和基本使用）这篇照着学完，对scrapy能有一个初步感觉。其它的可以在实战过程中继续深入了解，包括但不限于：Xpath和CSS的语法：参考1：https://www.cnblogs.com/youxin/p/4041917.html（介绍/ 、//、 @的区别）
2021-02-26 15:54:35
619
原创 【Scrapy】301、302重定向问题原因及解决办法
Scrapy的301、302重定向问题原因及解决办法根据 HTTP标准 ，返回值为200-300之间的值为成功的response。Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败。eg：2019-02-13 17:18:32 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:60232019-02-13 17:18:33 [scrapy.downloaderm
2021-02-26 15:49:19
6686
3
原创 【推荐系统】从协同过滤到深度学习
本文基于《深度学习推荐系统》的模型总结，从协同过滤和逻辑回归的演变大方向来整理。目录1.CF——*只利用交互信息*2. LR——*多特征融合*3.MF——*引入用户、物品隐变量*4.AutoRec——*结合自编码器*5.NeuralCF——*结合深度学习*6. POLY2——*增加二阶特征*7.FM——*引入特征隐变量*8.FFM——*引入特征域*9.GBDT&LR——*开启特征工程自动化趋势*10.wide&deep——*开启双模型思路*11.Deep&Cross——*用cros
2021-02-22 20:32:47
1074
原创 【工具】在任意文件夹位置打开Anaconda的Jupyter Notebook
老是使用Jupyter Notebook的默认位置很不方便，网上查了一下可以在任意位置位置打开，照着操作的过程中还是出现了一点小问题。说明一下：我使用的是Anaconda自带的Jupyter Notebook，顺利的操作如下：1.打开Anaconda自带的命令窗口：2.在窗口内执行指定文件夹命令：可能遇到的问题及解决办法：问题1：‘jupyter’ 不是内部或外部命令，也不是可运行的程序原因：没有将Jupyter的路径加入环境变量解决办法：根据你的Anaconda的快捷方式，找到Anaco
2021-02-05 12:10:21
4601
原创 【tensorflow】为什么CUDA装好了，Tensorflow-GPU不能用？
为什么CUDA装好了，Tensorflow-GPU不能用？当我们把CUDA、cudnn、tensorflow-GPU都装好，但在tensorflow GPU测试tf.test.is_gpu_avaiable()却始终返回false，怎么办？import tensorflow as tftf.test.is_gpu_available()FALSE可能的原因如下：————————————————————————————————1，CUDA、cudnn、Tensorflow、python版本并不
2021-01-14 11:28:23
40118
9
原创 【tensorflow】V1和V2不兼容，导致的常见问题及解决办法
Tensorflow版本不同导致的问题及解决办法tf2中删除或者改变了tf1的中很多函数接口，若是在tf2的环境中中用了tf1的代码，则会报很多错。两个解决办法一是换回tf1.x版本，eg：pip install tensorflow==1.4.0二是讲tf1的代码改为tf2可以运行的：将使用了tf1代码中的import tensorflow as tf更改为：import tensorflow.compat.v1 as tftf.disable_v2_behavior()这个替
2021-01-12 18:43:15
6989
原创 【自动驾驶】《无人驾驶原理与实践》源码教程（二）——NDT算法实例
教程基于《无人驾驶原理与实践》3.3.4，请结合此书学习。教程源码下载：解压后，此教程文件结构如下：build文件夹：说明：1.cloud1.pcd和cloud2.pcd为用于配准的点云文件，cloud3.pcd为保存配准后的点云图文件，最终将用于可视化。2.修改程序：原配置文件中的路径为：/home/adam/book_code/chapter_3/NDT_PCL_demo需要修改为自己的项目文件路径后才能cmake通过，eg：/home/tzx/book_code/chapter_3
2020-11-26 15:19:20
2090
6
无人驾驶原理与实践 源码_3.3.4_NDT算法实例.7z
2020-11-26
无人驾驶原理与实践 源码_2.6.4_基于Husky机器人的小案例.7z
2020-11-24
ST-emwin进阶笔记
2018-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人