- 博客(81)
- 收藏
- 关注
RSS订阅原创 情感分析实战(中文)-数据预处理篇
这里采用的是transformers来进行情感分类任务：https://github.com/huggingface/transformers。以上几个步骤通常是中文文本处理的主要流程，不同的任务可能会侧重其中的某些步骤。分别对应的是用户id，评分，内容，创建时间，分类。接着在上面数据处理完成之后，我们开始情感分类。
2023-06-12 16:58:59
1753
原创 情感分析实战(中文)-数据获取
如果是获取多页的内容的话，那么写一个for循环即可，然后把上面提到数字的那个地方进行修改就好了，这样就获取多页内容，具体的尾页的话，需要大家自己去该网站点击末尾然后查看信息即可，再把相应的数字进行修改。以上便是爬取马蜂窝的全部教程，这里再次申明一下，获取该网站的数据仅用于学术研究，不造成任何的商业行为，这里望各位注意素质，切勿对该网站的服务器造成攻击或者商业用途。数据是可以成功获取到了，只是这些数据有些乱接下来我们就要开始整理我们的数据内容了，让这些数据转换，方便我们后续的获取。这里采用的是正则公式。
2023-06-12 16:57:25
1318
原创 情感分析实战(中文)-聚类篇
聚类的结果呈现就如图所示，一般如果没有class那一列的时候，需要对该文本进行划分的时候，通过聚类就可以帮助我们有效的对文本进行划分类别，接着根据这些类别进行下一步分析内容，通过这些类别划分，我们可以去分析某一类，情感占比如何，用户反馈如何，他们发帖的频率等等做到一些我们需要的分析内容。PCA降维是一种常用的高维数据处理方法，对于聚类分析中的高维数据的处理，采用PCA降维可以更好地结构化和简化高维度的数据信息，获得更高效、更准确的聚类结果。轮廓系数是一种用于评估聚类质量的指标，用于衡量聚类后的聚类效果。
2023-06-12 16:52:55
1338
原创 情感分析实战(中文)-共现语义篇
在计算共现矩阵时，通常先定义一个大小为N的词表，将文本中出现的所有单词映射到词表中的位置，然后基于这个词表计算共现矩阵。遍历文本：然后遍历文本中的每一个子串，并将其中的单词对应的位置的元素加1。定义词表和矩阵：首先定义一个大小为N的词表，其中每个单词对应一个位置，然后定义一个大小为N×N的共现矩阵M，其中第i行第j列的元素表示第i个单词与第j个单词共同出现的次数。在中文NLP文本分析中，共现语义网络是一种常用的文本分析框架，它的目的是在文本中寻找单词的相互关联性，生成一个共同出现单词的图形网络。
2023-06-12 16:51:15
980
原创 情感分析实战(中文)-LDA主题建模分析
但值得注意的是，选择最佳主题数时应该基于完整的数据集进行评估，并在保证较小的困惑度和较高的一致性的同时，尽量减小主题数，以获取更好的可解释性和模型准确性。当我们使用LDA主题模型对文本进行聚类和主题建模时，得到的每个主题代表了一种语义主题或话题，并且包含了一组与该主题相关的单词，这些单词可以解释并描述该主题的含义。在实践中，对于LDA主题模型的选择，我们通常会使用不同的主题数，计算困惑度和一致性，并选择困惑度最小、一致性最高的主题数作为最佳模型参数，以获得更好的聚类效果和模型拟合度。
2023-06-12 16:49:04
834
原创 情感分析实战(英文)-数据预处理篇
以上是一般的英文文本数据清洗步骤，具体的清洗过程取决于数据集本身的特点和实际需求。需要注意的是，文本分析是一个复杂的任务，并且只有在为文本建立正确的清洗步骤并清洗好数据后才能得到准确的分析结果。这里采用的是transformers来进行情感分类任务：https://github.com/huggingface/transformers。再替换表情包，在数据中，会有很多表情包，有时候这些表情包容易影响文本的判断，只好去掉。
2023-06-12 16:45:17
689
原创 数据分析指标
RFM模型RFM模型是一种通过客户的R消费间隔（Recency）、F消费频率（Frequency）、M消费金额（Monetary）三项指标来衡量客户价值的手段。BDI和CDI指数BDI是指品牌发展指数计算公式 = 地区品牌发展 / 全国品牌发展 * 100CDI是指品类发展指数计算公式 = 地区品类发展 / 全国品类发展 * 100ROI模型ROI指的是投资而应返回的价值，也就是投资回报率计算公式 = (税前年利润 / 投资总额 ) * 100LTV模型LTV指的是生命周期价值 ，也
2022-03-09 16:53:00
726
原创 数据库常用语句命令
数据库的常用语句命令数据检索DESC products;#查询整个表格SELECT * from products;#查询一列或者多列SELECT prod_name,prod_price,prod_id FROM products;#限定返回行数SELECT * from products LIMIT 3;#分页功能SELECT * from products LIMIT 3,3;mysql高级数据过滤方法#找出供应商为1003的店铺 并且 价格小于等于10SELECT * f
2021-11-16 19:04:34
1541
原创 在window10上面配置内置Linux并且执行定时任务
在window10上面配置内置Linux并且执行定时任务目的之所以这样做主要是是因为几个原因：Windows的定时任务并不好用在Windows上面开虚拟机，占用资源较多，如果只是单纯为了一个定时任务的执行的话手上没有服务器，不想出钱买一个服务器，只有Windows系统的电脑第一步在Windows10开启内置Ubuntuwindows+x选n,打开设置 ->更新和安全 ->开发者选项打开控制面板 -> 程序和功能 -> 启用或关闭Windows功能确定，
2021-11-09 12:22:44
886
原创 数据库日常命令
常用命令查看整个数据库存在的数据库show databases;查看表的内容show tables;查看某个表中所存在的字段show columns from user;查看数据库是否运行状态怎么样show status;查看数据库当前用户的权限show grants;查看数据库是否有异常或者存在警告show errors / show waring;mysql的系统安全创建用户create user username identified by
2021-11-01 19:47:24
125
原创 知乎回答爬取
怎么爬取知乎的内容我们一步步来分析，首先打开知乎，来到我们要爬取的页面然后我们再来看看它的参数经过测试我们要填写对应的x-zse-96我们才能获取到对应的内容才行，并且每一个API对应的zse-96都不同，因此我们就需要去破解这个参数我们才能去获取对应的内容在这里就涉及到了js逆向思维了我们一步步来看首先先去查找对应的js的位置再进行分析判断点击search，然后把x-zse-96复制进去开始查找知道了思路，我们再来说说解法首先先说说MD5的解法得到了(l()(s)
2021-10-14 10:33:16
1501
原创 量化交易之平台搭建
该篇主要是是用来展示量化交易的效果，不构成任何投资建议，仅供参考搭建的环境: 系统 linux-centos7python环境： python3.7.4先安装好我们的库:cd demopip install -r requirements.txt -i https://pypi.douban.com/simple安装好之后开始配置环境首先先修改我们的代码 buy_funds.py首先要把这个地方替换成你的qq账户和邮箱以及授权码，授权码怎么开通，这里去百度搜索一下就好了，不过多
2021-10-01 20:30:07
7508
2
原创 量化交易之基金卖出
该篇主要是是用来展示量化交易的效果，不构成任何投资建议，仅供参考先说说思路该篇主要是展示基金如何选取适当的时间对其进行判断是否要买入注意以下所有内容仅供参考，不做任何投资建议，投资有风险，投资需谨慎首先第一步学会看图，这是由单位净值和5日线和20日线组成的图形我们整个项目的核心就是基于这个图来展开探索的，根据选取这些交叉点来进行判断，当蓝线在上，红线在下的时候就是我们需要操作的时候，由图可知，当蓝线在上，红线在下，这时就是一个可以操作的时间段，然后这一段的头是都是一个下滑趋势，所以就是我们
2021-10-01 17:09:07
11070
原创 量化交易之基金买入
该篇主要是是用来展示量化交易的效果，不构成任何投资建议，仅供参考先说说思路该篇主要是展示基金如何选取适当的时间对其进行判断是否要买入注意以下所有内容仅供参考，不做任何投资建议，投资有风险，投资需谨慎首先第一步学会看图，这是由单位净值和5日线和20日线组成的图形我们整个项目的核心就是基于这个图来展开探索的，根据选取这些交叉点来进行判断，当蓝线在上，红线在下的时候就是我们需要操作的时候，由图可知，当蓝线在上，红线在下，这时就是一个可以操作的时间段，然后这一段的头是都是一个下滑趋势，所以就是我们
2021-10-01 17:05:17
11569
原创 量化交易之数据获取篇
该篇主要是是用来展示量化交易的效果，不构成任何投资建议，仅供参考先说说思路该篇主要是教你怎么去获取数据，包括怎么去选取一支好的基金，怎么去获取基金往期的历史数据先说说怎么去选取一支好的基金吧个人认为如何判断一支好的基金有以下几个方面：该基金的年收益如何该基金是处于什么行业该基金的往期表现如何该基金的规模等等综合因素实战首先打开天天基金网，直接选取一年的基金，让它们收益从大到小开始排序，这样是最快速最方便我们去查找的然后去筛选，年收益大于等于50%就是符合我们心中理想的基金，然后再
2021-10-01 16:41:24
15099
原创 量化交易之开篇
该篇主要是是用来展示量化交易的效果，不构成任何投资建议，仅供参考先说说思路首先是先获取优质基金的代码，如何判断这一只基金是否优秀，各位根据自己心中的判断去选择获取到优质的基金代码之后，我们再去获取历史的单位净值，通过这些单位净值去算出它们的ma5和ma20的值，然后再把这些通过matplotlib把这些图画出来。再者去寻找这些线的交叉点，对这些交叉点是否是买入还是卖出让程序通过我们写好的代码去自动判断然后根据这个判断去发送到我们自己的邮箱上面，做到一个批量的功能，这样一来，就等于是让机器自动帮我
2021-10-01 14:45:25
12295
原创 算法DBSCAN-课堂笔记
DBSCAN算法基本概念核心对象：若某个点的密度达到算法设定的阈值则其为核心点（即R领域内点的数量不小于minPts）e-领域的的距离阈值：设定的半径r直达密度可达：若某点p在点q的r领域内，且q是核心点则p-q直达密度可达密度可达：若有一个点的序列q0,q1,…qk,对任意qi-qi-1是直接密度可达的，则称从q0到qk密度可达，这实际上是直接密度可达的“传播”DBSCAN算法的小结BSCAN算法的小结...
2021-08-23 15:29:25
9355
原创 今目标爬取策略
今目标爬取策略破解过程破解今目标有几个方面要注意的：要用模拟登陆的方式才可以进去今目标的网站从而获取想要的数据在破解的时候，遇到反扒策略，登陆密码用到了sha加密算法破解登陆之后我们要怎么获取相应的内容首先我们打开今目标的官网我们只能登录过后才能获取到我们想要的数据，这就涉及到模拟登陆的问题了我们还是按照老规矩一步步来分析先，先点击登录按钮，然后打开f12，去抓包看看，模拟登陆的样子打开之后首先是这样的，然后打开我们的f12，记得把这个也勾选上，不然有时候可能有一些包获取不了然
2021-08-23 15:28:59
9448
1
原创 在列表中正数和负数区分出来，并且对它们进行分列
怎么把一个列表中的正数和负数区分出来，并且让这些正数归为一组一组，负的归为一组一组有三种方法可以考虑一下最简单的方法，直接调用函数即可import itertoolslist1 = [1,1,1,1,1,1,1,1,1,1,-1,-1,-1,-1,-1,2,2,2,2,2,2,2]for i,g in itertools.groupby(list1,lambda x:x<0): print(list(g))第二种方法，这里是用while先对判断count是否小于列表的长度，然后
2021-08-23 14:21:03
10432
原创 数据挖掘与机器学习与深度学习的关联
数据挖掘，机器学习，深度学习的区别是什么？数据挖掘通常是从现有的数据中提取规律模式以及使用算法模型。核心目的是找到这些数据变量之间的关系，因此我们也会通过数据可视化对变量之间的关系进行呈现，用算法模型挖掘变量之间的关联关系，通常情况下，我们只能判断出变量A和变量B是有关系的，但并不一定清楚这两者之间的具体关系机器学习是人工智能的一部分，通过训练数据和算法模型让机器具有一定的智能。一般是通过已有的数据来学习知识，并通过各种算法模型形成一定的处理能力，比如说分类，聚类，预测，推荐能力等。然后通过这些训练好
2021-08-17 21:03:36
14529
1
原创 数据分析-随机森林，GridSearchCV，逻辑回归，混淆矩阵，时间序列分析
构建随机森林分类器随机森林它实际上是一个包含多个决策树的分类器，每一个子分类器都是一颗CART分类回归树，所以随机森林既可以做分类，又可以做回归。当它做分类的时候，输出的结果是每一个子分类器的分类结果中最多的那个。你可以理解是每一个分类器都做投票，取投票最多的那个结果。当它做回归的时候，输出结果是每棵CART树的回归结果的平均值GridSearchCV工具的使用在做好分类算法的时候，我们需要经常调节网络参数，目的是得到更好的分类结果，实际上一个分类算法有很多参数，取值范围也很广，这样我们该怎
2021-08-17 15:50:06
15598
1
原创 AdaBoost算法-课堂笔记
AdaBoost算法是属于分类算法中的集成算法集成算法通常有两种方式：投票选举和再学习投票选举的场景类似专家召集到会议室里面，当做一个决定的时候，让K个专家（K个模型）分别进行分类，然后选择出现次数最多的那个类作为最终的分类结果。再学习相对于把K个专家（K个分类器）进行加权融合，形成一个新的超级专家（强分类器），让这个超级专家做判断再学习是提升，它的作用是每一次训练的时候都对上一次的训练进行改进提升，在训练的过程中这K个“专家”之间是有依赖性的，当引入第K个“专家（第K个分类器）的时候，实际上是
2021-08-15 19:51:50
12084
原创 PageRank-课堂笔记
PageRank的简化模型举个例子：，假设有4个网页在开始之前有两个重要概念需要了解一下：出链指的是链接出去的链接。入链指的是链接进来的链接。比如是图中有两个是入链，3个出链一个网页的影响力 = 所有入链集合的页面的加权影响力之和，用公式表示：在上面的例子中可以看到，A有三个出链分别链接到了B,C,D上。在访问A的时候，就有跳到B,C或者D的可能性为1/3B有两个出链，链接到A和D上，跳转的概率为1/2从这里可以看出，A页面相比其他页面的权重更大，也就是PR值更高，而B,C,
2021-08-11 17:07:25
12789
原创 apriori-课堂笔记
Apriori的重要概念Apriori的几个重要概念：支持度、置信度、提升度什么是支持度支持度是个百分比，它指的是某个商品组合出现的次数与总次数之间的比例。支持度越高，代表这个组合出现的频率越大举个例子，商品列表：在这个例子中，牛奶出现了4次，所以这5笔订单中，牛奶的支持度为 4/5 = 0.8同样“牛奶＋面包”出现了3次，所以这5笔订单中，牛奶+面包的支持度为 3/5 =0.6什么是置信度它指的是当你购买了商品A，会有多大的概率购买商品B就拿上面那个例子来说置信度（牛奶-啤酒） =
2021-08-11 17:06:55
13752
原创 EM聚类-课堂笔记
EM聚类也被叫成最大期望算法具体的实现步骤主要为三步：初始化参数观察预期重新估计EM算法的工作原理假设一个例子EM聚类的工作原理就是把潜在类别当做隐藏变量，样本看做观察值，就可以把聚类问题转化为参数估计问题。这也就是EM聚类的原理相比于K-means算法，EM聚类更加灵活，因为K-means是通过距离来区分样本之间的差别的，且每个样本在计算的时候只能属于一个分类，称之为硬聚类算法，而EM聚类在求解的过程中，实际上每个样本都有一定的概率和每个聚类相关，叫做软聚类算法EM算法可
2021-08-08 20:11:26
14342
原创 k-means-课堂笔记
什么是K-means？K-means是一种非监督学习，解决的是聚类的问题。K代表的是K类，means代表的是中心，一般K-means主要的是思路分三步走：如何确定K类的中心点如何将其他点划分到K类中如何区分K-means与KNN？K-means的工作原理选取K个点作为初始的类的中心，这些点一般都是从数据集随机抽取的将每个点分配到最近的类中心点，这样就形成了K个类，然后重新计算每个类的中心点重复第二步，直到类不发生变化，或者你也可以设置最大迭代次数，这样即使类中心点发生变化，但是只要达
2021-08-08 20:10:53
13820
原创 KNN的基础知识-课堂笔记
KNN的工作原理通俗易懂的来说就是“近朱者赤近墨者黑”，就是计算出哪些是一类的，将它们区分出来计算的过程分三步走：计算待分类物体与其他物体之间的距离统计距离最近的K个邻居对于K个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类K值如何选择1、如果K值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样KNN分类就会产生过拟合2、如果K值比较大，相当于距离过远的点也会对未知物体的分类产生影响，虽然这种
2021-08-08 20:10:22
13923
原创 SVM算法-课堂笔记
什么是SVM说白了SVM就是一个分类器，红球和篮球就是我们的类别，而SVM就是这条黑色的线，把这些物体给划分出来SVM的工作原理SVM有一个特有的概念：分类间隔在保证决策面不变，且分类不产生错误的情况下，我们可以移动决策面C，直到产生两个极限的位置：如图中的决策面A和决策面B。极限的位置是指，如果越过了这个位置，就会生产分类错误。这样的话，两个极限位置A和B直接的分界线C就是最优决策面。极限位置到最优决策面C之间的距离就是“分类间隔”，英文叫margin。如果我们转动这个最优决策面，你会发现可能
2021-08-08 20:09:50
13806
原创 smtplib.SMTPConnectError: (554, b‘Local Policy Violation‘)
smtplib.SMTPConnectError: (554, b’Local Policy Violation’)当python用SMTP来发送邮件出现554这个错误的时候，我们该怎么办首先这个问题是权限问题，你用来发送邮件的这个服务器，不在接收服务器的白名单里面，使得发送邮件一直被拒绝访问，视作垃圾邮件。这样因为一些客户的环境就使得我们很难受了，那面对这种问题我们要怎么解决，首先我们要确定接收邮件的服务器的白名单的IP地址是多少。因为只有确认这一步才开始下面的步骤，不然就无法运行确定好白名单的ip
2021-08-05 16:10:50
16400
原创 朴素贝叶斯-课堂笔记
贝叶斯的原理贝叶斯的原理就是基于一个逆向概率展开的在这个原理中，涉及了4个概念先验概率先验概率就是通过以往的经验来判断事情发生的概率后验概率后验概率就是发生结果之后，推测原因的概率条件概率条件概率就是事件A在另外一个事件B已经发生条件下的发生概率，表示为P（A|B），读作“在B发生的条件下A发生的概率”似然函数似然函数就是把概率模型的训练过程理解为参数估计的过程，举个例子，如果一个硬币在10次抛落中正面均朝上。那么你肯定在想，这个硬币是均匀的可能性是多少？这里硬币均匀就是个参数，似然函数
2021-08-02 09:16:53
13783
原创 爬取天天基金网，做到科学合理定投
怎么科学合理的定投基金，使得自己的收益最高在基金里面有一个定投的功能，可以选定日期让系统自动帮你在这个时间点自动购买基金，这样可以帮助我们节省大量的时间，非常适合我这种懒人或者没什么时间但是又想去理财的人，但是这样有一点坏处就是你无法得知这个是否是最低点，因为都是选定一天，所以有时候会出现很尴尬的局面就是它下跌的时候不买入，它上升的时候却偏偏买入，这样一来二去我们的基金就往往没什么钱赚，甚至还抱着不亏本就好心态，所以为了既让我们可以存钱下来又可以帮助我们进行理财，我就根据天天基金网的估算净值来写了一个脚本
2021-07-30 22:17:10
17492
2
原创 数据分析算法-决策树（下）-课堂学习笔记
数据分析之决策树（下）CART算法cart只支持二叉树，由于cart的特殊性，cart既可以作为分类树也可以作为回归树cart和c4.5算法类似，只是属性选择的指标采用的是基尼系数。基尼系数的计算公式：怎么计算呢，举个例子吧集合1，6个都去打篮球集合2，3个去打篮球，3个不去打篮球集合1的基尼系数p(Ck|t) = 1-1 = 0集合2的基尼系数p(Ck|t) = 1-(0.5 * 0.5+0.5 * 0.5) = 0.5在这里p(Ck|t)表示节点t属于类别Ck的概率，节点t的基尼
2021-07-28 20:17:45
16043
原创 http的一些基础知识
http中常用的字段意义host指的是客户端发送请求时，用来指定服务器的域名content-length字段，表示的是本次回应的数据长度connection：字段最常用于客户端要求服务器使用的TCP持久连接，以便其他请求复用content-type：指的是用于服务器回应时，告诉客户端本次数据是什么格式content-encoding：指的是数据的压缩方法，表示服务器返回的数据使用了什么压缩格式对于HTTPS是怎么解决http的三大缺点的混合加密的方法实现信息的机密性，解决了窃听的风险
2021-07-26 09:32:43
17654
原创 centos的一些日常命令
怎么让服务器访问外网设置代理单次设置代理pip install pandas --proxy=http://172.16.128.38:8080临时设置export http_proxy=http://172.16.128.38:8080export https_proxy=http://172.16.128.38:8080Linux一些常用的网络命令远程登录Linuxssh xxx.xxx.xxx.xxx(这里指的是要登录服务器的ip地址)怎么把一台服务器的文件传
2021-07-26 09:31:54
17682
原创 基于Django的文件上传下载删除管理器
这是一个基于Django的文件下载，上传，删除的任务管理器先看看效果展示1、运行完Django后，直接输入网址http://127.0.0.1:8000就可以直接进去该网站2、这是一个主图上传文件的话，就先点击选择文件，选取图片或者文档，再点击上传3、成功之后就会出现你刚刚上传的文件4、下载文件的话，就直接点击对应的名称即可5、下载成功就会出现如图所示6、删除也一样，也是点击对应删除的内容对应的内容就会被删除3mDtG-1626834152759)]对应的内容就会被删除
2021-07-21 10:23:34
17965
原创 数据分析算法-决策树（上）-课堂学习笔记
数据分析之决策树决策树的工作原理决策树基本上就是把我们以前的经验总结起来，我给你准备一个打篮球的训练集。如果我们要出门打篮球，一般会根据’天气’、’温度‘、’湿度‘、’刮风‘这几个条件来判断，最后得到的结果：去打篮球？还是不去?一般做决策树会有两个阶段：构造和剪枝构造构造的过程就是选择什么属性作为节点的过程跟节点：就是树的顶端内部节点：就是树中间的那些节点叶节点：就是树最底部的节点剪枝剪枝就是给决策树瘦身，之所以这么做就是为了防止过拟合过拟合就是说这个模型训练的太好了，不符合实际
2021-07-19 21:17:22
18158
1
原创 zabbix发送告警附带图片
Zabbix 告警附带原生图片环境： centos8 python3.6.8脚本的位置：172.22.254.50/usr/lib/zabbix/alertscripts/具体思路该脚本具体思路是模拟登陆通过获取到itemid去进去对应的链接，然后再去获取对应图片的URL，通过传参去获取图片，将获取到的图片保存到对应的地址上，然后再去读取图片的位置，将图片用HTML的语句的方式去发送图片。怎么调用脚本去发送邮件到对应的账号里面-zabbix的操作1、2、Problem: {E
2021-07-15 17:16:00
18883
1
原创 调用API去获取zabbix-item监控项的各个值
使用python去调用zabbix API去获取item监控项各个值测试环境 centos8 python3.6.8需要用到的库 requests pandas xlrd==1.2.0在使用脚本前，请提前下载好对应的库时间是获取最近两个小时，需要修改的话，请在下面代码修改时间代码#修改minutes=120该值即可x = (datetime.datetime.now() - datetime.timedelta(minutes=120)).strftime("%Y-%m-%d %H:%M:%S
2021-06-30 11:26:06
19092
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人