- 博客(40)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 随机森林计算特征重要性推导
调用了Sklearn函数包中RandomForestRegressor.feature_importances_函数计算特征重要性。随机森林（RandomForest）是由一棵棵决策树（Decision Tree）组成，因此为了求得每个特征的重要性，首先需要知道每个特征在每一棵决策树上所做的贡献量，这种贡献量的计算方法是求解在该特征在某个节点上，分枝前后的基尼指数（Gini）差值，用同样的的方法求得其他特征的贡献值，最后将某个特征基尼指数变化值除以所有特征基尼指数变化值之，求得某个特征归一化后的贡献量，并根
2021-02-17 22:42:38
3894
2
原创 MySQL去除重复值
删除重复值的思路为：首先将A表中去重的结果集写入临时表A_temp随后删除A表，再将A_temp写入新的A表中。create table A_temp(select distinct * from A);drop table A;create table A(select * from A_temp);drop table A;结果如下：...
2020-09-26 15:21:14
411
原创 梯度下降与ReLU激活函数
14.梯度下降与ReLU激活函数14.1 梯度下降法在数学中，梯度表示函数递增速度最快的方向，反之梯度的负方向则表示函数衰减最快的方向。因此，可以通过不断迭代使用梯度下降方法求解到函数的最小值。（可能是局部最小值，也可能是全局最小值），这取决于学习率的选择。如：为了求解函数f(x)=f(x1,x2…xn)f(x)=f(x_1,x_2\dots x_n)f(x)=f(x1,x2…xn)的最小值，则可以从一个起始点：x(0)=(x1(0),x2(0),…xn(0))x^{(0)}=(x_1^{(0)}
2020-09-24 16:27:59
2889
1
原创 反向传播算法推导
13.3.1 反向传播算法推导如下图所示为一个神经网络的结构图，由于本文主要探讨激活函数在反向传播过程中的作用，因此不会带入数值进行计算，而是以两个权重的更新为案例进行公式的推导，分别为如何通过反向传播算法更新w112w^2_{11}w112和w111w^1_{11}w111的值。13.3.1.1 前向传播首先，需要知道的是，整个网络中i1i_1i1,i2i_2i2以及所有的权重值均为定值，权重值为网络初始化时按照一定概率分布随机赋值的。则h1h_1h1内部结构如下：其中，neth1n
2020-09-21 20:36:26
320
原创 PyTorch创建张量方法全解
本文介绍PyTorch创建张量的三种方式，分别为直接创建、依据数值创建以及依据概率创建。1.直接创建1.1 使用数组创建1.1.1 语法：1.1.2 说明：1.1.3 程序：arr=np.ones((3,3))print("arr的数据类型为："+str(arr.dtype))t=torch.tensor(arr)print(t)1.1.4运行结果：1.2 使用numpy创建1.2.1 语法：1.2.2说明：1.2.3 程序：arr=np.array([[1,2.
2020-07-31 19:59:33
2619
原创 PyTorch安装最全流程
本文介绍基于Anaconda环境以及PyCharm软件结合，安装PyTorch深度学习框架。1.Anaconda安装下载链接：https://www.anaconda.com/1.1 点击Next1.2 点击同意1.3 点击Next1.4 选择目标文件夹，点击下一步1.5 将Anaconda加入到系统变量安装成功后，在CMD中检查Anaconda时候加入到环境变量中。1.6 单击启动Anaconda Prompt 创建虚拟“房间”通过conda创建一个名为：pytorch.
2020-07-30 21:17:59
155404
70
原创 Python3调用新浪微博API抓取数据
本文介绍基于Python3+通过调用新浪微博API方式采集用户信息的案例。1.前期准备编程语言：Python3.0+下载库：sinaweibopy3编辑软件：Spyder2.获取微博授权进入http://open.weibo.com/apps/new?sort=web获取App Key以及App Secret。具体方法如下：2.1 创建应用如图点击，微链接—>网站接入—>立即接入设置应用名称和应用分类，其中应用分类选择网页应用。2.2 获取App Key等创建完.
2020-07-21 20:37:46
1788
原创 python将excel表内空值替换成特征数值
python进行表格处理时，经常遇到空值需要做特定替换，pandas专门提供了这样的功能。fillna()方法函数形式：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)1value：用于填充的空值的值。method： {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None。定义了填充空值的方法， .
2020-07-08 09:24:43
4201
原创 基于神经网络的教育数据挖掘
本文重点介绍，基于神经网络，建立学生成绩预测模型。1.神经网络多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：对一些标记进行定义：ay(x)a^{(x)}_yay(x)表示，第xxx层，第yyy个神经元；by(x)b^{(x)}_yby(x)表示对每个维度输出的偏置；hw,bh_{w,b}hw,b为神.
2020-07-04 21:12:51
1489
3
原创 sklearn 实现机器学习的5折交叉验证
当通过小样本训练机器学习模型时，为了更加准确的评价机器学习模型，可以采用k折交叉验证方法1.读取训练数据mldata_x = data[['学科A','学科B','学科C','学科D']]mldata_y = data[['学业成败']]2.进入5折交叉验证方法from sklearn.model_selection import cross_val_scorenb=GaussianNB()score=cross_val_score(nb,mldata_x,mldata_y,cv=5,s.
2020-06-26 21:34:11
2428
1
原创 sklearn实现神经网络
本文将介绍基于sklearn实现MLP（多层感知机）算法的过程。1.读取训练数据mldata_x = data[['学科A','学科B','学科C','学科D']]mldata_y = data[['学业成败']]2.划分训练数据集和测试数据集from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(mldata_x, mldata_y, t.
2020-06-26 21:27:32
4066
原创 python相关性分析与热力图可视化
相关性分析可以发现不同变量之间相关性程度，本文以python为例进行实现。1.相关性矩阵corr = abs(data[['学科A','学科B','学科C','学科D','学业成败']].corr()) #abs取绝对值corr2.热力图可视化展示from matplotlib import pyplot as pltimport seaborn as snsimport numpy as npfig = plt.figure()names=['学科A','学科B','学科C','.
2020-06-26 21:12:27
6709
1
原创 一行代码实现python数据标准化
数据标准化有助于提升机器学习模型准确度。本文对数据集中某列数据进行标准化处理。采用min-max方式。from sklearn import preprocessingminmax = preprocessing.MinMaxScaler()data[['学科A','学科B','学科C','学科D']] = minmax.fit_transform(data[['学科A','学科B','学科C','学科D']])...
2020-06-26 17:51:50
506
原创 python将数据集中文本标签替换成数值型
数据科学中经常出现的标签为文本型的，因为需要转化为数值型，以便后续处理。1.读取数据import pandas as pddata = pd.read_csv('all_data.txt',delimiter='\t')data.head()2.对标签列进行替换data_class={'否':0,'是':1}data['是否过线']=data['是否过线'].map(data_class)...
2020-06-26 17:45:10
6629
1
原创 机器学习模型保存
在训练完成机器学习模型后，经常将满足需要的机器学习模型进行保存，本文以SVM算法为例，讲解模型保存和调用的方法。1.模型保存joblib.dump(模型, 模型命名) #将训练模型保存起来如：from sklearn.svm import SVC from sklearn.metrics import classification_reportfrom sklearn.externals import joblibclf = SVC(kernel='linear', C=1)clf..
2020-06-02 21:28:54
892
原创 机器学习打印日志
在机器学习过程中，为了可以实时反映处理过程，经常打印日志，实现对该过程的实时监控。import logginglogging.basicConfig(format = '%(asctime)s : %(levelname)s : %(message)s', level = logging.INFO) #打印日志作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一.
2020-06-02 21:08:06
344
原创 一行代码将python封装exe可执行文件
本文将介绍，如何将一个基于Python编写的可视化工具封装成exe文件，从而实现在非Python环境下运行。1.下载:pyinstallerpyinstaller库可以帮助实现python---->exe的封装，其安装方式如下：pip install pyinstaller2.执行封装命令这里需要注意一点，在执行封装命令前，需要将cmd的地址切换到python源程序所在的文件夹。pyinstaller.exe-F 你的python文件名待封装完成，则可以在所在文件夹，dis文件中.
2020-05-20 10:00:11
442
原创 12万条微博训练的word2vec词向量模型
该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文，该模型能够反映一定的语言规律，因此可以作为日常编程训练使用。1.调用方法from gensim.models import word2vecmodel = word2vec.Word2Vec.load("public_opinion_word2vec_2.model")2.测试model.most_similar("上海")3.项目开源地址https://github.com/GarrettL.
2020-05-18 09:45:20
1525
9
原创 python实现文本词频统计并输出
教育研究中，经常对一个或者多个文本进行词频统计分析，用以反映该文本的主题。本文首先介绍利用oset开源库中提供的wordcount()函数实现的字符统计简单调用方式（第2小节）；随后解析wordcount()函数源代码以及其中的一些知识点（第3小节）。1.文件夹内容展示该文件夹中分别包含“教育学部.txt”，“心理学部.txt”等单个文件。我们将利用oset库中wordcount函数实现...
2020-05-03 13:05:14
5757
2
原创 python3环境下安装gexf库的一些错误修正方法
gexf作为复杂网络绘图的一种函数库，在python3环境下安装时却存在一系列问题，本文将在python3.8环境下为案例，对安装过程中存在文的问题进行解析。1.安装采用镜像方式安装：pip install pygexf -i http://pypi.douban.com/simple --trusted-host pypi.douban.com2.错误解决2.1 No module ...
2020-05-01 11:06:41
337
原创 python实现文档字符云
教育研究中，有时需要对一个文档进行可视化展示——字符云。而有时还需要对多个文档内容合并进行可视化展示。本文首先给出通过调用oset（教育技术开源库）实现字符云最简单的方式（见第2小节）;随后将介绍oset中实现该原理的源码，供有需要的同学研究和二次开发。1.文件夹内容展示2.字符云展示2.1单个文件字符云可视化#如仅仅对上述文件夹中“教育学部.txt”文件进行可视化展示from o...
2020-04-20 17:30:58
238
原创 Python获取文件所处的文件夹
在教育研究中，经常需要对单个文件进行分析操作，而往往我们希望将分析结果输出成一个文档，并存取在同目录中。因此自动化获取文件所在的文件路径将有助于设计大规模自动化处理程序。本文将阐述如何获得某个文件所处的文件夹名称。所有库：os代码：os.path.dirname(FileName)>>> file="c\\test\\readme.md">>> pa...
2020-04-20 15:58:30
1871
原创 [解决方案]Python批量替换文件中的内容
在实际工作中，经常会涉及到需要去替换文件中某一个词，而传统的做法是：通过编辑软件中自带的“替换/查找”功能进行处理。但是如果涉及到成百上千个文件需要这样的处理，该怎么解决？本篇博文将介绍一种基于Python的解决方案。1.读取文件夹中所有的文件名Python中os库中listdir函数用于读取文件夹下的所有文件名，并返回出来列表。fileList = os.listdir(filenam...
2020-04-09 18:54:23
5692
1
原创 Python实现批量文件合并（oset开源库）
教育研究中经常会遇到需要将许多访谈记录合并的情况。缺乏编程能力的老师或者同学需要不断复制、粘贴…不但耗时，而且容易存在遗漏复制文本等问题。本文给出我已经编写并且测试完成的函数，如果需要可以直接复制并使用。**注：**以下程序来源于我编写的教育技术开源库（oset），欢迎关注,感兴趣的同学可以和我联系，我们一起维护！点击进入教育技术开源库1 定义相关类class File: def...
2020-04-07 13:53:34
255
原创 [解决方案]IndentationError: unindent does not match any outer indentation level
程序运行时出现：IndentationError: unindent does not match any outer indentation level 时主要是因为Python的缩进形式有问题解决方法：检查缩进出现问题的程序将…用Tab键缩进即可...
2020-04-01 13:53:54
277
原创 [解决方案] Scrapy 安装时遇到：Running setup.py install for Twisted ... error 解决方案
本文给出安装Scrapy时遇到：Running setup.py install for Twisted … error错误的解决方案。1.错误描述安装Scrapy爬虫框架时经常会遇到Running setup.py install for Twisted … error的错误2.解决方法2.1 通过 pip 检查工具检查接受安装的标签具体方法如下：进入Python环境输入如下命令：...
2020-04-01 10:05:04
7798
2
原创 Python函数参数类型讲解教程
在编写库函数时经常会遇到这样一种情况：由于任务不同，一个函数经常会传入的入不同的个数，而有些参数并非是必选的。本文将首先讲解函数参数类型，然后讲解如何判断该参数是否传入并给出示例。1.参数类型：必选参数，默认参数，可变参数以及关键字参数1.1 必选参数顾名思义，就是函数必须有的入参>>>def add(x,y):... return x+y>>...
2020-03-31 11:28:52
125
原创 全集！将GitHub上的项目克隆到本地并完成更新与上传教程全集
GitHub是一个面向开源及私有软件项目的托管平台，因为只支持git 作为唯一的版本库格式进行托管，故名GitHub。GitHub于2008年4月10日正式上线，除了Git代码仓库托管及基本的 Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等功能。托管版本数量也是非常之多，其中不乏知名开源项目 Ruby on Rails、jQuer...
2020-03-30 13:07:15
1406
原创 2020-03-25阅读笔记-虚拟学习社区中隐性知识传播研究
本文系阅读李玉斌老师发表在电化教育研究上的论文《虚拟学习社区中隐性知识传播研究》上所做的笔记，由于水平有限，如果理解上存在误差，还请批评指正。3.虚拟学习社区隐性知识的传播机制3.1知识的转化方式本文介绍了日本nonaka教授提出的知识转换形式，如下图所示：综合化是显性知识经过扩散、综合形成更为系统和复杂的显性知识的过程；内隐化是学习者将获得的知识、经验经过反思、总结，形成个体隐性知...
2020-03-25 11:15:11
397
原创 NLPIR分词库出现：Your license appears to have expired. Try running "pynlpir update".问题解决办法
出现Your license appears to have expired. Try running "pynlpir update"的原因是：您的nlpir没有获取最新授权，解决办法如下：STEP1：进入张华平博士的github并点击下载NLPIR.user的文件请点击跳转，进入NLPIR.user的下载页面随后点击:downloadSTEP2：将下载的文件放置在Pynlpir的...
2020-03-24 16:42:05
2430
1
原创 2020-03-22阅读笔记-泛在学习环境下知识分享社区的知识传播研究：路径与要素
本文系阅读华南师范大学林秀瑜等人发表在中国电化教育期刊上《泛在学习环境下知识分享社区的知识传播研究：路径与要素》所做的笔记，由于本人水品有限，如理解存在偏差，还请批评指正。1.问题提出当前对于知识分享社区研究越来越多，但是从传播角度对知识分享进行研究还是相对较少，特别是关于知识分享社区的传播过程中知识分享与再生研究欠缺。2.知识分享及知识分享社区的知识分享路径2.1 知识分享及其特性...
2020-03-23 14:48:53
284
原创 2020-03-22阅读笔记-考虑遗忘机制的企业隐性知识传播SIR模型研究
layout: posttitle: “2020-03-22阅读笔记-考虑遗忘机制的企业隐性知识传播SIR模型研究”categories: 阅读笔记tags: 复杂系统 知识传播 SIR模型author: GarrettLeecontent{:toc}本文系阅读上海工程技术大学杨湘浩等人发表在***中国管理科学*期刊上《考虑遗忘机制的企业隐性知识传播SIR模型研究》**所...
2020-03-22 21:30:45
352
原创 2020-03-17-paper-read-notebooks02
2020-03-17阅读笔记-基于SIR的众包社区知识传播模型研究本文系阅读河海大学薛娟等人发表在***科技进步与对策*期刊上《基于SIR的众包社区知识传播模型研究》**所做的笔记，由于本人水品有限，如理解存在偏差，还请批评指正。本文引用格式：薛娟,丁长青,陈莉莎,张志武.基于SIR的众包社区知识传播模型研究[J].科技进步与对策,2016,33(04):131-137.1.基础知识介绍...
2020-03-22 19:58:16
151
原创 Python 通过 pip install 的方式安装时出现的下载速度较慢解决方法
如下图所示，当下载一个软件包时，直接采用pip install 方式下载速度极慢：解决方法：通过镜像站下载：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pynlpir...
2020-02-18 08:27:01
160
原创 创建 对于 数据库“pcps”失败
创建数据库是经常遇见如下问题：创建 对于 数据库“pcps”失败。 (Microsoft.SqlServer.Smo)有关帮助信息其他信息:执行 Transact-SQL 语句或批处理时发生了异常。 (Microsoft.SqlServer.ConnectionInfo)对文件 “C:\Users\Administrator\Desktop\pcps\DataBase\pcps.mdf...
2020-02-07 17:57:37
839
原创 Echarts+Asp.Net+SqlSever数据可视化
1.任务描述通过可视化图标呈现数据库中学生成绩、心理动态、和学业预警指标（其中心理动态以及学业预警指标是通过机器学习模型生成写入到数据库中）。本文将以学生成绩为案例。2. 前段代码<div id="jiben" style="width: 600px;height:300px;"></div><script type="text/javascript">...
2019-12-28 22:57:10
4182
17
原创 应用程序脱机：This application is currently offline. To enable the application, remove the app_offline.htm
应用程序脱机：This application is currently offline. To enable the application, remove the app_offline.htm file from the application root directory.解决办法。解决办法：将网站目录下的app_offline.htm，删除即可。删除后，重新运行即可！...
2019-12-25 21:55:32
1452
原创 SQL SEVER修改表结构时不允许修改
不允许保存修改。您所做的更改要求删除并重新创建下表。【1】在更新数据库结构时，经常会遇到这种情况【2】方法是：工具->选项->Designers->表设计器和数据库设计器->将“阻止保存要求重新创建表的更改”去除。确定后就可以啦，对表的结构修改就成功了！...
2019-12-19 09:43:52
1042
原创 数据库无法写入数据:SQL SEVER 未更新任何行，未提交行中的数据，错误源:.Net SqlClient......
SQL SEVER数据库写入错误图片错误提示：未更新任何行，未提交行中的数据，错误源:.Net SqlClient…解决方法出现这种错误的主要原始是，数据长度超出限制。解决方式：在设计视图中，对可能超出长度的字段重新设置长度。对所有可能超出长度的字段进行改写对表结构进行保存后，重新写入：成功！！！！！！...
2019-12-19 09:12:47
11738
原创 Echarts数据可视化（1）
教育数据可视化实践-Echarts(一)可视化（Visualization）是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，再进行交互处理的理论、方法和技术。1一、Echarts简介ECharts，一个纯 Javascript 的图表库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器，底层依赖轻量级的 Canvas 类库 ZRender，提供直观，...
2019-12-14 21:00:37
672
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人