- 博客(52)
- 收藏
- 关注
RSS订阅原创 如何选择论文该发什么期刊（网络安全方向）
几个参考网站，网站会收录期刊的影响因子，是否是SCI,EI等等，包含出版国家，出版单位，期刊创刊时间，官网，投稿地址等等各种详细信息，用于调研论文适合发表的期刊。
2024-01-22 14:10:30
386
转载 《Learning Structured Representation for Text Classification via Reinforcement Learning》论文翻译
表征学习是自然语言处理中的一个基本问题。本文研究了如何学习文本分类的结构化表示。与大多数既不使用结构又依赖于预先指定结构的现有表示模型不同，我们提出了一种强化学习（RL）方法，通过自动覆盖优化结构来学习句子表示。我们演示了构建结构化表示的两种尝试：信息提取 LSTM（ID-LSTM）和层次结构LSTM（HS-LSTM）。id-lstm只选择与任务相关的重要单词，hs-lstm发现句子中的短语结构。两个表示模型中的结构发现被表述为一个连续的决策问题：结构发现的当前决策影响后续决策，可以通过策略梯度RL来解决。
2023-12-28 15:03:39
61
转载 五个免费PDF转Word方法（附带！转换效果实测！）
这是一款近些年在国内兴起的PDF转换工具，支持20多种PDF转换相关功能，而且支持CAD转换，图片转换，文件压缩，电子书转换等常用文件格式转换压缩处理功能，清新的蓝白色调，也能舒缓办公人群紧张的心理，虽说只能免费转换15m以内的文件，但这也可以满足大部分用户转换的需求了。正如网站主题所说的一样，这是面向PDF爱好者的PDF在线使用工具，除了具备常规的转换操作以外，通过长期的用户需求沉淀，演化出PDF签名，PDF水印，PDF页面旋转，PDF加密，PDF解密等其他PDF网站不具备的功能，此处基本都能找到。
2023-12-27 17:34:48
373
转载 selenium三种等待方式详解
WebDriverWait，配合该类的until()和until_not()方法，就能够根据判断条件而进行灵活地等待了。implicitly_wait()方法用来等待页面加载完成（直观的就是浏览器tab页上的小圈圈转完）网页加载。在自动化测试脚本的运行过程中，webdriver操作浏览器的时候，对于元素的定位是有一定的超时。有时候我需要的那个元素早就加载完成了，只是页面上有个别其他元素加载特别慢，我仍要等待页。强制等待，不管你浏览器是否加载完成，都得给我等待3秒，3秒一到，继续执行下面的代码。
2023-12-26 10:40:10
61
原创 Input length of input_ids is 3572, but max_length is set to 2000. This can lead to unexpected behavi
无法对问题做出回答，因此memory选择对话缓存窗口储存，对话缓存窗口储存是通过ConversationBufferWindowMemory来实现交互的滑动窗口，窗口数k，例如设置k=1，表示只保留一个对话记忆。这样保证memory不会无线增大，memory的内容会作为prompt的内容所以导致token数会增加，超过指定数值无法进行回答，就像问的问题如果太长，比如超过10万字，超过LLM的最大token，无法进行回答一样。如果问的问题过多，产生的memory会越来越多，导致token数超过定义的数值，
2023-12-14 18:01:00
1023
原创 git新建分支并提交代码
注意这时一般新建一个空的文件夹，因为后面切换分支后checkout后里面的文件都没有了，因为在网页新建分支后，该分支下什么也没有。然后本地pycharm，VCS-Create Git Repository，如下。Checkout一下，注意如果这时候有没提交的文件，会消失，还是上面提到的。然后commit push一下就会让输入git的地址，输入后。找到后复制出来，新建一个文件把内容粘进去，在提交就可以了。然后git-Fetch，把远程的分支刷新出来。这时候找回消失的文件，需要如下。
2023-07-20 10:34:27
240
原创 从不同视角绘制三维散点图
说明：arr_feature_pca是特征数据，应用特征数据进行异常检测，得到预测结果为y_dbscan_pred，结果中-1为异常点，其他为正常点，绘制特征数据散点图，正常点和异常点用不同颜色显示。# --------------------------------------- 定义绘图函数 -----------------------------------ax.view_init(elev=theta1, # 仰角。# 使坐标轴刻度标签正常显示负号。# 使图表元素中正常显示中文。
2023-07-04 17:27:46
222
原创 python 社区发现算法
由此衍生出来的社区发现（community detection）算法用来发现网络中的社区结构，这类算法包括 Louvain 算法、Girvan-Newman 算法以及 Bron-Kerbosch 算法等。作为一种基于模块度（Modularity）的社区发现算法，Louvain 算法在效率和效果上都表现比较好，并且能够发现层次性的社区结构，其优化的目标是最大化整个图属性结构（社区网络）的模块度。它涵盖 Louvain 算法、Girvan-Newman 算法等多种社区发现算法，还具有可视化功能。
2023-06-05 18:41:35
669
原创 僵尸网络检测数据集CTU-13介绍及使用
由于要做僵尸网络检测的工作，但是没有相关数据，需要搜集相关数据集进行算法的验证，通过调研，发现CTU-13数据集开源，且进行了处理分析，减少了数据处理的一些工作，比如对流数据进行了聚合，生成双向流数据文件，也就是后面要用到的文件。这个语句直接到相应的网址去下载数据，并且是dataframe格式化的，很好，这就是我想要的。scenario_1是第一个僵尸网络场景的数据，数据量和数据集描述中一致。对CTU-13数据集的描述的翻译，这使得后面对这份数据集的理解更加容易。具体的也可以看下不同类型数据的占比。
2023-06-02 17:27:29
1585
2
原创 numpy.core._exceptions._ArrayMemoryError: Unable to allocate 23.1 MiB for an array with shape (2, 15
记得不要选中 自动管理所有驱动器的分页文件大小，然后选择一个驱动器，也就是一个盘，选中自定义大小，手动输入初始大小和最大值，但是不要太大。在运行代码的过程中发现，内存其实只用到了一半不到，但是为什么会出现 Memory 的错误呢？都设置好之后，记得点击 设置， 然后再确定，否则无效，最后 重启电脑 就可以了。进过百度发现说是内存被限制了，所以考虑采用扩大虚拟内存的方法。选择 高级面板，点击更改 虚拟内存 模块；修改 pycharm 的运行内存 6，点击 高级系统设置 这一项；点击 系统 这一项；
2023-05-29 15:13:56
1639
原创 2021-05-27
定义类方法，方法间没有调用，直接定义类名，把函数放进去就可class Person(object): def plus(a,b): return a+bPerson.plus(1,3)定义类方法，方法间有互相调用时，需要用装饰器class Person(object): @classmethod def plus(cls,a,b): return a+b @classmethod def p(cls,a,c):
2021-05-27 11:34:20
170
转载 如何用Python计算特征重要性？
特征重要性评分是一种为输入特征评分的手段，其依据是输入特征在预测目标变量过程中的有用程度。特征重要性有许多类型和来源，尽管有许多比较常见，比如说统计相关性得分，线性模型的部分系数，基于决策树的特征重要性和经过随机排序得到重要性得分。特征重要性在预测建模项目中起着重要作用，包括提供对数据、模型的见解，以及如何降维和选择特征，从而提高预测模型的的效率和有效性。在本教程中，我将会阐述用于python机器学习的特征重要性。完成本教程后，你将会知道：特征重要性在预测建模中的作用 如何计算和查看来自线
2020-07-07 16:10:07
6273
6
原创 我只来一次
黑是没有感觉的黑，静是没有感觉的静（这是我出生以前的感觉，几十亿年没有什么感觉很快过去了）。微微有一点亮光，我来到了这个世界。为什么一个人一开始来到这个世界都不怎么觉得兴奋，是因为人刚一出生都没有记忆，几年以后才有记忆，这种兴奋几年的时间把它给稀释了。我把人的记忆提前几年，就是出生就有记忆，就像羚羊一样，刚出生就能跟着母亲跑。我刚来到这个世界，模模糊糊的有两个人用一种听不懂的语言对我说着...
2019-06-12 11:39:06
190
原创 pyspark 链接mongoDB 时报错 (Class not found exception:com.mongodb.spark.sql.DefaultSource)解决方法
18/05/08 11:18:39 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint Traceback (most recent call last): File "/home/cisco/spark-mongo-test.py", line 7, in <module&g...
2019-03-08 09:49:46
3104
原创 pyspark异常处理：java.lang.NoSuchMethodError: io.netty.channel.DefaultFileRegion.(Ljava/io/File;JJ)V
错误信息：java.lang.NoSuchMethodError: io.netty.channel.DefaultFileRegion.(Ljava/io/File;JJ)V在用pyspack读取mongoDB数据时，报上述错误，分析原因：在pyspark读取hbase数据时，把hbase中的jars都copy到了spark的jars中，导致spark的jars文件夹中有两个netty的...
2019-01-22 16:56:19
731
转载 为什么加入正则化项可以防止过拟合
正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting，可以...
2018-10-18 10:09:13
3865
2
原创 pycharm代码上传到github
一.准备工作Ⅰ.git下载和安装要连接GitHub,首先git是必不可少的,git的安装的基本使用很简单,这里并不是讲git使用的教程,所以只是提一下就略过了.Ⅱ.GitHub设置添加SSH Key这一步算是连接GitHub的最基本的一步了,git是分布式的代码管理工具,远程的代码管理是基于ssh的,所以得先配好SSH key.1.创建一个SSH Key打开终端,windows下面可能叫做git ...
2018-06-06 15:05:45
6582
3
原创 jieba分词 词性标注 百分数的数字和%被分开 修复
将\jieba\posseg目录下的文件__init__.py替换成下面的代码from __future__ import absolute_import, unicode_literalsimport osimport reimport sysimport jiebaimport picklefrom .._compat import *from .viterbi import v...
2018-05-29 16:33:43
3829
原创 elasticsearch 5.2.0 安装及head插件安装
1、安装elasticsearch2、下载head步骤下载node.js ,网址：https://nodejs.org/en/安装node到D盘。如D:\nodejs。把NODE_HOME设置到环境变量里(安装包也可以自动加入PATH环境变量)。测试一下node是否生效：安装gruntgrunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.0里的head插件就是通过grunt...
2018-05-08 15:00:04
490
1
转载 windows10 安装TensorFlow失败 解决方案
Windows下Pip3 无法安装tensorflow的分析启示录喜敏中考百家号01-0807:06引言： Tensorflow大名鼎鼎，这里不再赘述其为何物。这里讲描述在安装python包的时候碰到的“No matching distribution found for tensorflow”，其原因以及如何解决。前途永远是光明的，道路则永远是曲折的。简单的安装tensorflow这里安装的te...
2018-05-04 15:58:28
7624
1
转载 深度学习主机攒机小记
Update: 这篇文章写于一年以前，这一年深度学习的大潮继续推进，1080也升级到1080TI了，攒机也有了更多更好的选择。最近更新了一篇文章：《从零开始搭建深度学习服务器：硬件选择》，可以看完下文后（主要提供了一些选择的思路），再来看最新的这篇（主要提供了一些配置选择），相得益彰。另外强烈不推荐雷霆世纪的主机，售后服务严重不靠谱。这个系列写了好几篇文章，这是相关文章的索引，仅供参考：深度学习主...
2018-04-26 09:33:29
1059
转载 搜狗词库使用方法
词库推荐分词基本都是基于词库实现的，下面博主推荐一个词库，搜狗输入法细胞库，里面词库很全面，而且已经分好类，比如如果是商品搜索引擎，在里面寻找相关词库，有助于提高准确度哦：http://pinyin.sogou.com/dict/cate/index/394下载下来的词库是.scel格式的，猿友可以使用“深蓝细胞词库scel转txt工具”进行转换。...
2018-04-11 10:37:33
6681
原创 台大机器学习课程视频资料
台大李宏毅老师课程资料http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html
2018-03-09 10:40:18
421
转载 mongoDB 安装与启动
版本选择MongoDB的版本命名规范如：x.y.z；y为奇数时表示当前版本为开发版，如：2.3.0、2.1.1；y为偶数时表示当前版本为稳定版，如：2.0.1、2.2.0；目前官网上最新的版本为3.4.6平台选择生产环境使用32位机器的数据限制2G，在64位机器上坚决要使用64位版本，可以获得更大的内存映射空间，提升MongoDB的性能；至于操作系统，MongoDB
2017-12-25 15:54:03
781
转载 python 虚拟环境[virtualenv/virtualenvwrapper]设置
virtualenvvirtualenv 是一个可以在同一计算机中隔离多个python版本的工具。有时，两个不同的项目可能需要不同版本的python，如 python2.6.6 / python3.0 ，但是如果都装到一起，经常会导致问题。所以需要一个工具能够将这两种或几种不同版本的环境隔离开来，需要哪个版本就切换到哪个版本做为默认版本。virtualenv 既是满足这个需求的工具。它能够用于创
2017-12-13 14:14:29
3610
原创 虚拟环境搭建始终失败 workon不是内部指令
在 WINDOWS 下面要运行命令 pip install virtualenvwrapper-win才行
2017-12-13 14:04:19
9177
转载 pymongo使用总结
pymongo使用总结阅读目录0. 何为pymongo1、安装pymongo2、连接mongodb3、获取数据库列表4、连接数据库5、权限验证6、获取聚集列表 (聚集的概念类似于关系型数据库中的表)7、连接聚集8、查看聚集的一条记录9、查看聚集的所有key (类似于关系型数据库中的字段)10、查看聚集的所有记录11、查看记录总数12、根据条件查询多条
2017-12-05 09:52:22
429
转载 matlab中添加贝叶斯网络学习工具箱BNT
向matlab中添加FULLBNT，参考地址： http://hi.baidu.com/73290673/item/21db99f36d90bc49932af29d 采用MATLAB语言编制的贝叶斯网络工具箱(Bayesian Networks Toolbox,BNT)可实现贝叶斯网络结构学习、参数学习、推理和构建贝叶斯分类器,
2017-11-15 16:08:18
5182
3
转载 matlab 贝叶斯网络学习
提纲：最近工作： B-COURSE工具学习 BNT研究与学习 BNT相关实验及结果手动建立贝叶斯网及简单推理 参数学习 结构学习下一步工作安排 最近工作：1． B-COURSE 工具学习B-COURSE是一个供教育者和研究者免费使用的web贝叶斯
2017-11-15 15:39:05
8192
5
转载 matlab 反复激活 许可证到期 解决方法
matlab许可证到期，一直显示要激活解决办法建立一个license.lic的文件，把下面的代码粘贴到文件里面，然后放到MATLAB根目录的license文件夹里替换原来的license.lic文件，重启MATLAB即可。R2013a亲测有效INCREMENT Aerospace_Blockset MLM 99 permanent uncou
2017-11-15 15:19:14
48242
65
转载 2016年不可错过的21个深度学习视频、教程和课程
几年之前，深度学习还是机器学习里面一个不太受人关注的领域。随着神经网络和大数据的出现，很多复杂任务的实现已经成为可能。2009年时，深度学习还是一个新兴领域，只有少数人认为这是一个值得研究的领域。但很快，这个领域就得到了很大的发展，目前已经被应用到很多的领域当中，例如：语音识别、图像识别、在一个数据集当中寻找模式、照片中的事物分类、字符文本生成、自动驾驶汽车等等。因此，了解深度学习及其概念
2017-03-23 14:45:43
8626
转载 深度|史上最全面的深度学习硬件指南
深度学习计算密集，所以你需要一个快速多核CPU，对吧？还是说买一个快速CPU可能是种浪费？搭建一个深度学习系统时，最糟糕的事情之一就是把钱浪费在并非必需的硬件上。本文中，我将一步步带你了解一个高性能经济系统所需的硬件。研究并行化深度学习过程中，我搭建了一个GPU集群，为此，我需要仔细挑选硬件。尽管经过了仔细的研究和逻辑推理，但是，挑选硬件时，我还是会犯相当多的错误，当我在实践中
2017-03-23 14:42:43
2777
原创 windows安装scipy方法
windows安装scipy的依赖numpy要求是numpy_mkl，所以在安装scipy之前要先安装numpy_mkl，通过下载whl文件安装，先下载numpy_mkl的whl文件，pip安装成功后在安装scipy的whl文件
2016-11-02 17:05:06
565
原创 pycharm中svn的使用总
pycharm中svn的使用总结：1、第一次获取代码使用checkout2、第一次在svn中创建一个项目目录使用import3、获取或以import代码后一般经常使用的是update（获取svn中最新的代码），commit（提交更新的代码）4、svn还可以查看不同版本之间的差异：showdiff可以查看历史提交信息：reporitority文件显示是蓝色代表有改动的
2016-09-12 17:31:02
13019
转载 总结pyspark在windows7环境下的搭建方法，pycharm的配置方法
总结pyspark在windows7环境下的搭建方法，pycharm的配置方法windows7 spark单机环境搭建及pycharm访问sparkwindows7 spark单机环境搭建follow this link how to run apache spark on windows7知乎中window7搭建spark环境https
2016-09-12 17:30:16
948
转载 合并小文本的方法
工作总结 合并小文本的方法：http://jingyan.baidu.com/article/d3b74d64a7cf671f77e609b5.html
2016-09-12 17:29:37
347
转载 配置python 中chainer的cuda出现问题
配置python 中chainer的cuda出现问题：1、 要先安装显卡驱动，这个过程有些复杂 参考http://jingyan.baidu.com/article/9f7e7ec04896fb6f281554e7.htmlhttp://blog.163.com/zhao_en_peng/blog/static/12740422420131202110539/2、然
2016-09-12 17:28:32
2877
转载 深度学习环境搭建
Ubuntu14.04上安装pip的方法在Ubuntu14.04上，建议通过下面的方法安装，这是一种通用的方法，也适用于Windows，当然在Windows下手动下载下来就行了wget https://bootstrap.pypa.io/get-pip.py --no-check-certificatesudo python get-pip.py
2016-09-12 17:27:44
5948
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人