淮左青衣-CSDN博客

原创安全四大顶会论文查询

0x00 前言介绍安全领域四大顶会查询论文的方式0x01 USENIX Security介绍USENIX最开始其实是UNIX，但是由于商标问题后来改为USENIX，具体过程可以参见维基百科USENIX。USENIX 其实是一个计算机类会议的总称，详细会议列表可以看这里，而USENIX Security只是USENIX中的安全会议，并且USENIX Security会议涵盖的安全领域也非常多，包含：二进制安全、固件安全、取证分析、Web安全、隐私保护、恶意分析等。8.12——8.14

2021-12-10 16:51:33 6332

原创【深度学习环境搭建＜四＞】Ubuntu 18.04中 Docker 安装（APT)及配置

Ubuntu中Docker的安装授予当前用户Docker权限（不用每次都sudo）修改Docker的默认存储位置Docker中使用宿主机的GPU（安装NVIDIA Container Toolkit)将当前的Conda环境封装成Docker镜像

2021-11-30 21:59:50 2225

原创 ResNet代码详解及使用教程

0x00 参考来源Dive-into-DL-PyTorchCNNDetection/train.py at master · PeterWang512/CNNDetectionresnet 代码解读0x01 前言此系列是各种神经网络的pytorch实现的模版和代码讲解，本篇是ResNet网络的讲解和源代码分享，最近在做比赛用到这个网络了，就写了一点，有点潦草，后续再慢慢优化。0x02 代码讲解注：我是从最小的操作开始，一层一层的向外扩着讲解的。残差块里用到的卷积层操作残差块中需要用到的

2021-11-25 23:00:19 12237 3

原创【Twitter 舆论分析】Twitter 实时推文爬虫

0x00 前言继续探索Twitter API的使用，这次获取一下Twitter的实时推文。0x01 具体步骤1、sample-steam 样本流这是Twitter提供的代码，比较简单，只需要更改一下"bearer_token"即可使用，相对获得的数据单一，满足不了需求，下文讲解如何设定搜索规则# -*- codeing =utf-8 -*-# @Time : 2021/11/22 10:47# @Author:yuchuan# @File : twitter-sample-steam.py

2021-11-23 22:27:14 3967 1

原创【深度学习环境搭建＜五＞】深度学习中Docker开发环境的使用

0x00 下载镜像我们要复现的项目一般都用pytorch或者tensorflow框架，可以直接基于现有的pytorch或者tensorflow的Docker镜像，然后再在里面安装其他的包。下载地址：pytorch：https://hub.docker.com/r/pytorch/pytorch/tagstensorflow：https://hub.docker.com/r/tensorflow/tensorflow/tags根据项目中的环境要求，选择相应的版本，然后pull下来，比如：doc

2021-11-17 15:07:36 1872

原创【深度学习环境搭建＜三＞】Ubuntu 中Anaconda + Pycharm 开发环境安装

0x00 前言上一篇介绍了CUDA和cuDNN的安装，接下来，我们就要部署python开发环境了。这里我们先部署最主流的：Anaconda0x01 Anaconda 安装官网下载官网地址：https://www.anaconda.com/products/individual#linux选择这个，复制链接地址，执行下面的命令wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh安装配置执

2021-11-16 22:59:58 1261

原创【深度学习环境搭建＜前言＞】GPU、NVidia Driver、CUDA和cuDNN之间的对应关系

0x00 前言从事深度学习领域一年，复现和自己实现过几十个深度学习项目，管理

2021-11-13 17:16:59 1178

原创【报错解决方案】FFmpeg报错：subprocess.CalledProcessError: Command ‘ffmpeg，Unknown encoder: “libx264“

0x00 问题描述今天在做实验室要将视频压缩成不同质量的，因此要用到FFmpeg这个工具（不得不说这个工具功能真强大），但是安装完以后在python脚本中调用时却曝出了下面的错误，subprocess.CalledProcessError: Command 'ffmpeg -i /data/xiangtao/dataset/celeb-DF/0_Celeb-real/id0_0000.mp4 -vf select="eq(pict_type\,I)" -vsync vfr -qscale:v 2 -f

2021-11-12 16:16:41 3490

原创【Twitter 舆论分析】Twitter 爬虫绕过API限制

0x00 前言使用API可以很简单的获取到想要的数据，但是由于国内API的申请比较困难，所以如何绕过API直接爬虫是一个迫切需要解决的问题。Github上的点击收藏量高的不限制爬虫都已经被twitter封过了这里分享的版本是最开始写爬虫时练手的一个版本，功能实现的比较粗糙0x01 具体分析实现了根据用户ID，每天自动爬取用户推文，相当于监视，代码读起来相当简单，你可以根据自己的需求进行更改，下面就分享一下代码。该代码为通过screen name爬取推文，本质是通过screen name获取到id

2021-11-10 18:43:47 5643 1

原创【报错解决方案】rm 删除不了文件：rm: cannot remove XXX: Operation not permitted

0x00 问题描述今天在使用服务器的时候，使用rm删除文件的时候，发现报错：rm: cannot remove ‘data/’: Operation not permitted, 即使使用sudo也不行，移动也不可以。0x01 解决思路该问题的本质就是该文件正在被系统中的某个进程占用着，最常见的就是你的文件管理器（nautilus）卡住了，导致该文件一直被占用着。只需要把卡住的进程kill掉就好了。0x02 具体步骤查看这个文件被哪个程序占用着lsof <文件地址>如果被

2021-11-09 22:19:04 24265

原创【报错解决方案】application failed to start because it could not find or load the Qt platform plugin “xcb“

0x00 问题描述This application failed to start because it could not find or load the Qt platform plugin "xcb"in "".Reinstalling the application may fix this problem.detect_evaluation-Dataset.sh: line 21: 17306 Aborted (core dumped)0x01 具体

2021-11-08 18:40:39 2837

原创 Twitter 用户推文时间线爬虫

0x00 前言上篇分享了如何申请到Twitter api，申请到twitter API后就可以进行爬虫啦！这里分享一下如何使用API对用户推文时间线爬虫Twitter 是有分享如何使用API爬虫的python代码的，但是具体如何使用，以及各种参数如何设置需要用户自己去配置，这里分享一下如何设置和使用其中爬取用户推文的部分。0x01 具体步骤Twitter-API-v2-coda Github地址:https://github.com/twitterdev/Twitter-API-v2-sample-

2021-11-06 22:48:18 3051 3

原创【深度学习环境搭建＜二＞】CUDA和 cuDNN 的安装

0x00 前言上一篇中我们介绍了深度学习环境搭建的第一步：NVIDIA驱动的安装。现在车的轮子有了，接下来就要来搭建车的车身了，也就是今天的主角：CUDA 和 cuDNN，它是我们程序和驱动之间的连接，告诉我们怎么用Driver来发动我们的车子。0x01 CUDA 和 cuDNN 的安装CUDA 安装在官网选择CUDA的版本和要安装的平台官网地址：https://developer.nvidia.com/cuda-toolkit-archive在上面的网页中选择你要安装的版本，进入到下面

2021-11-06 18:10:16 251

原创国内如何申请到Twitter API

Tip:Twitter Developer Platform 申请只能申请一次，被拒后该账户就不能再申请了，一点要做好详细的准备再提交申请，网上的申请教程有的很坑，几句话就提交申请通过了，几率很小。Twitter开发者平台的申请，记录三次申请后通过申请链接： https://developer.twitter.com/enApply:Twitter developer tools选择：Student 重点是注册账户的信息以及申请理由的填写，也就是后面让你用英文回答的问题。下面分享一下我申请三次后成

2021-11-05 20:58:38 9569 5

原创【报错解决方案】docker-ce : Depends: containerd.io (＞= 1.2.2-3)

0x00 问题描述安装Docker的时候报错，0x01 解决思路默认安装的是最新版本，但containerd.io不适配，所以要降低安装的docker版本0x02 具体步骤查看适配自己的版本apt-cache madison docker-ce选择一个版本进行安装上图中被红圈圈出来的是我测试可以成功安装的，前面带5：的不行，sudo apt-get install docker-ce=18.06.3~ce~3-0~ubuntu测试是否安装成功终端中，输入dock

2021-11-05 20:05:03 1309

原创【报错解决方案】W: GPG error: http://dl.google.com/linux/chrome/deb stable InRelease

0x00 问题描述今天用apt update 更新apt源的时候，曝出了：W: GPG error: http://dl.google.com/linux/chrome/deb stable InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 78BD65473CB3BD130x01 问题解决问题的本质就是缺少78BD65473CB3

2021-11-05 19:30:49 4153

原创【报错解决方案】pip install xxx时报错：bad interpreter: No such file or directory

0x00 问题描述前几日，实验室的服务器坏了，只好将之前的Conda 开发环境迁移到新的服务器上。迁移获取后，使用新的环境安装python包时却曝出了bad interpreter 的错误，如下图所示，0x01 解决思路该问题的主要原因是执行pip的时候未找到python解释器，把pip程序中的python解释器的路径改一下就好了0x02 具体步骤打开程序pip的执行文件执行文件的路径就是报错bash后面的路径：我的是/4T/anaconda3/envs/CViT/bin/pip

2021-11-05 18:00:44 3487 1

原创【深度学习环境搭建＜一＞】Nvidia 驱动安装

禁用nouveau在终端中输入，打开配置文件sudo gedit /etc/modprobe.d/blacklist.conf编辑上述配置文件，在文件末尾输入下述两行blacklist nouveauoptions nouveau modeset=0更新一下应用更改，让应用生效sudo update-initramfs -u重启sudo reboot查看上述配置是否生效lsmod | grep nouveau什么都没有输出就是生效了！！！查..

2021-11-04 22:49:07 1685

原创 Ubuntu 服务器开机后二十多分钟远程连接自动断掉（自动挂起）

0x00 问题描述近日实验室新进了一批服务器，有幸分到了一台3090的。安装nvidia驱动后重启了一下，刚开始还正常能用，过了二十来分钟，远程桌面连接自动断掉了， ssh连接也连接不上，Ping IP 地址也ping不通。去机房发现服务器并不是关机了，而是基于省电进行自动挂起了，断电断网，所以导致远程连接连不上。重启了几次也不管用。0x01 解决方案方案一 —— 图形界面关掉自动挂起该方案是实验室一个同学之前的做法，具体如下：直接接入服务器，登录管理员账户在设置中找到电源选项

2021-11-04 15:02:23 3765

原创 git clone时认证失败后不能重新输入的解决方案

0x00 问题描述今天用git克隆码云上的一个项目时，手滑输错了密码，导致认证失败。再次尝试没有了输入账户密码的选项，直接使用上次保存的数据，导致一直验证失败，如图所示。0x01 问题分析产生该问题的原因是系统设置的账号密码自动保存，下次使用时直接使用系统保存的数据，导致一直没有修改的机会。0x02 解决方案**Step 1：**打开“控制面板”；**Step 2：**打开“系统和安全”；**Step 3：**打开左侧的“用户账户”；**Step 4：**打开“管理Windows凭据”

2020-05-24 23:01:39 2917

原创 ImportError: Could not find the DLL(s) ‘msvcp140_1.dll‘.

0x01 问题描述今天安装Tensorflow，安装完成后，利用如下代码进行测试， import tensorflow 报出一下错误：ImportError: Could not find the DLL(s) 'msvcp140_1.dll'.0x02 解决方案翻墙查到一个日本小哥的解决方法， msvcp140_1.dll文件包含在Visual Studio 2015、20...

2020-03-19 16:33:24 4075 3

原创 Java实现多线程爬虫

项目介绍该项目是《网络程序设计》老师布置的一个作业，让完成：给定一个网址，获取该网站中所有的图片(重要的，图标哪些就不算了），实现多线程下载，自动爬取。我做的项目爬取的是孔夫子二手书官网的计算机类的所有书籍的图片：http://item.kongfz.com/Cjisuanji/知识储备jsoup的使用java线程池的使用URL类、URLConnection类及流的处理开...

2019-04-09 17:35:45 4644 1

原创 error: expected ';', ',' or ')' before '&' token 解决方法

近期发现很多同学用codeblocks编译的时候会出现 ‘error: expected ';', ',' or ')' before '&' token’ 这个错误提示，很多同学很不解，明明就没有错呀，为什么呢？其实这就是C语言的一个知识点：在C语言中是不存在引用的，也就是说C语言中&表示的不是引用，仅仅是取地址符。所以错误提示就是告诉你&在这里用的不对，那怎么解决呢？首先介绍一个正

2017-09-24 14:43:49 68624 7

原创 python网络爬虫与信息采取之下载存储数据（一）-----下载储存媒体文件模板

还在为一张张的点下载图片而烦恼吗？请用一个程序员的思路来解决这个问题，下面就是可以节省你大量时间的代码；存储媒体文件有两种方式：一是只获取URL链接；二是直接把源文件下载下来下面这个就是直接把源文件下载下来的实例：其中，urlretrieve()函数用于下载文件代码如下：import osfrom urllib.request import urlretrievefr

2017-08-15 10:57:21 585

原创 python网络爬虫与信息采取之解析网页实例---oJ期末成绩排名

本文用到的网址是山东科技大学的oj上的期末成绩排名：http://219.218.128.149/JudgeOnline/contestrank.php?cid=2756目的:打印出排名，学号，姓名，成绩；首先，打开网页的源代码，如下：你会发现，很混乱，没有层次感；不用急，告诉你一个小技巧，先使用 soup.prettify（）函数进行格式化一下，得到如下结果：这

2017-08-13 09:15:03 890

原创 python网络爬虫与信息采取之解析网页（三）---- BeautifulSoup库的导航树实例

上篇我们讲到了通过标签的名称和属性来查找标签的findAll（),本篇将讲解如何通过标签在文档中的位置进行查找------导航树一篇文章，可以将其标签分为子标签，父标签和兄弟标签。而导航树的功能就是先在文档中找到一个位置，根据网页源代码的架构，在该位置上进行前进（子标签），后退（父标签）或平移（兄弟标签），从而遍历全部标签，获取全部内容。具体标签内容详见http://blog.csdn.n

2017-08-12 15:27:43 1196

原创 python网络爬虫与信息采取之解析网页（二）---BeautifulSoup库的find()和find_all()

本文介绍的是一个用标签的属性和内容来获取内容的功能find() 和 find_all()函数可以说是两个函数，也可以说是一个函数。为什么呢？其实这两个函数的参数基本上一样，让他们产生区别的就是li

2017-08-12 13:47:44 6887

原创 python 网络爬虫与信息采取之异常处理

本篇文章转自Ryan Mitchell 写的python：网络数据采集网络是十分复杂的。网页数据格式不友好，网站服务器宕机，目标数据的标签找不到，都是很麻烦的事情。网络数据采集最痛苦的遭遇之一，就是爬虫运行的时候你洗洗睡了，梦想着明天一早数据就都会采集好放在数据库里，结果第二天醒来，你看到的却是一个因某种数据格式异常导致运行错误的爬虫，在前一天当你不再盯着屏幕去睡觉之后，没过一会儿爬虫就不再运行

2017-08-12 10:36:44 2844

原创 python 网络爬虫与信息采取之解析网页（一）--BeautifulSoup库

写一个爬虫，如果知识不分好坏，全部都爬取下来，其混乱程度，你会发现还不如自己一个个的在网上百度方便。因此，良好的解析网页才是判定一个爬虫好坏的重要标准。在这里，我将为你介绍一个功能强大的网页信息解析库----BeautifulSoupBeautifulSoup库是一个专注于解析网页信息的强大的第三方库，他提供了很多功能，让你可以根据网页中的标签，属性或者内容进行精确的查找下面，我先

2017-08-12 09:53:10 891

原创 python资源下载与各种库的安装

俗话说的好，“磨刀不误砍柴工”。要想学好网络爬虫，一个良好的环境配置是离不开的。下面，我将介绍一下python的安装以及后面将用到的各种库的安装一.python的下载与安装python分为2.x版本和3.x版本，基本上差不多，只是有一些差别，今后的文章中我都是用3.x版本，具体操作步骤如下：1.下载地址：https://www.python.org/downloads/windows/

2017-08-11 10:09:45 657

原创 python 3.6.0 scrapy框架安装方法及疑难解决

一.最简单的方法1.打开命令行-------打开运行（win+R)，输入cmd，回车2.输入：pip install scrapy[plain] view plain copypip install scrapy 3.输入：scrapy -h 进行检测，如果没有出现“scrapy”不是内部或外部命令”，那恭喜你，你安装成

2017-08-07 11:21:07 1927 2

原创 python爬虫时 AttributeError: 'NoneType' object has no attribute 'children'错误提示

这段时间突然对网络爬虫比较感兴趣，于是入手了一下。今天看到一个大学排名的网站，想将网页上的排名信息爬取下来。代码如下： for tr in soup.find('tbody').children: AttributeError: 'NoneType' object has no attribute 'children'

2017-08-05 21:22:32 39341 35

原创安装beautifulsoup库时遇到 ImportError: No module named bs4 错误的解决方法

调用beautifulsoup库时，运行后提示错误： ImportError: No module named bs4 ，意思就是没有找到bs4模块，所以解决方法就是将bs4安装上，具体步骤如下：1.下载bs4：下载地址如下：http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/beautifulsoup4-4.3.2

2017-08-04 14:27:33 20402 1

原创 Visual Stdio 无法找到资源编译器DLL

原因：C:\Program Files (x86)\Windows Kits\10\bin\x86文件夹下缺少了rcdll.dll这个文件，出现这个问题，是因为离线安装VS导致的，在线安装是不会出现这个问题的。解决方法：本人用的是Win10 VS2017，经过一番搜查才找到原来丢失的rcdll.dll文件就在C:\Program Files (x86)\Windows Ki

2017-06-25 10:02:24 2903 1

淮左青衣