- 博客(6)
- 收藏
- 关注
原创 Scrapy入门(2)
调试通常有两种方法对Scrapy项目进行调试,一种是通过scrapy.shell,另一种是通过IDE的Debug功能。这里介绍第二种。运行环境 - 语言:python 3.6 - IDE: VS Code - 浏览器:Chromescrapy shell在命令行中输入 scrapy shell 【想要访问的页面url】 成功后会进入scrapy shell进行操作: ...
2018-04-24 18:49:30 340
原创 Win10+Python 3.6环境下cuda 9.1+cuDNN 7.1+Tensorflow 1.7+keras安装
安装环境:windows 10 64bit python 3.6安装以下步骤进行安装:更新GPU驱动—>安装cuda—>安装cuDNN—>安装Tensorflow—>安装keras1、更新GPU驱动首先查看机器的GPU型号,查看其是否支持cuda,在Nvidia官网下载对应的最新驱动进行跟新。这一步应该很简单,就不多说了。2、安装c...
2018-04-17 13:09:37 4248 3
原创 Scrapy入门(1)
前言前期自己写过一些爬虫,都是用urllib、bs4等实现的,没有涉及到爬虫框架。这次准备系统的学习一下scrapy框架。什么是Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数...
2018-04-13 21:05:17 353
原创 Python网络数据采集
通读完Python网络数据采集,总体上内容比较基础,主要采用urllib、BeautifulSoup、requests等进行爬取,对Scrapy等框架浅尝辄止。下面是三个比较有代表性的程序示例利用urllib和BeautifulSoup对wiki页面的链接进行采集from urllib.request import urlopenfrom bs4 import Beautiful...
2018-04-11 20:26:23 341
原创 更改Jupyter Notebook默认工作路径的方法
查阅了相关资料,对于网上说的在jupyter notebook快捷方式属性中,起始位置添加目录并无法改变默认工作路径。在试了多种方法后,发现快捷方式属性中目标一项最后有一参数 %USERPROFILE%,将其删除后发现notebook的默认工作路径发生了变更,说明这个参数决定了工作路径。因此,将自己的工作路径添加进去,如下图: 至于要不要加引号,网上有的说要加,在我的机器上是不需要加的。...
2018-04-11 12:20:07 366
原创 ASP.NET MVC 批量文件上传
根据项目需要,研究了一下如何在ASP.NETMVC下实现批量文件上传。首先,介绍单文件上传;然后,介绍多文件上传如何实现。一、单文件上传单文件上传的原理是将文件数据放入request中,由页面直接传递至后台controller中,类似于view和controller之间传参数,直接贴上代码加注释。 Upload.aspx文件中的代码:<form enctype="multi...
2018-03-20 19:36:24 1513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人