- 博客(6)
- 收藏
- 关注
RSS订阅原创 Scrapy入门（2）
调试通常有两种方法对Scrapy项目进行调试，一种是通过scrapy.shell，另一种是通过IDE的Debug功能。这里介绍第二种。运行环境 - 语言：python 3.6 - IDE： VS Code - 浏览器：Chromescrapy shell在命令行中输入 scrapy shell 【想要访问的页面url】 成功后会进入scrapy shell进行操作： ...
2018-04-24 18:49:30
340
原创 Win10+Python 3.6环境下cuda 9.1+cuDNN 7.1+Tensorflow 1.7+keras安装
安装环境：windows 10 64bit python 3.6安装以下步骤进行安装：更新GPU驱动—>安装cuda—>安装cuDNN—>安装Tensorflow—>安装keras1、更新GPU驱动首先查看机器的GPU型号，查看其是否支持cuda，在Nvidia官网下载对应的最新驱动进行跟新。这一步应该很简单，就不多说了。2、安装c...
2018-04-17 13:09:37
4245
3
原创 Scrapy入门（1）
前言前期自己写过一些爬虫，都是用urllib、bs4等实现的，没有涉及到爬虫框架。这次准备系统的学习一下scrapy框架。什么是Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数...
2018-04-13 21:05:17
351
原创 Python网络数据采集
通读完Python网络数据采集，总体上内容比较基础，主要采用urllib、BeautifulSoup、requests等进行爬取，对Scrapy等框架浅尝辄止。下面是三个比较有代表性的程序示例利用urllib和BeautifulSoup对wiki页面的链接进行采集from urllib.request import urlopenfrom bs4 import Beautiful...
2018-04-11 20:26:23
341
原创 更改Jupyter Notebook默认工作路径的方法
查阅了相关资料，对于网上说的在jupyter notebook快捷方式属性中，起始位置添加目录并无法改变默认工作路径。在试了多种方法后，发现快捷方式属性中目标一项最后有一参数 %USERPROFILE%，将其删除后发现notebook的默认工作路径发生了变更，说明这个参数决定了工作路径。因此，将自己的工作路径添加进去，如下图： 至于要不要加引号，网上有的说要加，在我的机器上是不需要加的。...
2018-04-11 12:20:07
365
原创 ASP.NET MVC 批量文件上传
根据项目需要，研究了一下如何在ASP.NETMVC下实现批量文件上传。首先，介绍单文件上传；然后，介绍多文件上传如何实现。一、单文件上传单文件上传的原理是将文件数据放入request中，由页面直接传递至后台controller中，类似于view和controller之间传参数，直接贴上代码加注释。 Upload.aspx文件中的代码：<form enctype="multi...
2018-03-20 19:36:24
1512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人