1 爬了个爬

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 47w+

flask动态传递参数接口+动态修改MySQL数据库表数据

业务场景:1.写一个接口,用于接收爬虫提交的数据。2.将数据保存到mysql数据库已经创建好的用户表3.如果某个用户的数据已经存在,则更新数据(注意不是覆盖,数据库有多个字段,并不是每一次接收的数据都包含所有字段,所以需要仅更新有数据的字段)分析:接口可以使用flask的注解完成,非常简单需要操作数据库,那么首先就应该建立数据库连接然后通过链接映射表的模型,并且将这个模型实例化为一个对象最后使用这个对象的方法进行数据库操作使用sqlalchemy可以完美实现,没有安装的可以使用先提供一个

2020-07-17 14:32:47

pycharm导入相同目录文件报错解决办法

今天有个项目需要部署到远程桌面,但是在远程端用pycharm打开文件发现导包报错,运行代码肯定也是报找不到文件错的。如下图:检查文件目录,同级目录没什么问题(polling_task*两个文件中导包,同级目录)应该是pycharm默认的导包路径有问题了,但是这个远程的桌面有其他的程序在运行,不能改这个路径。只好去万能的度娘上面找答案,然而搜索到的答案都是设置mark directory ...

2020-05-06 11:35:29

记录抓取某直聘网站

近期有朋友让我帮抓一下某个直聘网站的招聘岗位,闲来无事就试了一下。考虑到这种网站肯定是有反爬机制,于是使用Selenium+Chrome的方式抓取用到的主要工具:python3.5seleniumscrapy由于网站的数据是可以按照地市来查询的,所以先访问该网站支持的城市划分使用scrapy的self.start_urls进行请求self.start_urls = ['https:...

2020-01-13 10:54:42

Ubuntu16.04安装谷歌浏览器和selenium

为了方便工作需要安装谷歌浏览器和selenium,在此记录一下安装过程系统版本为Ubuntu16.04的64位,所以我安装的浏览器和驱动版本均为64位安装谷歌浏览器打开终端,输入以下命令下载谷歌浏览器,具体的版本号根据自己的系统选择wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb下...

2019-11-30 14:37:18

ubuntu安装scrapy框架

安装scrapy框架需要有lxml和openssl 两个包pip install lxmlsudo apt-get install python-openssl安装依赖包sudo apt-get install libssl-devsudo apt-get install python-devsudo apt-get install libevent-devsudo apt-get ...

2019-11-28 17:13:42

解决虚拟机无法复制粘贴

主机系统win10,虚拟机系统Ubuntu16.04无法从主机复制到虚拟机,使用以下命令解决sudo apt-get autoremove open-vm-toolssudo apt-get install open-vm-tools-desktop

2019-11-28 10:11:34

记录fiddler+Ubuntu抓取微信公众号

使用工具为fiddler安装Mono环境因为系统是Ubuntu16.04,安装比较方便。输入:sudo apt-get install mono-complete官方下载地址:http://fiddler.wikidot.com/mono下载后解压文件名为app使用Fiddlercd到目录下,使用命令 mono Fiddler.exe即可运行使用前还需要注意几个地方,否则很可能会...

2019-10-31 10:11:16
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。