- 博客(5)
- 收藏
- 关注
RSS订阅原创 搜狐新闻小爬虫，解析数据接口并插入mysql数据库
# -*- coding: utf-8 -*-import time,hashlibimport requests,refrom lxml import etreeimport pymysqlimport datetimeheaders = { 'Connection': 'keep-alive', 'Upgrade-Insecure-Request...
2019-12-02 15:42:47
405
原创 bloom去重器，实现加载本地文件
import osfrom pybloom import ScalableBloomFilterclass filterutil: def __init__(self,path=None): self.path = path self.ispath = self._check_path(self.path) if self.ispath:...
2019-04-11 17:05:37
283
原创 asyncio异步编程，3秒600次请求，提高你的爬虫采集效率
最近深入探索scrapy框架，发现一个叫twisted的东西，也就是异步编程，进而碰到了asyncio，与结合aiohttp爬虫的采集速度提高了几十倍，甚是欢喜，发布出来与大家一同分享。import asyncioimport reimport aiohttpclass Crawler: def __init__(self, maxtasks=100): self...
2019-04-10 16:58:21
634
原创 Tensorflow 解决AttributeError: 'RefVariable' object has no attribute 'numpy'报错信息
解决AttributeError: ‘RefVariable’ object has no attribute 'numpy’报错信息在做线性回归的时候出现了变量没有numpy属性的错误，百度也为找到相关解决方法，下面将代码奉上，附加解决方案！import tensorflow as tfimport matplotlib.pyplot as pltclass Model(object):...
2019-02-28 17:04:11
12610
9
原创 抽奖模型设计代码
需求：1：奖池奖品为 5、20、50、10000，每次投入10系统随机反馈奖品或不反馈奖品，要求最终的产出投入比不得超过0.85。2：不得让游戏玩家通过历史抽奖数据观察出中奖规律3：新玩家的中奖概率大于老玩家的中奖概率4：解决玩家万一抽中奖品10000，放弃游戏，对平台造成损失的情况from math import *import randomfrom collections imp...
2018-11-22 15:23:54
971
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人