- 博客(238)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 python通过shapely 的 valid 判断aoi图形是否有效
【代码】python通过shapely 的 valid 判断aoi图形是否有效。
2024-03-31 22:09:01
176
原创 魔行观察-每日品牌监测-沪上阿姨-开店趋势
遵循「健康」、「现煮」、「新鲜」、「美味」的原则，深度发掘传统茶饮的新可能。坚持原创匠心精神，从产品原料研发到门店终端不断创新升级，用年轻化时尚潮流的方式演绎的现煮茶饮，满足于顾客源源不断的新鲜感与探求欲，让健康现煮五谷茶饮成为一种时尚潮流的生活方式。行业关键词：品牌, 品牌监测, 品牌数据, 品牌分布, 奶茶品牌, 咖啡品牌, 品牌舆情, 竞品分析, 行业赛道, 品牌拓店, 开店。今日监测对象：沪上阿姨，监测时间段：2014年9月至2023年12月，发布时间：2024-03-05。
2024-03-06 15:45:57
483
原创 Reqable爬虫抓包工具(国产网络调试工具)
Reqable的前身是HttpCanary（一款Android平台应用程序），但是国内开发者推翻了所有的技术栈，并用C++和Flutter重写，只保留了logo和主题色，所以两者并没有太多关联。Reqable是一款跨平台的专业HTTP开发和调试工具，在全平台支持HTTP1、HTTP2和HTTP3(QUIC)协议，简单易用、功能强大、性能高效，助力程序开发和测试人员提高生产力！Reqable可以编辑和发送HTTP请求，用来测试API接口，同时还支持API集合存储和历史记录等功能。
2024-03-05 17:05:59
1359
原创 魔行观察-每日品牌监测-书亦烧仙草-开店趋势
书亦烧仙草，创立于2007年，主打烧仙草茶饮，先后开发杨枝甘露烧仙草、小芋圆烧仙草、酸奶烧仙草等创新饮品，崇尚“时尚、健康”的茶饮理念，讲求“客户第一”的企业价值观，目前已成为烧仙草茶饮领导品牌。行业关键词：品牌, 品牌监测, 品牌数据, 品牌分布, 奶茶品牌, 咖啡品牌, 品牌舆情, 竞品分析, 行业赛道, 品牌拓店, 开店选址, 商场, POI数据, 外卖数据。今日监测对象：书亦烧仙草，监测时间段：2014年9月至2023年12月，发布时间：2024-03-05。
2024-03-05 16:29:05
542
原创 魔行观察-蜜雪冰城-2008年至2023年的开店趋势图
闲来无事做，用魔行观察-魔查查上的品牌门店数据简单分析了一下知名饮品类品牌：蜜雪冰城 从2008年开始一直到2023年11月份的开店情况，发现在2022年是开得最猛的，确实牛皮。
2024-03-04 13:44:48
229
原创 全国范围内住宅区AOI围栏数据2024更新-魔查查-魔行观察
怒江路131弄1-46号(大渡河路地铁站9号口步行250米)簇桥后街100号(华兴地铁站A口步行470米)路桥大道(东)辅路与吉利大道交叉口北300米。文坛路与河北大街西段辅路交叉口西北260米。麦地南路与麦地东二路交叉口西北100米。紫阳观南路与紫阳观路交叉口西南120米。小力街与342县道交叉口东北150米。文峰路与湖西一路交汇处西南100米。金山大道与西大街交叉口西南200米。惠民路与402县道交叉口北100米。通港路与002乡道交叉口东420米。杜鹃街与铧子山大街交叉口东100米。
2024-02-25 14:52:28
588
原创 全国大型商场内的门店数据12月更新：70万+
周六,周日 09:30-21:30 周一至周五 10:00-20:30。周一至周日 08:00-14:00 18:00-22:00。滨海大道170号海口国际免税城三层L3-15号铺位。周二至周日 09:00-21:00。周一至周日 09:00-22:00。周一至周日 18:30-03:00。周一至周日 10:00-22:00。周一至周日 10:00-22:00。周一至周日 11:00-19:00。周一至周日 10:00-22:00。周一至周日 11:00-21:00。周一至周日 09:30-22:00。
2023-12-22 13:32:52
401
原创 程序产生自我意识，创造人工生命
目前有些人工智能的研究目的是想让人工智能解决一些复杂的人类社会方面的问题如机器翻译等，则是完全错误的目标，不可能成功，因为如果一个系统不能表现出自我意识，它就不能与人类交流，也就不可能具有解决这些问题的能力，表现出来的现象就是通常说的"机器不犯错，一旦犯错就是大错"。模式识别和深度学习的成果只是通用人工智能的一个路标，人工智能的“有用”的应用期，很可能只是奇点之前白马过隙般短暂的一个过渡期而已，不用高兴得太早，也许都是白忙，给机器人作嫁衣。奇点之后，很可能所有生物智能都将淘汰。感兴趣的朋友可以去看一看。
2023-09-05 13:45:42
340
原创 冒险岛的核心玩法是什么-攻略
首先，打开游戏，在游戏主页面单击确认键进入游戏。前进，开始的时候我们没有武器，第一个蛋我们打开会获得武器。在前方的第二个蛋是滑板，装备上之后我们就多了一层保护。然后，我们发出攻击，之后会有一个特殊关卡。不要碰到敌人和火把，碰到之后我们就会失败。最后，走到尽头，我们就通关了。这就是这款游戏的核心玩法了。整个游戏共有8个场景，目的是救出被怪物抓的公主，而每一个场景又包括4个阶段。主角会在最后一个阶段的结尾遇到BOSS角色。只有打倒了BOSS（弱点在头部）才可以顺利通关。
2023-08-31 09:08:17
135
原创 全国范围AOI-电子围栏数据2023年10月更新，共计：200万+
AOI（Area of Interest），顾名思义，指的是互联网电子地图中的兴趣面，同样包含四项基本信息，主要用于在地图中表达区域状的地理实体，如一个居民小区、一所大学、一个写字楼、一个产业园区、一个综合商场、一个医院、一个景区或一个体育馆等等；政府机构及社会团体 156283。医疗保健服务 25259。交通设施服务 11025。公司企业 570061。金融保险服务 1041。购物服务 27081。汽车服务 5257。生活服务 3588。
2023-08-24 11:27:14
203
转载 python对列表内的字典指定字段进行排序
参考该博主帖子：https://blog.csdn.net/qq_33036061/article/details/109175549
2023-05-11 11:42:42
218
1
原创 网络请求与数据提取-urllib库
关于网络爬虫，其实就是模拟浏览器向网站服务器发送请求，然后从响应的结果中提取出需要的数据。那么，该如何实现这一流程了？对于初学者来说，可能都不知道该如何入手，学习爬虫时需不需要了解HTTP、TCP、IP 层的网络传输通信和知道服务器的响应和应答原理，以及请求的这个数据结构需要自己实现吗，等等一系列问题产生疑惑。不用担心，Python的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。最基础的 HTTP 库有 urllib、httplib2、requests、treq 等。
2022-12-17 22:45:53
1017
原创 Ajax请求原理与数据抓取
Ajax 的全称为 Asynchronous JavaScript and XML，即异步的 JavaScript 和 XML，它不是新的编 程语言，而是一种使用现有标准的新方法，它可以在不重新加载整个页面的情况下与服务器交换数据并更新部分网页的数据。在 W3School 网站上也有几个关于 Ajax 的小实例，有兴趣的读者可以打开网址 http://www.w3school.com.cn/tiy/t.asp?f=ajax_get 去体验一下。
2022-12-17 22:12:24
3360
原创 NumPy 的使用
NumPy（Numerical Python）是Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，同时也针对数组运算提供大量的数学函数库。NumPy 的前身 Numeric 最早由 Jim Hugunin 与其他协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其他扩展而开发了 NumPy。同时，NumPy 作为开放源代码由许多协作者共同维护开发。
2022-12-14 23:29:10
620
原创 采集 “1点点” 微信小程序上的全国门店信息
备注：如果需要获取全国门店数据，只需要准备好经纬度，稍加修改该示例源码进行循环爬取即可。1点点小程序名称：1点点+，在微信小程序界面搜索添加即可。查询门店入口如下图所示。
2022-12-09 14:58:01
731
原创 3.7.6以上新版wx抓取小程序数据包
相信做爬虫的道友们，最近都已经发现了，电脑wx自动跟新新版本后，没法再像之前一样通过删除 WeChat Miniprogram Framework 进程对应的文件，然后重新登录wx的方式，最终实现用charles或者Fiddler进行抓包了。针对于此问题，虽然网络上有些同行道友们也研究出了另外的一些方式可以再次实现抓包，但都是治标不治本的，适用于临时的抓取方案，比如：降低wx版本或者限制目录写入的权限等。下载后得到的文件名为：HttpDebuggerPro-v7.8.zip 解压，如下图所示。
2022-09-13 23:51:36
2030
原创 Python playwright自动化入门
简介 Playwright是微软开源的一个UI自动化测试工具。添加了默认等待时间增加脚本稳定性，并提供录制、网络请求支持、自定义的定位器、自带调试器等新特性。优势（1）支持同步和异步（2）安装简单，不需要单独下载浏览器驱动（3）新增了文字定位元素，同时也兼容支持传统的css和xpath定位（4）支持无头浏览器模式（5）通过录制功能自动生成代码，将生成的代码进行简单的修改就可以实现业务自动化1.安装环境要求：在Python中要使用Playwright直接用pip命令安装即可，pip命令如下：这些命令下载
2022-06-21 15:46:53
3573
2
原创 python3判断经纬度是否在陆地
from global_land_mask import globe'''pip install global-land-mask'''def is_land(lat,lon): # lat = 22.509368 # lon = 114.000213 is_on_land = globe.is_land(lat, lon) return is_on_land
2022-03-17 22:03:57
1859
原创 python将字典转换为sql建表预计
'''自动生成建表语句'''def ct_table_sql(table_name,data): field_str = "" for key in data: if isinstance(data[key], str): if len(data[key]) < 255: field_str += f"{key} varchar(255) NOT NULL," else: ..
2022-01-11 15:25:36
573
原创 Python3对列表中的字典进行去重
from functools import reduce#列表中的字典去重def list_dict_qc(): data_list = [{'ref_id': '1001037', 'lat': '22.58176', 'lng': '113.87365', 'name': '新安市场', 'address': '西乡大道309号', 'source': 'AJK', 'province': '广东省', 'province_code': '440000', 'city': '深圳市', .
2021-12-29 16:00:17
1139
原创 Python计算两个字符串的相似度代码示例
import difflibs1="饭其家·特色盖浇饭金沙国际店"s2="饭其家·特色盖饭金沙国际店"def get_equal_rate(str1, str2): return difflib.SequenceMatcher(None, str1, str2).quick_ratio()print(get_equal_rate(s1,s2))
2021-08-03 17:42:44
1352
原创 墨卡托坐标系和gcj03坐标系转换
使用pytho将百度系的坐标点转换成经纬度，如图下所示的样例：转换代码：#!/usr/bin/python#-*- coding=utf-8 -*-import mathMCBAND = (12890594.86, 8362377.87, 5591021, 3481989.83, 1678043.12, 0)MC2LL = ([1.410526172116255e-8, 0.00000898305509648872, -1.9939833816331, 200.
2021-08-02 13:39:31
431
原创 python获取liunx服务器信息
import osimport platformimport refrom datetime import datetimeimport timeimport psutil'''获取服务器信息'''def get_server_information(): # 主机名称 hostname = platform.node() # 系统版本 system_version = platform.platform() # python版本 pytho.
2021-07-20 17:31:54
314
原创 大众点评网根据关键词和城市id返回搜索结果-爬虫源码示例
# -*- coding: utf-8 -*-import requestsimport refrom fontTools.ttLib import TTFontfrom lxml import etreeimport urllib.parse'''获取字体文件下载连接'''def get_woffs_url(data): svgtextcss = re.findall(r'href="([^"]+svgtextcss[^"]+)"', data)[0] woffs_url.
2021-06-28 11:20:55
1529
转载 使用fiddler和雷电模拟器抓包安卓APP https请求
好久没写博客了，今天突然闲下来随手写一个给正在学习爬虫的初学者一个参考，以大众点评APP为例，使用fiddler和雷电模拟器进行抓包分析接口，适用于新手爬虫读者。1，准备工作
2021-06-17 12:01:56
576
转载 反大数据联盟- 请防止在大数据中温柔的死去，那样的死法太惨烈！
大数据时代的诞生，是给这个时代带来了史无前例的怪物，我们普通人唯一战胜它的方法，就是不用，不听，不看，可是当下，又有几个人能够幡然醒悟，能够完全屏蔽，如果你还认为大数据时代是好的，那么我认为你已经被这个怪物已经侵蚀，接下来就剩下吞没了，怎么死都不知道，我个人理解的大数据其实就是类似于游戏中的外挂这个简单的基本原理，以后你在想做什么事都是由极少数人掌握，而剩余的大多数只能是等待死亡的降临，这绝不是危言损听~！...
2021-03-21 14:19:37
463
原创 Python+selenium实现根据session_id控制已经打开了谷歌浏览器示例
本文参考自：https://cloud.tencent.com/developer/article/1067145在使用selenium进行编写爬虫或者自动化程序的时候，每次实例化都会新开一个全新的浏览器会话，但是在有些情况下需要复用之前打开未关闭的会话。比如爬虫，希望结束脚本时，让浏览器处于空闲状态。当脚本重新运行时，它将继续使用这个会话工作。还就是在做自动化测试时，前面做了一大推操作，但是由于程序出错，重启时不用再继续前面复杂的操作。说简单点，其实就类似于连接池一样，比如使用selenium提前打开.
2021-03-15 11:59:25
2781
1
原创 Selenium+Browsermob-Proxy 爬虫-获取浏览器Network请求和响应（新示例）
之前有写过一篇文章，使用Selenium+Browsermob-Proxy 获取浏览器Network请求和响应（地址：https://blog.csdn.net/qq_32502511/article/details/101536325），发现评论里面有很多同志都说获取不到内容或者对HTTPS请求不行，今天在这里重新写个简单的例子给大家参考，这里以模拟登陆华润通H5页面为例。华润通页面地址：https://cloud.huaruntong.cn/web/m/#/homePage（注意：说HTTPS不行.
2021-03-12 12:22:47
4886
9
原创 windows 10上安装svn软件提示2503错误解决方案
在win 10系统上部分用户在安装svn时，会提示2503之类的错误，导致安装失败，例如下面的图所示解决方案：1.首先在左下角的“开始”菜单栏上鼠标【右键】选择【命令提示符(管理员)】如下图所示：2.在打开的命令提示符窗口中输入以下命令：msiexec /package "你的msi文件的路径"例如我这里输入的为：msiexec /package C:\Users\MyPC\Downloads\TortoiseSVN-1.14.0.28885-x64-svn-1.14.0
2020-12-24 17:38:21
2630
1
原创 Python获取指定日期范围内所有日期列表示例代码
import datetime'''获取指定日期范围所有日期列表'''def date_range(beginDate, endDate): dates = [] dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d") date = beginDate[:] while date <= endDate: dates.append(date) dt = dt + datetime.
2020-12-16 13:26:32
3847
2
原创 最全搭建自己的SOCKS代理服务器
1，SOCKS是什么？ 它是一种防火墙安全会话转换协议，该协议提供一个框架，为在 TCP 和 UDP 域中的客户机/服务器应用程序能更方便安全地使用网络防火墙所提供的服务。这个协议从概念上来讲是介于应用层和传输层之间的 “中介层（shim-layer）”，因而不提供如传递 ICMP 信息之类的网络层网关服务。在编写网络爬虫的时候，我们平常所接触使用到的代理IP都是HTTP或者HTTPS的代理，很少应用到SOCKS代理。socks分别有4和5两个版本，现在5为主流，所以本文所要讲解的版本为...
2020-10-16 17:36:16
6995
全国2万+商场电子围栏数据（更新时间：2022-10-28）
2022-11-24
根据postgresql或者greenplum数据库创建表的sql语句转换成最基本的django model
2018-09-12
重写Django REST framework源码demo
2018-07-17
python操作mysql数据库mysql_operation
2017-09-08
写谷歌浏览器插件的时候怎么获取到newwork中的请求的response信息
2017-08-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人