- 博客(90)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 使用python查询mongodb指定一段时间数据
mongodb中保存的数据是使用ISODate类型"lastAccessTime" : ISODate("2015-02-13T11:57:27.003Z")在mongodb中,如果想获取11月14号之后的数据，可以直接这样来写查询条件{'crawler.date':{'$gte':ISODate("2018-11-14T00:00:00Z")} }但是python中没有ISODate类型...
2018-11-14 09:40:37
44153
2
原创 【2018】python面试题大全【爬虫阶段】
96. git常见命令作用某个文件夹中的内容进行版本管理：进入文件夹，右键git bashgit init 初始化，当前所在的文件夹可以被管理且以后版本相关的数据都会存储到.git文件中git status 查看当前文件夹以及子目录中文件是否发生变化：内容修改/新增文件/删除，已经变化的文件会变成红色，已经add的文件会变成绿色git add . 给发生变化的文件（贴上一个标签...
2018-07-26 19:35:54
37887
原创 使用python抓取App数据
App中的数据可以用网络爬虫抓取么答案是完全肯定的：凡是可以看到的APP数据都可以抓取。 下面我就介绍下自己的学习经验和一些方法吧 本篇适合有过web爬虫基础的程序猿看 没有的的话学的可能会吃力一些App接口爬取数据过程使用抓包工具手机使用代理，app所有请求通过抓包工具获得接口，分析接口反编译apk获取key突破反爬限制需要的工具：夜神模拟器Fiddler...
2018-07-24 12:50:37
66682
6
原创 【数据分析实战】印尼雅加达咖啡市场分析：品牌排名与市场趋势解读
印尼，作为位于赤道的“万岛之国”，拥有得天独厚的地理和气候条件，以及丰富多样的文化和种族，孕育了多元化的咖啡文化。当地人对咖啡的热爱如火如荼，在雅加达的街头，各种咖啡店、小推车以及特色饮品无不展示着印尼人对于咖啡的热情。无论是平价的街头小推车咖啡，还是国际大牌的高品质享受，抑或是本土连锁的性价比之选，印尼人在咖啡选择上有着丰富的体验。在这个竞争激烈的市场中，消费者更偏爱哪种咖啡方式？印尼咖啡市场将在哪些方面迎来增长？咖啡品牌商应如何抓住消费者的需求？最近，我对印尼雅加达。
2024-04-03 10:28:04
1010
原创 temu英国电商市场洞察：2月份商品销售数据分析Python数据采集Api
通过以上分析，我们全面了解了英国区Temu平台2月份的销售数据和市场趋势，反应了消费者的购买偏好和市场竞争格局。这些数据和分析为我们未来的市场营销和产品策略提供有力的支持和指导，帮助我们抢占市场先机，实现业务增长和持续发展。本数据持续更新，欢迎砸单~该分析仅供学习交流使用，禁止用于商业用途，不构成任何投资建议。数据采集、产品定制开发、数据分析大数据分析为运营和各行业带来了前所未有的机会，使企业能够更敏锐地洞察市场、优化运营，并更有效地应对竞争和变革。
2024-03-13 10:57:16
1449
原创 【数据分析实战】用猛男必备的可视化库做春节档最火电影【第二十条】影评数据分析-1
综合分析来看，《第二十条》在观众中引起了较大的关注，大部分观众给予了较高的评分，表明电影在整体上获得了一定程度的认可和喜爱。通过NER抽取，我们也了解到观众对于电影中的主要演员和导演的关注程度，这有助于我们进一步了解电影的受众群体和市场表现。接下来，我们将在下一篇博客中继续深入挖掘评论中的好评和差评，以更全面地了解观众对于这部电影的评价。敬请期待！需要采集数据的可以联系我~该分析仅供学习交流使用，禁止用于商业用途，不构成任何投资建议。
2024-02-29 16:33:18
884
原创 【数据分析实战】冰雪大世界携程景区游客客源分布pyecharts地图
通过对冰雪大世界5528条携程用户公开评价的深入分析，我们深入了解了客源的情况，以及景区在哪些地区推广较弱等。该分析仅供学习交流使用，禁止用于商业用途，不构成任何投资建议。大数据分析为运营和各行业带来了前所未有的机会，使企业能够更敏锐地洞察市场、优化运营，并更有效地应对竞争和变革。在信息时代，充分利用大数据分析，将成为企业取得竞争优势的不可忽视的关键要素。本人数据分析领域的从业者，拥有专业背景和能力，可以为您的数据挖掘和分析需求提供支持。
2024-01-16 17:50:57
1093
原创 【数据分析实战】冰雪大世界携程景区评价信息情感分析采集词云
通过对冰雪大世界5528条携程用户公开评价的深入分析，我们深入了解了游客的评价情况，以及景区在不同方面的优势和改进空间。该分析仅供学习交流使用，禁止用于商业用途，不构成任何投资建议。大数据分析为运营和各行业带来了前所未有的机会，使企业能够更敏锐地洞察市场、优化运营，并更有效地应对竞争和变革。在信息时代，充分利用大数据分析，将成为企业取得竞争优势的不可忽视的关键要素。本人数据分析领域的从业者，拥有专业背景和能力，可以为您的数据挖掘和分析需求提供支持。
2024-01-05 09:53:19
2189
3
原创 【数据分析实战】华住集团酒店行业洞察：节假日与工作日表现对比
随着旅游业的蓬勃发展和疫情逐渐得到控制，酒店行业正在逐渐走出低谷。华住集团，作为行业的佼佼者，其门店在假日和工作日的表现成为了投资者和行业观察者关注的焦点。今天我们通过对采集到的数据分析下各酒店类型入住率和日均价数据，了解华住集团在不同时间段的运营特点。我们通过华住会和其他公开渠道采集到了8026条酒店数据，其中包括了各个门店的基本信息、评分、房间数、房型剩余、房型价格等多维度数据。这些数据是我们分析的基础，通过Python中的数据处理库和可视化工具，我们得以深入挖掘这一海量信息中的有价值的洞见。
2023-12-14 18:01:36
1295
3
原创 【数据分析实战】酒店行业华住集团门店分布与评分多维度分析
近年来，随着旅游业的迅猛发展和疫情后经济的复苏，酒店行业备受关注。华住集团作为中国领先的酒店集团之一，通过分析它的门店分布和各方面的评分数据，能够更深入地了解这个行业的运作和表现。为了更全面地洞察酒店行业的运营状况，我采集了华住网站上的公开数据，并结合Python中的pyecharts和pandas等工具进行了详尽的分析。通过这些分析，我们希望看到华住集团在门店分布、服务品质等方面的独特之处，以及如何适应旅游业和经济波动的挑战。
2023-12-08 14:00:54
1539
原创 【咖啡品牌分析】Google Maps数据采集咖啡市场数据分析区域分析热度分布分析数据抓取瑞幸星巴克
瑞幸咖啡： 瑞幸咖啡在近年来取得了令人瞩目的增长，成为市场上的新兴力量。市场多样性： 新加坡的咖啡市场呈现出多样性，包括国际品牌（如Starbucks、The Coffee Bean & Tea Leaf）和本地品牌（如Craftsmen Coffee）等。这表明消费者在咖啡选择上有广泛的品牌和类型可供挑选。本地品牌竞争力： 一些本地品牌在市场中表现出色，具有较高的评分和品牌知名度。反映了本地品牌成功创造独特价值、吸引消费者的能力。国际品牌的存在。
2023-11-17 16:31:14
1999
5
原创 【市场分析】Temu数据采集销售额商品量占比分析数据分析接口Api
temu电商平台是一个充满活力的电商平台，拥有多种商品类别和数万家店铺。在这个项目中我的任务是采集平台上的大量公开数据信息。通过数据采集，我旨在深入了解temu电商平台的产品分布、销售趋势和文本描述，以揭示有趣的见解。
2023-11-03 15:42:51
2193
1
原创 【temu】分析拼多多跨境电商Temu数据分析数据采集
Temu是拼多多旗下跨境电商平台，于2022年9月1日在美国、加拿大、新加坡、中国台湾、中国香港等市场上线。本文作者从销售额、销量、产品分布等方面，对Temu产品进行了分析，一起来看一下吧。
2023-10-18 16:22:55
2236
3
原创 牛！playwright 一行命令一键把html网页保存为pdf，太方便了！
今天介绍将HTML网页抓取下来，然后以PDF保存，也可以将自己写好生成的HTML转成PDF。废话不多说直接进入教程。
2023-10-16 09:35:16
744
原创 【问大家】电商问答数据的采集与深度分析-2
本篇介绍了评价、问答相关的实际案例，展示了数据分析如何在实际场景中产生积极影响。这些案例说明数据分析在产品决策、市场营销等方面的重要性。无论是产品还是运营，数据分析都是其日常工作中不可忽略的一个板块。期待着能够与您共同探索更多有意义的数据洞见，为您的项目和业务提供数据分析方面的帮助。数据分析领域的从业者，拥有专业背景和能力，可以为您的数据挖掘和分析需求提供支持.
2023-09-15 17:38:13
1211
原创 全量数据采集：不同网站的方法与挑战
在当今数字化时代中，有数据就能方便我们做出很多决策。数据的获取与分析已经成为学术研究、商业分析、战略决策以及个人好奇心的关键驱动力。本文将分享不同网站的全量数据采集方法，以及在这一过程中可能会遇到的挑战。数据采集是探索数字世界的关键一步。通过了解不同网站的全量数据采集方法，我们能够更深入地了解特定领域、市场和用户行为。然而，我们要谨慎行事，遵守法律和伦理规定，以确保数据采集的合法性和合规性。爬虫工具是有用的，但思路更加重要，它们可以帮助我们解决数据获取和分析中的各种问题。
2023-09-15 14:41:13
1482
原创 【问大家】电商问答数据的采集与深度分析
本篇介绍了评价、问答相关的实际案例，展示了数据分析如何在实际场景中产生积极影响。这些案例说明数据分析在产品决策、市场营销等方面的重要性。无论是产品还是运营，数据分析都是其日常工作中不可忽略的一个板块。期待着能够与您共同探索更多有意义的数据洞见，为您的项目和业务提供数据分析方面的帮助。数据分析领域的从业者，拥有专业背景和能力，可以为您的数据挖掘和分析需求提供支持.
2023-09-02 16:54:24
1117
1
原创 【产品分析】如何利用咖喱外卖店铺数据进行营销分析Python
在外卖平台上经营咖喱店铺时，海量的订单数据和用户评价等信息将成为商家优化营销策略的重要依据。然而，面对大量的数据，如果没有合适的分析方法，这些数据就变得毫无意义。本文将介绍如何使用Python中常用的可视化工具和方法，对咖喱店铺数据进行分析和可视化展示，以辅助商家制定更好的营销策略。首先，商家需要收集并清理所需的数据。这些数据包括商品、商品销量、商品好评率、店铺评分、店铺销量、位置、品牌等信息。本人收集了全国31个城市开通外卖并且销售咖喱商品的店铺，该分析分享选取【北京】这个城市，作为本次数据分析的数据，共
2023-04-28 17:45:29
822
1
原创 【产品分析】战斗民族电子商务平台OZON-美妆类目采集分析分析
近年来，美妆行业在全球迎来蓬勃发展，海外美妆市场体量在不断提升，不少国产美妆也在塑造自身品牌的同时寻求出海机遇。以前科技并不怎么发达，不仅没有这么多形形色色的化妆品，也不知道哪些化妆品卖得好？化妆品的价格分布是怎样的呢？什么地方的化妆品销量最高呢？简直有十万个为什么，希望别人给我们解答。随着科技的飞速发展，互联网沟通了你我他。我们通过Ozon上美妆的销量，就可以解决我们想要知道的好多问题。基于此，我爬取了平台上3000多条月饼的销售数据，为大家展示了一幅漂亮的可视化大屏，解决大家心目中的问题。
2023-02-23 16:18:32
3043
2
原创 2023年Python面试题（真题）【入门】
Python是目前编程领域最受欢迎的语言。在本文中，我将总结大厂Python面试中最常见的多个问题。每道题都提供参考答案，希望能够帮助你在2023年求职面试中脱颖而出，找到一份高薪工作。这些面试题涉及Python基础知识、Python编程、数据分析以及Python函数库等多个方面。
2023-01-12 13:40:55
627
原创 【产品分析】amazon数据采集亚马逊数据分析评论分析竞品
通过观察国外平台蓝海关键词，发现Gun这类商品在平台较受欢迎。本文将采集呀马逊上的Gun这个类目作为今天产品分析的数据。采集数据使用的是Python1、呀马逊对于国外的IP友好，对于国内IP不友好。2、小规模采集可以使用香港VPN或者美国IP直接通过 request请求即可数据集展示：本次采集了1501条数据，过滤掉没有价格或已售空或不支持售卖地区的商品还剩1096条可用数据集；数据仅供参考~定期更新以技术的角度分析产品的文章。
2022-12-09 17:37:25
1009
原创 【产品分析】某红书数据采集数据分析评论分析笔记爬虫采集
伴随着购买力及消费水平的日益提高，健康养生的观念日益普及,我国居民消费者更加注重自身健康管理及生活品质的提高。提前摄取保健品提高健康水平、并减少药品治疗的健康理念得到社会广泛认同，营养保健食品消费日渐成为习惯。同时环境污染等问题日益突出，亦扩大了功能性软糖等营养保健食品行业的市场需求。随着国内消费者对功能性软糖产品认可度的提升，近年来国内外厂商积极布局功能性软糖市场。今天就来分享下软糖的产品设计辅助分析方法1、抓取相关关键词的大量笔记。2、抽取关键数据，如笔记中提到的口味、使用场景、购买渠道等。
2022-11-14 12:26:21
3207
6
原创 某人均月薪十万社交平台数据问题采集分析-某乎
在平台上看到一个《有哪些不怎么知名，待遇却很好的公司？》的话题，有15,473关注者，被浏览次数达8,043,171，看来很多人在默默关注这类信息，于是决定通过爬虫技术、自然语言处理技术对该话题进行统计分析。...
2022-07-21 11:51:56
171
2
原创 【爬虫】Laza大商品采集维度数据分析
Laza大东南亚地区最大的在线购物网站之一。 获得德国创业孵化器RocketInternet桑威尔兄弟(SamwerBrothers)支持，目标主要是印尼、马来西亚、菲律宾以及泰国用户。 该集团自2016年起成为阿里巴巴集团东南亚旗舰电商平台。采集目标采集新加坡地区的手机分类商品，并通过个维度指标进行占比分析。爬虫代码开发该网站没有设置复杂反爬虫机制，只需要挂上随机ip请求即可。这里就不在分析反爬虫解析了。爬虫code直接上采集代码import requestsimport reimp
2022-03-07 18:03:53
1307
1
原创 【app爬虫】某宝详情页《问大家》数据采集分析
背景介绍问大家这个版块对于卖家和买家都有很重要的作用。就买家来说，现在越来越依赖“问大家”作为参考。里面的问题很多都直接指向产品质量和服务质量，从而判断是否值得购买。但是同时对于卖家来说也直接影响到产品的转化，通过问题和答案可以很好地反映出当前产品的优点和不足，所以做好一板块至关重要。接口分析抓包由于手机tb有链接分享功能，所以可跳过app抓包，直接复制链接到浏览器打开，通过谷歌浏览器开发者工具的帮助可对接口请求进行分析采集。1、打开手机淘宝，随意浏览个宝贝2、进入宝贝详情页，进入问大家主
2022-03-04 09:55:12
2114
2
原创 ptyhon获取修改当前工作路径
import osos.chdir("目标目录") #修改当前工作目录os.getcwd() #获取当前工作目录
2021-12-31 16:44:10
276
原创 python 获取内存和cpu的使用率
获取远端设备的内存使用率和CPU使用率Python前辈封装了一个Paramiko模块，允许我们通过SSH对远程系统进行操作，上传和下载文件非常方便。他的使用很直观，下面是使用Paramiko封装的一个获取cpu、内存使用率的一个例子；import paramikoimport timelinux = ['192.168.11.111']def connectHost(ip, uname='root', passwd='bjzh@2020#7120'): ssh = paramiko..
2021-07-29 14:41:21
14110
6
原创 python requests 库 跳过ssl 验证
# -*- coding: utf-8 -*-import requestsimport sysreload(sys)sys.setdefaultencoding('utf-8')#import ssl#ssl._create_default_https_context = ssl._create_unverified_contextproxy_handler = {'http': ...
2020-03-06 12:05:04
38514
1
原创 Elasticsearch-head 请求头 Content-Type header 设置
ElasticSearch搭建完成后准备使用es-head建立索引时发现Content-Type错误了看一下网络流可知报406 错误{ "error" : "Content-Type header [application/x-www-form-urlencoded] is not supported", "status" : 406}解决办法进入head插件安装目录编辑/u...
2019-12-20 10:30:15
38602
2
原创 使用Docker安装部署ElasticSearch和ElasticSearch-Head
什么是 Elasticsearch想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。为什么要用 Elast...
2019-12-20 10:20:44
34733
原创 对公司的建议_工作总结
1、一些实验操作方法能够制作成视频或者把操作规程做成牌子挂在相应的仪器或设备旁边。有利新员工的培训及老员工养成规范性操作的习惯。2、体检：公司能够每年为员工组织一次健康体检，在公司指定的医院进行。3、有的制度无法有效的推行。培养员工的认识水平和自觉意识，然后相关部门应当加强监管，持之以恒。4、关爱员工让员工感觉到家的温暖，提高工作热情。5、公司应当认真的对待每一个员工提出的推荐，组织相关人...
2019-12-17 17:54:13
41628
原创 Python 技巧十则
根据Stack Overflow的介绍，Python是增长最快的编程语言。福布斯》的最新 报告 指出，Python去年增长了456％。Netflix使用Python，IBM使用Python，其他数百家公司都使用Python。让我们不要忘记Dropbox。Dropbox也是用Python创建的。根据 Dice的研究， Python也是拥有的最热门的技能之一，并且根据“编程语言索引的流行度”，...
2019-12-04 09:40:46
32404
2
原创 Python 海象运算符 (:=) 的三种用法
随着Python 3.8的发布，赋值表达式运算符（也称为海象运算符）也发布了。运算符使值的赋值可以传递到表达式中。 这通常会使语句数减少一个。 例如：my_list = [1,2,3]count = len(my_list)if count > 3: print(f"Error, {count} is too many items")# 当转换为海象运算符时...if ...
2019-11-30 21:42:23
16180
5
原创 Python效率之王之多进程和多线程详解
本指南的目的是解释为什么在Python中需要多线程和多处理，何时使用多线程和多处理，以及如何在程序中使用它们。文章太长不想看？这里是内容摘要啦~对于IO-bound任务，使用多线程可以提高性能对于IO-bound任务，使用多进程也可以提高性能，但是开销往往比使用多线程要高Python GIL意味着在Python程序的任意给定时间内只能执行线程对于CPU bound任务，使用多线程实际会...
2019-11-30 20:46:19
1605
1
原创 python爬虫智能解析库详解
文章很长 请耐心阅读什么是爬虫爬虫是做什么的？是帮助我们来快速获取有效信息的。然而做过爬虫的人都知道，解析是个麻烦事。比如一篇新闻吧，链接是这个:https://news.ifeng.com/c/7kQcQG2peWU，页面预览图如下：我们需要从页面中提取出标题、发布人、发布时间、发布内容、图片等内容。一般情况下我们需要怎么办？写规则。那么规则都有什么呢？怼正则，怼 CSS 选择器...
2019-11-24 15:45:43
2767
1
印尼雅加达咖啡店Googlemap数据集202403
2024-04-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人