Yuano42-CSDN博客

原创 DW-32-rec_sys-Task05

Task05 推荐流程的构建1 Offline部分offline部分主要是基于前面存储好的物料画像和用户画像进行离线计算，为每个用户提供一个热门页列表和推荐页列表并进行缓存，方便online服务的列表获取。所以下面主要帮大家梳理这两个列表的生成以及缓存到redis的流程。1.1 业务流程基于离线物料系统生成的物料画像（MongoDB的NewsRecSys库的FeatureProtail集合数据），根据其发布时间以及用户的行为记录（阅读量、点赞量和收藏量）计算热度值，更新物料中所有新闻的热度

2021-12-30 16:21:30 124

原创 DW-32-rec_sys-Task04

Task04 前后端基础及交互1 前后端交互基本流程本项目的前端采用基于vue框架的Vant UI组件库，完成用户注册页、用户退出页、用户热门列表页、用户推荐列表页、新闻详情页等功能；后端采用Flask框架，使用MySQL、MongoDB和Redis作为数据存储，根据新闻推荐系统的整体功能，提供用户注册、用户登录、用户推荐页列表、用户热门页列表、新闻详情、用户行为等服务请求，完成用户从注册到新闻浏览、点赞和收藏的全流程。2 Web及前端基础 Web（World Wide Web）即全球广域网，也

2021-12-27 16:57:21 241

原创 DW-32-rec_sys-Task03

Task03 离线物料系统的构建本节内容主要讲的是上图中红框框起来的部分，也就是离线自动化构建用户和物料的画像，这部分内容在新闻推荐系统中是为系统源源不断添加新物料的途径，由于我们的物料是通过爬虫获取的，所以还需要对爬取的数据进行处理，也就是构造新闻的画像。对于用户侧的画像则是需要每天将新注册的用户添加到用户画像库中，对于在系统中产生了行为的用户，我们还需要定期的更新用户的画像（长短期）。下面分别从物料侧和用户侧两个方面来详细解释这两类画像在系统中是如何自动化构建的。1 离线物料系统基本流程新闻物

2021-12-22 19:24:05 1232

原创 DW-32-rec_sys-Task02

Task02 数据库的基本使用1 数据库在项目中的用途来自队长大大的数据库思路整理——MySQL数据库：用于存储结构化数据，包括用户信息和用户阅读日志MongoDB数据库：用于存储爬取到的新浪新闻数据，以及画像数据（用户画像、新闻特征画像、备份前端展示的新闻画像）Redis内存数据库：用于存储变化快的数据，主要存储新闻动态画像数据（即用户对新闻的行为数据）、热门页列表数据、推荐页列表数据、用户曝光表、新闻详情信息MySQL和Redis以前用过，这次主要的想通过例子训练一下用法，MongoDB

2021-12-18 17:34:42 623

原创 DW-32-rec_sys-Task01

Task01 熟悉新闻推荐系统基本流程00 安装部署工作相关软件安装部署按照JustForFun队长天国之影上传的推荐系统项目搭建指南☞：https://share.weiyun.com/u3ZIjZfg补充cnpm的安装过程：cnpm的安装1、node -v 查看node是否已安装C:\Users\lenovo>node -vv14.17.62、安装淘宝镜像C:\Users\lenovo>npm install -g cnpm -registry=https://regi

2021-12-14 22:34:07 1342

原创 Datawhale——城市管理大数据算法模型（DCIC）专题组队学习——task02

优化方案方向尝试的思路：如何推荐近邻非潮汐停车点？base：计算周围的非潮汐点并进行推荐采用全局调度的思路，避免车辆过多的进入同一个停车点?如果推荐到临近最优的点，非潮汐点过载!多点推荐，在周围的非潮汐点加入随机性，?避免推荐马路对面的非潮汐点!根据地点信息中的LR划分?如果下一个时刻该推荐即将成为潮汐点，如何避免!加入时间序列分析，时间空间均需要配合实现削填——削多，填少（时空均少）?具体的停车位置在人流量大，交通情况复杂的危险区域（学校，路口，工地）.

2021-02-24 22:43:53 148

原创 Datawhale——城市管理大数据算法模型（DCIC）专题组队学习——task01

运行时候遇到的问题与解决方法安装folium后无法import——更换python的kernel后可以import，怀疑是之前的环境里装了太多？安装geohash后无法import——找到库将Geohash改为geohash，修改文件夹下的init.py文件中的from geohash—>from .geohash如下报错将for循环里的folium.Marker( data[0, ::-1]).add_to(m)改为folium.Marker( locati.

2021-02-19 23:38:04 319 2

qq_43526989的博客