- 博客(201)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 [数据分析实践]-Image Matching-2DTo3D-1
让机器学习使用互联网上免费提供的大量非结构化图像集合，来帮助更好地捕捉世界的丰富性，这个想法怎么样？从图像重建 3D 对象和建筑物的过程称为运动结构 (SfM)。
2022-05-17 20:40:03
693
转载 [数据分析实践]-音频分析-BirdCLE-3
数据背景作为“世界灭绝之都”，夏威夷已经失去了68%的鸟类物种，其后果可能会损害整个食物链。研究人员利用种群监测来了解本地鸟类对环境变化和保护措施的反应。但岛上的许多鸟类都被隔离在难以接近的高海拔栖息地。由于身体监测困难，科学家们转向了声音记录。这种被称为生物声学监测的方法可以为研究濒危鸟类种群提供一种被动的、低成本的、经济的策略。目前处理大型生物声学数据集的方法涉及对每个记录的手工注释。这需要专门的训练和大量的时间。因此使用机器学习技能，通过声音来识别鸟类的种类，可以节约大量成本。具体来说，开发一个模
2022-05-15 15:38:55
452
转载 [数据分析]-音频分析-BirdCLE-1
wechat号：浩波的笔记数据背景作为“世界灭绝之都”，夏威夷已经失去了68%的鸟类物种，其后果可能会损害整个食物链。研究人员利用种群监测来了解本地鸟类对环境变化和保护措施的反应。但岛上的许多鸟类都被隔离在难以接近的高海拔栖息地。由于身体监测困难，科学家们转向了声音记录。这种被称为生物声学监测的方法可以为研究濒危鸟类种群提供一种被动的、低成本的、经济的策略。目前处理大型生物声学数据集的方法涉及对每个记录的手工注释。这需要专门的训练和大量的时间。因此使用机器学习技能，通过声音来识别鸟类的种类，可以节约大
2022-05-12 20:35:54
233
原创 LeetCode栈专题-1(go/py3/c++)
每个专题5道，一天一道232. 用栈实现队列地址：https://leetcode-cn.com/problems/implement-queue-using-stacks/解题思路1两个数据结构的概念：栈：后进先出队列：先进先出题目让我们用两个栈来实现一个队列，就是要让两个栈实现一个先进先出的数据结构。思路：「输入栈」会把输入顺序颠倒；如果把「输入栈」的元素逐个弹出放到「输出栈」，再从「输出栈」弹出元素的时候，则可以负负得正，实现了先进先出。具体做法：可以把一个栈当做「输入栈」
2021-04-28 20:25:26
173
1
原创 Docker学习七：使用docker搭建Hadoop集群
首先查看docker情况，由于我之前已经安装过docker，这里查看一下接下来就要在Docker上安装Ubuntu在个人文件下创建一个目build录，用于向Docker内部的Ubuntu系统传输文件然后再在Docker上运行Ubuntu系统；Ubuntu系统初始化更新系统软件源、安装vim接着安装sshd，因为在开启分布式Hadoop时，需要用到ssh连接slave:开启sshd服务器:设置自动开启配置sshd安装JDK配置hadoop集群在三个终端上开启
2021-04-18 15:38:09
904
1
原创 区块链教程(三)：Solidity编程基础
注：本教程为技术教程，不谈论且不涉及炒作任何数字货币 Solidity 入门教学1、 简介1.1 Solidity是什么Solidity 是一门面向合约的、为实现智能合约而创建的高级编程语言。这门语言受到了 C++，Python 和 Javascript 语言的影响，设计的目的是能在以太坊虚拟机（EVM）上运行。Solidity 是静态类型语言，支持继承、库和复杂的用户定义类型等特性。内含的类型除了常见编程语言中的标准类型，还包括 address等以太坊独有的类型，Solidity 源码文件.
2021-04-18 10:23:35
6950
4
原创 Docker学习六：综合实践
前言本次学习来自于datawhale组队学习：教程地址为： https://github.com/datawhalechina/team-learning-program/tree/master/Docker另外推荐大家阅读：Docker 从入门到实践,很全的一个资料在博客我们希望你能通过docker的形式将您个人的项目修改为容器化部署的形式，最好可以配合上Github Action来实现CI/CD功能。关于Github Action大家可以看一下官方文档或者阮一峰老师的GitHub Actio
2021-04-13 13:12:38
223
原创 Docker学习五：Docker 数据管理
前言本次学习来自于datawhale组队学习：教程地址为： https://github.com/datawhalechina/team-learning-program/tree/master/Docker另外推荐大家阅读：Docker 从入门到实践,很全的一个资料相信大家学完之前的内容已经对docker的操作很熟悉了，但是有没有一种感觉，如果我一个项目要起好多个容器，每个容器之间又相互之间有一些关联，有些情况下又要修改一些容器，这种情况写起来会特别的麻烦，那么有没有一种方式能让我把项目快速的启动
2021-04-13 10:39:24
269
原创 Docker学习四：Docker 网络
Docker 基础网络介绍外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过-P或-p参数来指定端口映射。当使用-P标记时，Docker会随机映射一个端口到内部容器开放的网络端口。使用docker container ls可以看到，本地主机的 32768 被映射到了容器的 80 端口。此时访问本机的 32768 端口即可访问容器内 NGINX 默认页面。$ docker run -d -P nginx:alpine$ docker container ls -lCO
2021-04-12 12:40:55
530
原创 Docker学习三：Docker 数据管理
前言本次学习来自于datawhale组队学习：教程地址为： https://github.com/datawhalechina/team-learning-program/tree/master/Docker另外推荐大家阅读：Docker 从入门到实践,很全的一个资料数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS (UNIX File System) ，可以提供很多有用的特性：数据卷可以在容器之间共享和重用对数据卷的修改会立马生效对数据卷的更新，不会影响镜像
2021-04-11 11:33:16
226
2
原创 Docker学习二：Docker镜像与容器
前言本次学习来自于datawhale组队学习：教程地址为： https://github.com/datawhalechina/team-learning-program/tree/master/Docker另外推荐大家阅读：Docker 从入门到实践,很全的一个资料Docker镜像与容器Docker镜像获取镜像之前提到过，Docker Hub 上有大量的高质量的镜像可以用，这里我们就说一下怎么获取这些镜像。从 Docker 镜像仓库获取镜像的命令是 docker pull。其命令格式为：
2021-04-10 17:51:16
707
原创 Docker学习一：Docker简介与安装
前言本次学习来自于datawhale组队学习：教程地址为： https://github.com/datawhalechina/team-learning-program/tree/master/Docker另外推荐大家阅读：Docker 从入门到实践,很全的一个资料学习docker原因相信大家在开发项目尤其是团队合作项目中一定会遇到下面这些场景：项目在我电脑上明明运行的很好呀！怎么在你这不行了呢？我这是用python 3.6写的，你电脑是python 2.7应该运行不了。项目的一些依赖包
2021-04-10 16:20:39
459
原创 区块连教程(一)：前置知识-linux补充
新手建议学习Linux的注意事项Linux严格区分大小写（命令全都是小写）—— 命令、文件名、选项等均区分大小写Linux中所有内容以文件形式保存，包括硬件硬盘文件是/dev/sd[a-p]光盘文件是/dev/sr0等Windows通过扩展名区分文件类型，还有图标可以区分；Linux不靠扩展名区分文件类型，靠文件权限区分，但也有一些约定俗成的扩展名：压缩包：".gz", ".bz2", ".tar.bz2", ".tgz"等二进制软件包：".rpm"网页文件："*.sh"
2021-03-30 11:52:28
1501
1
原创 早高峰共享单车潮汐点的群智优化（想法）
一些想法结合天气、地理环境等因素对时间进行分类讨论，分为工作日和周末实时计算潮汐点的变化，进行动态推荐，并结合红绿等，与当地公交、地铁相结合来进行多种交通方式推荐，提供多条路线供用户选择。统计每辆单车骑行率，对于骑行率低的单车做一些特殊处理（减少权重等等）额外数据公交数据地铁数据打车服务数据天气等数据...
2021-02-25 00:18:42
418
原创 早高峰共享单车潮汐点的群智优化Baseline
参考自：coogle数据科学 https://coggle.club/learn/dcic2021/赛题说明2021数字中国创新大赛大数据赛道-城市管理大数据专题
2021-02-19 23:00:45
2186
5
原创 爬虫学习二： bs4 xpath re
欢迎关注datawhale：http://www.datawhale.club/2.1 Beautiful Soup库入门目标：2.1.1 Beautiful Soup库的基本元素2.1.2 基于bs4库的HTML内容遍历方法2.1.3 基于bs4库的HTML内容的查找方法2.1.4 实战：中国大学排名定向爬取2.2 学习xpath目标：2.2.1 Xpath常用的路径表达式2.2.2 使用lxml解析2.2.3 实战：爬取丁香园-用户名和回复内容2.3 学习正则表达式re
2021-02-04 12:01:09
723
原创 数据可视化系列（六）：场景案例显神通
数据可视化的图表种类繁多，各式各样，因此我们需要掌握如何在特定场景下使用特定的图表。数据可视化是为业务目的服务的，好的可视化图表可以起到清晰准确反映业务结果的目的，在选择使用何种图表时，通常我们需要首先考虑你想通过可视化阐述什么样的故事，受众是谁，以及打算如何分析结果。关于如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的，可以进一步阅读这本书《用数据讲故事》学习。本章将介绍不同场景适合的可视化图表类型，使用注意事项，以及如何用现成的绘图接口来呈现。我们将常见的场景分为5
2021-02-02 22:26:45
2022
1
原创 爬虫学习一：HTTP、网页基础、requests、API、JS
欢迎关注datawhale：http://www.datawhale.club/1. 学习内容互联网、HTTP网页基础requests使用APIJS入门2. 互联网、HTTP2.1 互联网互联网也叫因特网(Internet)，是指网络与网络所串联成的庞大网络，这些网络以一组标准的网络协议族相连，连接全世界几十亿个设备，形成逻辑上的单一巨大国际网络。它由从地方到全球范围内几百万个私人的、学术界的、企业的和政府的网络所构成。通过电子、无线和光纤等一系列广泛的技术来实现。这种将计算机网络互相
2021-02-02 16:12:13
1202
原创 数据可视化系列（五）：样式色彩秀芳华
一、matplotlib的绘图样式（style）在matplotlib中，要想设置绘制样式，最简单的方法是在绘制元素时单独设置样式。但是有时候，当用户在做专题报告时，往往会希望保持整体风格的统一而不用对每张图一张张修改，因此matplotlib库还提供了四种批量修改全局样式的方式1.matplotlib预先定义样式matplotlib贴心地提供了许多内置的样式供用户使用，使用方法很简单，只需在python脚本的最开始输入想使用style的名称即可调用，尝试调用不同内置样式，比较区别import m
2021-02-01 19:30:34
302
原创 数据可视化系列（四）：文字图例尽眉目
一、Figure和Axes上的文本Matplotlib具有广泛的文本支持，包括对数学表达式的支持、对栅格和矢量输出的TrueType支持、具有任意旋转的换行分隔文本以及Unicode支持。下面的命令是介绍了通过pyplot API和objected-oriented API分别创建文本的方式。pyplot APIOO APIdescriptiontexttext在 Axes的任意位置添加text。titleset_title在 Axes添加titlefigte
2021-01-20 23:55:43
280
原创 数据可视化系列（三）：布局格式定方圆
前言期待了好久的datawhale可视化教程终于出来了，这次标题狠有文艺范儿，哈哈哈这次我主要目的是最近要写篇论文，也正好为以后建模画图打劳基础~大家可以多看看官方教程：中文官方网站：https://www.matplotlib.org.cn/中文官方网站：https://matplotlib.org/当然还有datawhale，一起讨论！http://datawhale.club/系列：数据可视化系列（一）：Matplotlib初相识数据可视化系列（二）：艺术画笔见乾坤第
2021-01-17 22:15:11
490
原创 知识图谱入门2-3：Neo4j 图数据库查询
注：欢迎关注datawhale：https://datawhale.club/一、 Neo4介绍1.1 Neo4介绍Neo4j是一个世界领先的开源图形数据库，由Java编写。图形数据库也就意味着它的数据并非保存在表或集合中，而是保存为节点以及节点之间的关系；Neo4j的数据由下面3部分构成：节点边和属性；Neo4j除了顶点（Node）和边（Relationship），还有一种重要的部分——属性。无论是顶点还是边，都可以有任意多的属性。属性的存放类似于一个HashMap，Key为一个字符串，而Va
2021-01-17 21:23:46
4222
原创 知识图谱入门2-2：用户输入-＞知识库的查询语句
注：欢迎关注datawhale：https://datawhale.club/目录一、引言二、什么是问答系统？2.1 问答系统简介2.2 Query理解2.2.1 Query理解介绍2.2.2 意图识别2.2.3 槽值填充三、任务实践四、 主体类 EntityExtractor 框架介绍五、命名实体识别任务实践5.1 命名实体识别整体思路介绍5.2 结合代码介绍5.2.1 构建 AC Tree5.2.2 使用AC Tree进行问句过滤5.2.3 使用
2021-01-15 21:44:36
2648
1
原创 知识图谱入门2-1：实践——基于医疗知识图谱的问答系统
注：欢迎关注datawhale：https://datawhale.club/一 基于医疗知识图谱的问答系统介绍1.1、引言该项目主要分为两部分：第一部分：搭建知识图谱。第二部分：启动问答测试。1.2、运行环境python3.0及以上neo4j 3.5.0及以上jdk 1.8.01.3、搭建知识图谱运行该过程，请确保已经安装好 neo4j 和 jdk运行 以下命令： python build_graph.py 注：由于数据量比较大，所以该过程需要运行几
2021-01-12 19:18:27
7721
11
原创 知识图谱入门一：知识图谱介绍
注：欢迎关注datawhale：https://datawhale.club/一、知识图谱简介1.1 引言从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。早在 2010 年微软就开始构建知识图谱，包括 Satori 和 Probase；2012 年，Google 正式发布了 Google Knowledge Graph，现在规模已超 700 亿。目前微软和 Google 拥有全世界最大的通用知
2021-01-11 23:35:34
45927
10
原创 数据可视化系列（二）：艺术画笔见乾坤
前言期待了好久的datawhale可视化教程终于出来了，这次标题狠有文艺范儿，哈哈哈这次我主要目的是最近要写篇论文，也正好为以后建模画图打劳基础~大家可以多看看官方教程：中文官方网站：https://www.matplotlib.org.cn/中文官方网站：https://matplotlib.org/当然还有datawhale，一起讨论！http://datawhale.club/系列：数据可视化系列（一）：Matplotlib初相识一、概述1. matplotlib的三
2020-12-15 20:31:20
634
原创 数据可视化系列（一）：Matplotlib初相识
前言期待了好久的datawhale可视化教程终于出来了，这次标题狠有文艺范儿，哈哈哈这次我主要目的是最近要写篇论文，也正好为以后建模画图打捞基础~大家可以多看看官方教程：中文官方网站：https://www.matplotlib.org.cn/中文官方网站：https://matplotlib.org/当然还有datawhale，一起讨论！http://datawhale.club/一、认识matplotlibMatplotlib是一个Python 2D绘图库，能够以多种硬拷贝格式
2020-12-14 16:33:23
223
原创 进程调度：优先数法与轮转法的实现
操作系统：进程调度衡量调度的标准不同的调度算法有各自不同的属性,侧重点是不一样的.调度准则用于比较不同的调度算法.根据不同的调度准则进行比较,则得出的比较结果是不同的.CPU利用率:使CPU尽可能的忙碌吞吐量（Throughput）：单位时间内运行完的进程数周转时间(Turnaround time):从提交到运行结束的全部时间等待时间:进程在就绪队列中等待调度的时间总和响应时间:从进程提出请求到首次被响应的时间段[在分时系统环境下不是输出完结果的时间]优化标准：最大的CPU利用率、最大的
2020-12-07 19:37:39
1460
原创 2020-12-03
前言读取数据此次比赛是新闻推荐场景下的用户行为预测挑战赛， 是Datawhale与天池联合举办，该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题！赛题链接： 零基础入门推荐系统 - 新闻推荐对于刚接触推荐系统同学推荐先浏览以下基础知识：推荐系统摘要推荐系统知识梳理——协同过滤推荐系统知识梳理——矩阵分解推荐系统
2020-12-03 22:58:50
233
原创 天池-新闻推荐-多路召回
登录欢迎使用有问题请及时反馈，请将各位的昵称改为微信名或者网名，方便沟通谢谢。Task03 天池新闻推荐入门赛之【多路召回】组队学习推荐系统实践（新闻推荐）ryluo911 天多路召回所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。其中，各种简单策略保证候选集的快速召回，从不同角度设计的策略保证召回率接近理想的状态，不至于损伤排序效
2020-12-01 13:48:32
409
原创 天池-新闻推荐-数据分析
前言读取数据此次比赛是新闻推荐场景下的用户行为预测挑战赛， 是Datawhale与天池联合举办，该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题！赛题链接： 零基础入门推荐系统 - 新闻推荐对于刚接触推荐系统同学推荐先浏览以下基础知识：推荐系统摘要推荐系统知识梳理——协同过滤推荐系统知识梳理——矩阵分解推荐系统
2020-11-27 22:54:54
1755
原创 天池-新闻推荐-Baseline
前言此次比赛是新闻推荐场景下的用户行为预测挑战赛， 是Datawhale与天池联合举办，该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题！赛题链接： 零基础入门推荐系统 - 新闻推荐对于刚接触推荐系统同学推荐先浏览以下基础知识：推荐系统摘要推荐系统知识梳理——协同过滤推荐系统知识梳理——矩阵分解推荐系统知识梳理
2020-11-25 22:23:04
297
原创 统计学习方法笔记（李航）———第六章（逻辑斯谛回归）
前言：《统计学习方法》虽然分别对两者作了介绍，但没有深入讨论它们之间的联系。本文准备从最大熵模型出发，推导出逻辑斯谛回归模型，并解释两者的联系与区别。本文主要从以下几个方面进行描述：最大熵原理的数学解释如何理解条件分布的极大似然函数将最大熵模型转化为逻辑斯谛模型一、从最大熵模型到逻辑斯谛回归（一）最大熵模型最大熵原理我们知道（参考第5章）信息熵用于衡量一个随机变量的“不确定性”，熵越大，表示随机变量的不确定性越高。也证明了，当随机变量为均匀分布的时候，它的熵最大。“最大熵原理”的意思
2020-11-08 17:58:54
515
原创 推荐系统知识梳理——GBDT&LR
1. GBDT+LR简介前面介绍的协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐， 忽视了用户自身特征， 物品自身特征以及上下文信息等，导致生成的结果往往会比较片面。 而这次介绍的这个模型是2014年由Facebook提出的GBDT+LR模型， 该模型利用GBDT自动进行特征筛选和组合， 进而生成新的离散特征向量， 再把该特征向量当做LR模型的输入， 来产生最后的预测结果， 该模型能够综合利用用户、物品和上下文等多种不同的特征， 生成较为全面的推荐结果， 在CTR点击率预估场景下使
2020-10-30 23:54:27
487
原创 推荐系统知识梳理——Wide&Deep
1. 点击率预估简介点击率预估是用来解决什么问题？点击率预估是对每次广告点击情况作出预测，可以输出点击或者不点击，也可以输出该次点击的概率，后者有时候也称为pClick.点击率预估模型需要做什么？通过上述点击率预估的基本概念，我们会发现其实点击率预估问题就是一个二分类的问题，在机器学习中可以使用逻辑回归作为模型的输出，其输出的就是一个概率值，我们可以将机器学习输出的这个概率值认为是某个用户点击某个广告的概率。点击率预估与推荐算法有什么不同？广告点击率预估是需要得到某个用户对某个广告的点击率，然后
2020-10-27 23:30:34
428
原创 推荐系统知识梳理——FM
1. FM模型的引入1.1 逻辑回归模型及其缺点FM模型其实是一种思路，具体的应用稍少。一般来说做推荐CTR预估时最简单的思路就是将特征做线性组合（逻辑回归LR），传入sigmoid中得到一个概率值，本质上这就是一个线性模型，因为sigmoid是单调增函数不会改变里面的线性模型的CTR预测顺序，因此逻辑回归模型效果会比较差。也就是LR的缺点有：是一个线性模型每个特征对最终输出结果独立，需要手动特征交叉（xi∗xjx_i*x_jxi∗xj），比较麻烦1.2 二阶交叉项的考虑及改进由于LR模
2020-10-27 21:05:52
529
原创 推荐系统知识梳理——矩阵分解
隐语义模型与矩阵分解协同过滤算法的特点就是完全没有利用到物品本身或者是用户自身的属性， 仅仅利用了用户与物品的交互信息就可以实现推荐，是一个可解释性很强， 非常直观的模型， 但是也存在一些问题， 第一个就是处理稀疏矩阵的能力比较弱， 所以为了使得协同过滤更好处理稀疏矩阵问题， 增强泛化能力， 从协同过滤中衍生出矩阵分解模型(Matrix Factorization,MF)或者叫隐语义模型, 两者差不多说的一个意思， 就是在协同过滤共现矩阵的基础上， 使用更稠密的隐向量表示用户和物品， 挖掘用户和物品的隐含
2020-10-25 22:53:55
1067
原创 推荐系统知识梳理——协同过滤
协同过滤算法协同过滤（Collaborative Filtering）推荐算法是最经典、最常用的推荐算法。所谓协同过滤， 基本思想是根据用户之前的喜好以及其他兴趣相近的用户的选择来给用户推荐物品(基于对用户历史行为数据的挖掘发现用户的喜好偏向， 并预测用户可能喜好的产品进行推荐)，一般是仅仅基于用户的行为数据（评价、购买、下载等）, 而不依赖于项的任何附加信息（物品自身特征）或者用户的任何附加信息（年龄， 性别等）。目前应用比较广泛的协同过滤算法是基于邻域的方法， 而这种方法主要有下面两种算法：基于
2020-10-22 23:48:14
710
1
原创 推荐系统摘要
本次是参加datawhale的打卡活动，大家有任何疑问欢迎一起讨论！之前也有写过一篇推荐系统概述文章，大家可以康康：个性化推荐算法（推荐系统）概要传统推荐系统及深度学习推荐系统的演化关系图(图来自《深度学习推荐系统》)传统推荐系统深度学习推荐系统核心内容：协同过滤算法: 包括基于用户的协同过滤(UserCF)和基于商品的协同过滤(ItemCF)，这是入门推荐系统的人必看的内容，因为这些算法可以让初学者更加容易的理解推荐算法的思想。矩阵分解算法: 矩阵分解算法通过引入了隐向量的
2020-10-18 23:42:11
947
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人