hebi123s的博客

原创 网关，排他网关、事件网关、并行网关、包含网关

网关(Gateway)又称网间连接器、协议转换器。举例：什么是网关假设你的名字叫小不点(很小)，你住在一个大院子里，你的邻居有很多小伙伴，父母是你的网关。当你想跟院子里的某个小伙伴玩，只要你在院子里大喊一声他的名字，他听到了就会回应你，并且跑出来跟你玩。但是你家长不允许你走出大门，你想与外界发生的一切联系，都必须由父母（网关）用电话帮助你联系。假如你想找你的同学小明聊天，小明家住在很远...

转载 今日头条推荐算法原理首公开，头条首席算法架构师带来详细解读

▲3分钟了解今日头条推荐算法原理今日头条资深算法架构师曹欢欢：本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。一、系统概览推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有...

转载 推荐算法技术架构

本质上技术架构，都是   数据 - 清洗 - 加工 - 算法 - 召回  - 精排  - 过滤 第一种   第二种 

原创 开源的推荐系统简介

最 近这两年推荐系统特别火，本文搜集整理了一些比较好的开源推荐系统，即有轻量级的适用于做研究的SVDFeature、LibMF、LibFM等，也有重 量级的适用于工业系统的 Mahout、Oryx、EasyRecd等，供大家参考。PS：这里的top 10仅代表个人观点。#1.SVDFeature主页：http://svdfeature.apexlab.org/wiki/Main_Page ...

转载 用户偏好标签

实现步骤1.建立底层数据包含，商品表、用户信息表、浏览日志表、加入购物车日志表、订单日志表2.T+1，针对每天日志数据，将用户打上行为标签涉及表：行为权重表、用户行为标签表标签权重核心计算方法 三 对每个用户偏好的每个标签加总求权重值，对权重值做倒排序，取top N...

转载 推荐系统如何量化评分结果优劣

转载 常见推荐方法原理描述

常见的推荐算法根据使用数据源的不同可将其大致分为三类：分别是协同过滤的推荐方法、基于内容的推荐方法基于知识的推荐方法三类算法进行不同程度融合之后出现的混合推荐算法。 一、协同过滤，又分为基于用户、基于物料的、基于模型的基于用户的实现原理：1.用户之间的距离2.将用户之间相近的，推荐给他们喜欢的物料3.通过收集用户反馈数据，进一步优化用户之间的距离基于物料的实...

转载 用户兴趣 到 购买能力、生产内容能力

用户对某个事物有兴趣，到为产品做出贡献，不仅仅是先验法则 一、微博，从用户兴趣到生成内容1 概述从上一篇《认识每一个“你”：微博中的用户模型》里面对用户模型维度的划分可以看出，属性和兴趣维度的用户模型都可以归入用户画像(User Profile)的范畴。而所谓用户画像，简单来说就是对用户的信息进行标签化。如图1所示。一方面，标签化是对用户信息进行结构化，方便计算机的识别和处理；另一方...

转载 Apache Mahout中的机器学习算法集

Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中。在Mahout实现的机器学习算法见下表： 算法类 ...

转载 协同过滤算法 - Java 算法库 - myhout

如何使用过滤算法？5.3.1 这里我们介绍的是用java语言编写的一个算法库 ：myhout，它支持协同过滤，在使用的时候需要注意输入与输出的参数即可。5.3.2 myhout：是一个算法库，集成了很多算法，它提供一些可扩展的机器学习领域经典算法的实现，让我们开发人员直接调用使用即可，不需要去编写算法的底层，很方便，但是如果是很特殊的要求，功能很新颖的模块，...

转载 SQL -- join 语句

SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。SQL INNER JOIN 关键字在表中存在至少一个匹配时，INNER JOIN 关键字返回行。INNER JOIN 关键字语法SELECT column_name(s)FROM table_name1INNER JOIN table_name2 ON table_name1.column_nam...

原创 接口相关知识

1.接口类型1.get2.post3.patch4.put5.delete常用的就是 get  post2.从返回上区分，分为 同步接口、异步接口常见异步接口，支付请求3.接口需要定义，请求数据，返回数据（状态码、content）4.涉及到外部系统，需要定义，请求唯一的商户标识5.python中  前端跟后台，请求数据 常用类 为  restful  a...

转载 SQL高级教程 - 函数

其实SQL可以 跟  关系运算、逻辑运算 组合到一起使用，还可以跟 函数组合使用比如，取中间值，和，平均值 ，formart 、len 、mid、round、now，等简单函数比较难的有：HAVING 子句在 SQL 中增加 HAVING 子句原因是，WHERE 关键字无法与合计函数一起使用。SELECT Customer,SUM(OrderPrice) FROM Order...

转载 SQL中级语法

TOP 子句TOP 子句用于规定要返回的记录的数目。对于拥有数千条记录的大型表来说，TOP 子句是非常有用的。注释：并非所有的数据库系统都支持 TOP 子句。 LIKE 操作符LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。 SQL 通配符在搜索数据库中的数据时，SQL 通配符可以替代一个或多个字符。 SQL 通配符必须与 LIKE 运算符一起使用...

转载 SQL中 的 基础 SELECT 语法

SELECT 语句用于从表中选取数据。语法为select  字段名  from 表名称如：select  name  from user  （单个字段）  或者  select  name，id  from user  （多个字段，逗号隔开）select  *  from  user （取此张表的所有列）查询的结果被存放在一个结果集中。大多数数据库软件系统都允许使用编程函数...

转载 SQL基本语法

一定要记住，SQL 对大小写不敏感！可以把 SQL 分为两个部分：数据操作语言 (DML) 和 数据定义语言 (DDL)。SQL (结构化查询语言)是用于执行查询的语法。但是 SQL 语言也包含用于更新、插入和删除记录的语法。查询和更新指令构成了 SQL 的 DML 部分：    SELECT - 从数据库表中获取数据    UPDATE - 更新数据库表中的数据    DEL...

原创 navicat链接数据库

Navicat是一套快速、可靠并价格相当便宜的数据库管理工具，专为简化数据库的管理及降低系统管理成本而设连接名：自定义名字IP地址：12.12.3123.12端口：访问端口SID：service name用户名：访问的用户名密码：比如说 323121   ...

转载 Tableau

数据可视化工具， 制作复杂的图标

转载 Gephi

关系分析是大数据环境下的一个新的分析热点（比如信息传播图、社交关系网等），其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。 我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图（Force directed graph）功能生成。但由于其由java编写，限制了处理性能（感觉处理超过10万节点/边时常陷入假死）...

转载 Hive

Hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的HiveQL 语言实现数据查询，所有Hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。Hive 的设...

转载 SQL

什么是 SQL？SQL 指结构化查询语言 SQL 使我们有能力访问数据库 SQL 是一种 ANSI 的标准计算机语言编者注：ANSI，美国国家标准化组织 SQL 能做什么？SQL 面向数据库执行查询 SQL 可从数据库取回数据 SQL 可在数据库中插入新的记录 SQL 可更新数据库中的数据 SQL 可从数据库删除记录 SQL 可创建新数据库 SQL 可在数据库中创...

转载 专家系统基础篇 一、专家系统是干啥类与知识库菜鸟说

专家系统： 就是弄个程序，像专家一样思考，像专家一样干活.1 一个人要成为专家，就要有专家的资质，最基本的条件： 专家的知识—-知识库 专家的思考方式—-推理方式 专家的判断力——与推理方式结合的输出解决方案。 简单说一下知识库：知识库这个玩意就好像人的知识构成差不多。 而且有N多种，对于我现在是关于 产生式 的，所谓产生式，可以理解为 通过判断 递进...

转载 常用建模方法

数据建模世界上物品种类有千万种，各种信息更是层出不穷，每种信息都有各自独特的格式和表达方式，如何对信息进行描述，按照一定的方式进行转化，使之形成适合存储的数据格式，称之为建模。常用的有实体建模法，维度建模法，范式建模法三种数据建模方法，不管哪种数据建模方法都是使信息结构清晰、易于存储和读取。（1）实体建模法 实体是现实世界中存在的事物或发生的事件，是现实世界中任何可识别、可区分的事物。...

原创 用户画像系统各类标签，如何打

1.行为标签https://mp.weixin.qq.com/s?__biz=MzI0OTQyNzEzMQ==&mid=2247487355&idx=1&sn=b7d5d94a017a0c2908d8cee6a58d917a&chksm=e990eaafdee763b9dd5799b27c32d034bcd9d0e21d82c3c98219dda5f2f6bd6...

转载 流式数据、批式数据、实时数据、历史数据、结构化数据、非结构化数据

大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。 流数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。  结构化数据，简单来说就是数据库。结合到典型场...

原创 pandas 函数填充，计算列

简单计算   import pandas as pdjiazhi = pd.read_excel('C:/Users/AdministratorDeskto10月16日 - 11月20日工贝价值核算_2018-11-20.xlsx')#简单计算，直接拿一列乘以一列就行jiazhi('ganyujiazhi') = jiazhi('干预价值') * jiazhi('干预价值'...

原创 DataFrame读取本地文件

import pandas as pd# jiazhi = pd.read_excel('C:/Users/Administrator/Desktop/10月16日 - 11月20日工贝价值核算_2018-11-20.xlsx')# # # print(jiazhi.shape)# # print(jiazhi.head)## # print(jiazhi.columns)# p...

原创 No module named 'xlrd'解决方法

用pandas读取Excel文件时，会提示No module named 'xlrd' Python3可以在命令提示符中输入pip3 install xlrd 执行过程   

原创 DataFrame创建新的文件 且填充数据

import pandas as pddf = pd.DataFrame({'ID':(1,2,3),'Name':('Ring','Nick','Victor')})df.to_excel('E:/pandas玩转excel_数据分析/课程01/output.xlsx')print('Done!')将ID这列 设置  为索引 import pandas as pddf ...

原创 no module named openpyxl

打开 cmd ，输入指令  pip3 install openpyxl安装完毕！@

转载 pandas之DataFrame常用方法

1 简介DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表。或许说它可能有点像matlab的矩阵，但是matlab的矩阵只能放数值型值（当然matlab也可以用cell存放多类型数据），DataFrame的单元格可以存放数值、字符串等，这和excel表很像。同时DataFrame可以设置列名columns与行名index，可以通过像matl...

原创 cmd 更新 pip版本指令

今天发现pip版本过低了，故执行命令

转载 线性回归模型和非线性回归模型的区别是

线性就是每个变量的指数都是1，而非线性就是至少有一个变量的指数不是1。通过指数来进行判断即可。线性回归模型，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性回归模型是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是...

原创 随机森林

实现步骤第一步：装袋，将训练集的数据随机抽取K个第二步：训练决策树分类器第三步：重复第一步，第二步，造成了K个决策树分类器第四部：让某个决策树针对数据投票，哪类大就是输出哪个。比如70%的投票是，30%投票不是，那输出决策结果 是 应用案例：实时监测玩家运动模型（微软某个游戏） python实现代码# Random Forest Classification...

原创 native bayes

贝叶斯，是分类器中的一种。名字来源于，概率学中的贝叶斯定理涉及到基本数学原理.1.似然概率2.条件概率3.先验概率4.后验概率基本的步骤，为分为2步骤：先分别计算每个类别的后验概率，然后比较大小，哪个大就分到哪个类别  扩展阅读：贝叶斯算法原理   https://blog.csdn.net/u011026329/article/details/79...

转载 kernel SVM - 核函数支持向量机

如果想针对如下数据进行分类，需要先把数据投射到三维空间里面，针对数据分类器就是一个超平面。以上数据需要使用高斯核算数，分类高斯核函数（Gaussian kernel），也称径向基 (RBF) 函数，是常用的一种核函数。它可以将有限维数据映射到高维空间，我们来看一下高斯核函数的定义：   图像表示...

原创 svm支持向量机 - python实现

# Classification template# Importing the librariesimport numpy as npimport matplotlib.pyplot as pltimport pandas as pd# Importing the datasetdataset = pd.read_csv('Social_Network_Ads.csv')X =...

原创 SVM支持向量机原理

   Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。  扩展阅读;https://blog.csdn.net/d__760/article/details/...

翻译 多元线性回归

# Multiple Linear Regression# Importing the librariesimport numpy as npimport matplotlib.pyplot as pltimport pandas as pd# Importing the datasetdataset = pd.read_csv('50_Startups.csv')X = dat...

翻译 简单线性回归

# Simple Linear Regression # Importing the librariesimport numpy as npimport matplotlib.pyplot as pltimport pandas as pd# Importing the datasetdataset = pd.read_csv('Salary_Data.csv')X = data...