- 博客(75)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 vimtutor
vimtutor简介vimtutor是vim这款知名的文本编辑器的学习工具/指南。语法如下。vimtutor [-g] [language]gvimtutor-g选项和gvimtutor是启动GUI版本的指南，需要系统支持，一般来说我们只需要键入这2种命令形式。vimtutorvimtutor zh一种启用英文，一种启用中文，建议阅读英文指南。当我们运行vimtutor的时候，看到是有点类似于man手册的帮助文档，但是它和man不同，man使用的是less命令来阅读帮助文档。而vimtu
2021-05-12 10:50:22
475
原创 Linux常用操作----未完
Linux常用操作修改jupyter启动目录cd \E:cd E:\my_jupyter_path\jupyter_workspacejupyter notebookpause遍历两个日期### 方法1 ： while循环start=$(date -d "${1}" +%F)end=$(date -d "${2}" +%F)while ${start}!=${end}do start=`date -d "+1 day ${start}" +%F` echo ${start}d
2021-05-12 10:32:47
160
原创 MachineLearning小汇总----持续更新......
目标函数定义 : 1. GBDT(Gradient Boosting Decision Tree)Gradient Boosting是一种Boosting的方法 , 它的主要思想是每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数式评价模型性能(一般为拟合程度+正则项) , 认为损失函数越小 , 性能越好 。而让损失函数持续下降 , 就能使得模型不断提升性能 , 其最好的方法就是使...
2019-03-27 10:49:22
885
原创 推荐系统-Ctr点击率预估理论基础及项目实战
Ctr点击率预估理论基础及项目实战1.机器学习推荐算法模型回顾召回(粗排)利用业务规则结合机器学习推荐算法得到初始推荐结果，得到部分商品召回集ALS\UserCF\ItemCF\FP-Growth\规则等方式召回排序(精排)1期：根据不同推荐位通过不同的模型得到推荐结果2期：将推荐的所有结果通过Ctr或Cvr预估结果进行排序GBDT\LR\GBDT+LR\FM()\FFM...
2019-03-25 09:21:54
8030
16
原创 解决数据不平衡
解决数据不平衡问题方案机器学习中不平衡数据集的工具箱软件包：imbalanced-learn0.3.2介绍文档：https://pypi.python.org/pypi/imbalanced-learn/API文档：http://contrib.scikit-learn.org/imbalanced-learn/stable/详细API：http://contrib.scikit-lea...
2019-03-13 09:28:04
2472
原创 GBDT&XGBoost&LightGBM的区别
GBDT&XGBoost&LightGBM的区别GBDT 梯度提升树是在提升树的基础上发展而来的一种适用范围更广的方法 , 当处理回归问题时 , 提升树可以看作是梯度提升树的特例(分类问题时不时特例) . 因为提升树在构建树的每一步的过程中都是去拟合上一步获得模型在训练集上的残差 . 这个残差正好是损失函数的梯度 , 对应于GBDT每一步要拟合的对象 .主要思想 在...
2019-03-13 09:02:33
389
原创 推荐系统-用户标签预测算法基础实践-决策树2
推荐系统-用户标签预测算法基础实践1.泰坦尼克号获救人员识别实战加强iris的代码实战(掌握)代码版本一 : 未经过pca降温的X#1.进行数据的读入---导入数据from sklearn.datasets import load_irisiris=load_iris()#2.对数据进行简单的统计分析和图形化的展示print(iris.keys())#['data', 'tar...
2019-03-04 14:36:13
1261
原创 推荐系统-用户标签预测算法基础实践-决策树(一)
推荐系统-用户标签预测算法基础实践1.用户画像概述用户画像就是给到用户打标签用户画像用户角色用户属性用户画像和用户角色较为接近，而用户属性使用户的画像中的子集用户画像阶段1.用户画像基础2.用户画像指标体系3.标签数据存储方式4.标签数据开发5.性能优化及作业调度6.用户画像应用及优化用户画像基础场景用搜索领域个性化推荐领域其他领域个人征信数...
2019-02-21 15:55:34
6872
1
原创 推荐系统-Python语言及数据科学库基础(三)
机器学习语言必备-数据科学必备库1.Pandas介绍Pandas的名称来自于panel data(面板数据)和Python数据分析(data analysis)，Pandas是处理结构化数据的利器，利用python数据以及数据结构完成对结构化数据的处理和分析功能。特点1.一个强大的分析和操作大型**结构化数据集**所需的工具集2.基础是NumPy，提供了高性能矩阵的运算3.提供了大...
2019-02-15 20:51:29
539
原创 推荐系统-Python语言及数据科学库基础(二)
机器学习语言必备-Python语言入门(二)1.函数详解函数分为4中类型根据参数和返回值进行判断没有返回值没有参数有参数没有返回值没有返回值有参数有参数有返回值的全局变量和局部变量global#函数有几种类型：#1.函数的返回值#2.函数的参数#无返回值无参数def repeatString(): print("helloWorld\...
2019-02-15 10:17:49
370
原创 推荐系统-Python语言及数据科学库基础(一)
机器学习语言必备-Python语言入门(一）Python基础+数据科学基础[Numpy/Pandas/Matplotlib/Scipy]1.Python语言介绍& 为什么Python如此受欢迎？Python语言特点Python：面向对象+解释型Python解析器：4种CpythonJpythonIronPythonPyPyPython版本Python2.x...
2019-02-15 10:17:07
325
原创 推荐系统-关联规则理论基础与业务实践
推荐系统-关联挖掘算法实战1.基于知识的推荐方法简介基于知识区别于以往基于协同过滤算法，基于知识的推荐更多的是交互式问答的环节，分为基于约束的部分，第二是基于实例的部分，使用基于关联规则方法全是基于知识的推荐。2.关联规则算法引入啤酒与尿布的故事关联规则-------寻找关联购买商品的关系**关联分析，**用于发现隐藏在大型数据集中有意义的联系。购物篮分析----一次购买分析-...
2019-01-27 10:23:20
1007
原创 推荐系统-基于模型协同过滤理论基础与业务实
推荐系统-基于模型协同过滤理论基础与业务实践1.SparkMllib库框架详解Spark机器学习库五个组件ML Algratham算法 : 分类 , 聚类 , 降维 , 协同过滤Pipelines管道 ----Featurization 特征化---- 特征抽取 , 特征转换 , 特征降维 , 特征选择Persistence 持久化---- 模型的保存 , 读取 , 管道操作...
2019-01-27 10:19:20
1530
原创 推荐系统-经典协同过滤算法【基于记忆的协同过滤算法、基于模型的协同过滤算法】
推荐系统-经典协同过滤理论基础实践1.协同过滤推荐方法CF简介协同过滤CF基于记忆的协同过滤 ---- 用户和物品的相似度矩阵用户相似度的推荐物品相似度推荐UserCF用户协同过滤算法ItemCF物品的协同过滤推荐算法基于模型的协同过滤 ---- 隐因子LFM(latent fator machine)隐藏因子的分解模型-----矩阵分解(将一个矩阵分解成连个矩阵的乘...
2019-01-15 22:31:27
8836
原创 推荐系统-机器学习理论基础详解01
推荐系统-机器学习理论基础详解1.大数据时代究竟改变了什么？(了解)改变的是思维方式1.数据重要性：数据资源--------数据资产(增值)2.方法论：基于知识的理论完美主义-------基于数据的历史经验主义翻译：你好吗？基于知识翻译：----借助语言学家你 you your好 good best等吗 do does等Are you good？Are y...
2019-01-15 18:09:52
509
原创 storm_入门02学习笔记----【storm原理、storm整个hdfs和mysql、storm定时器使用、日志监控告警项目的流程和业务处理逻辑】
storm_入门02学习笔记1、目标1、掌握storm任务提交和执行过程2、掌握storm整合hdfs和mysql3、掌握storm定时器使用4、掌握日志监控告警项目的流程和业务处理逻辑2、storm内部原理和任务提交（1）客户端提交topology到nimbus主节点（2）nimbus主节点接受到客户端的任务信息，然后保存到本地目录，后期把任务的分配信息写入到zk集群中...
2018-12-14 21:23:32
562
原创 storm_入门01学习笔记----【storm集群搭建、一键脚本启动关闭storm、storm与kafka整合】
storm_day01学习笔记1、目标1、熟悉storm的相关概念2、掌握搭建一个storm集群3、掌握编写简单的storm应用程序4、掌握storm的并行度设置5、掌握storm的数据分发策略6、掌握storm与kafka整合2、storm概述2.1 storm是什么storm是由twitter公司开源，捐献apache基金会，是一个实时处理框架。storm特点：来一条...
2018-12-12 22:02:26
1744
原创 Hbase入门----【hbase内部原理和架构(★★★★★)、掌握hbase的寻址机制(★★★★★)、hbase表中的rowkey设计(★★★★★★★)】
hbase入门学习笔记1、目标1、掌握hbase相关概念2、掌握搭建一个hbase集群3、掌握hbase shell 命令行操作4、掌握hbase内部原理和架构(★★★★★)5、掌握hbase的寻址机制(★★★★★)6、掌握hbase表中的rowkey设计(★★★★★★★)2、hbase概述2.1 hbase是什么 hbase是基于hdfs进行数据的分布式存储，具有高可...
2018-12-09 21:44:05
831
原创 大数据实时阶段----【Spark04之sparkStreaming整合flume、sparkStreaming整合kafka (★★★★★)】
typora-copy-images-to: img_spark04typora-root-url: img_spark04spark_入门04学习笔记1、目标1、掌握sparkStreaming原理和架构2、掌握DStream常用的操作3、掌握sparkStreaming整合flume4、掌握sparkStreaming整合kafka (★★★★★)2、sparkStrea...
2018-12-07 16:40:07
544
原创 kafka入门
kafka入门学习笔记1、目标1、掌握kafka相关概念2、掌握搭建一个kafka集群3、掌握kafka生产者和消费者代码开发4、掌握kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1 kafka是什么kafka是由linkedin开源，捐献apache基金会，它是一个实时的分布式消息队列。它提供了一个对于实时...
2018-12-06 22:48:13
681
原创 kafka_Manager监控工具的安装与作用
kafka Manager监控工具的安装与使用第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可第二步:修改kafkaManager的配置文件vim application.conf更改一配置文件 kafka-manager.zkhosts,修改为我们的zookeeper的地址即可kafka-manager....
2018-12-05 23:09:02
1251
原创 kafka的文件存储机制
kafka的文件存储机制1、概述同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是1G，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种...
2018-12-05 23:02:42
1122
原创 kafka为什么那么快
Kafka为什么那么快Broker 不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失，“规规矩矩”的抄了一条“近道”。 首先，说“规规矩矩”是因为Kafka在磁盘上只做Sequence I/O，由于消息系统读写的特殊性，这并不存在什么问题。关...
2018-12-05 22:58:22
266
原创 Spark----【spark on yarn】
Spark on Yarn1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spa...
2018-12-04 23:15:40
202
原创 大数据实时阶段----【Spark03之dataFrame、dataSet、schema】
spark_入门03学习笔记1、目标1、掌握sparksql底层原理2、掌握DataFrame和DataSet数据结构和使用方式3、掌握通过sparksql来进行代码开发2、sparksql概述2.1 sparksql前世今生shark它是专门为spark设计的大规模数据仓库系统shark依赖于hive的代码，同时也依赖spark版本后期发现hive的mapre...
2018-12-04 17:46:24
1253
原创 大数据实时阶段----【Spark02之ip地址查询、topN、PV、UV实战】
spark02_学习笔记1、目标1、掌握RDD的底层原理2、掌握RDD的常用的算子操作3、掌握RDD的宽窄依赖4、掌握RDD的缓存机制5、掌握划分stage6、掌握spark任务运行架构和调度流程2、RDD概述2.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区...
2018-12-03 21:39:53
1116
原创 sparkRDD函数详解
1. RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1) map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a = sc.parallelize(1 to 9, 3)...
2018-12-02 22:56:17
741
原创 大数据实时阶段----【Spark01】
spark_01学习笔记1、目标1、掌握spark相关概念2、掌握搭建一个spark集群3、掌握编写简单的spark应用程序2、spark概述2.1 什么是sparkApache Spark™ is a unified analytics engine for large-scale data processing.apache的spark是一个针对于大规模...
2018-12-01 16:50:32
570
原创 scala编程实战----【使用Akka实现两个进行间的通信、简易版spark框架】
目标 : 使用 Akka 实现一个简易版的 spark 通信框架项目概述1. 需求 目前大多数的分布式架构底层通信都是通过 RPC 实现的，RPC 框架非常多，比如前我们学过的 Hadoop 项目的 RPC 通信框架，但是 Hadoop 在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所以 Hadoop 的 RPC 显得有些笨重。 Spark ...
2018-11-29 22:44:35
635
2
原创 Scala高级特性
Scala高级特性1. 高阶函数Scala 混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。1.1 作为值的函数 可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。即函数作为值传递到方法中定义函数式格式 : val 变量名=(输入参数类型和个数...
2018-11-29 22:38:41
367
原创 Scala实战案例---单词计数
Scala Actor并发编程[注] :Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃。1 . 什么是Scala ActorScala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息的发送、接收来实现高并发的。2. Ja...
2018-11-28 19:06:14
1910
原创 Scala入门(下)----【类、对象、继承、特质(trait)、模式匹配、样式类、Option类型、偏函数、协变、逆变、非变、上下界】
1. 类、对象、继承、特质1.1 类类的定义/*** 在Scala中，类并不用声明为public类型的。* Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person { //用val修饰的变量是可读属性，有getter但没有setter（相当与Java中用final修饰的变量） val id="9527" //用var修饰的变量都既...
2018-11-28 14:55:41
390
原创 大数据----【Scala入门(上)】
Scala1. Scala概述1.1 什么是scala Scala是一种多范式的编程语言 , 其设计的初衷是要集成面向对象编程和函数式编程的各种特性 . Scala运行于Java平台(Java虚拟机) , 并兼容现有的Java程序 . 详情查看官网http://www.scala-lang.org1.2 为什么要学Scala优雅速度快 : 表达能力强 ,一行代码抵得上Java多行...
2018-11-27 21:13:10
803
原创 MapReduce&Yarn增强
1. MapReduce并行度机制详解maptask并行度机制 : 逻辑规划 (逻辑切片)时间 : 客户端提交mr程序之前 main(客户端) , job.submit()地点 : 客户端参与者 : 待处理数据目录 FileInputFormat.getSplits()规则 : 对待处理目录下逐个遍历文件 , 以切片大小对文件进行逻辑规划 split size == bl...
2018-11-25 22:49:55
213
原创 网站日志流量系统----【结果输出模块】
模块开发----结果导出1. Apache SqoopSqoop 是Hadoop 和关系数据库服务器之间传送数据的一种工具 .Sqoop：“SQL 到 Hadoop 和 Hadoop 到 SQL导入导出是站在Apache的角度来说的Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outpu...
2018-11-25 17:52:06
394
原创 网站日志流量系统----【统计分析模块】
模块开发----统计分析每一种统计指标都可以跟各维度表进行钻取。分组条件判别技巧如果需求中出现 每xxx 各xxx 按xxx , 很大可能就是分组的字段条件设置智能本地模式 : set hive.exec.mode.local.auto=true;1. 流量分析1.1 多维度统计pv总量需求 : 计算该处理批次(一天)中各小时pvs处理数据所在的表 : ods_we...
2018-11-24 21:45:24
2163
原创 网站流量日志系统----【ETL模块 、数据表创建、数据导入、宽表等模块】
1. 模块开发----数据仓库设计1.1 维度建模基本概念维度建模是专门用于分析型数据库、数据仓库、数据集市建模的方法 .专门适用于OLAP的设计模式存在着两种类型的表：事实表 维度表维度表(dimension) : 看问题分析问题的角度 信息精但是不全 可跟事实表关系事实表：主题的客观度量 能够以记录主题为准 信息多不精准事实表的设计是以能够正确记录历史信息为准则，维...
2018-11-22 18:04:15
1580
原创 网站日志流量系统----【数据采集模块、数据预处理模块】
1. 模块开发----数据采集1.1 需求在网站 web 流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，因此使用通用的 flume 日志采集框架完全可以满足需求。1. 2 Flume 日志采集系统1.2.1 Flume 采集Flume 采集系统的搭建相对简单：1、在服务器上部署 agent 节点，修改配置文件2、启动 agent 节点，将采集到的数据汇...
2018-11-22 17:59:27
2578
1
原创 SQL增强
SQL增强需求 : 统计今天每个小时分别有多个pv分组字段 : 天 小时 天恰好就是分区字段 通过分区字段即可过滤出 真正的分子字段就一个 hour编写sql的思路 :首先明确开始关键字 , 如select其次我们先跳过需要查询的东西 , 去关注查询的来源 , 即from , 若后面接的是一个真实存在的表 , 则直接写 , 若不是真实存在的 , 也是通过另外方式...
2018-11-22 17:53:22
965
原创 大数据----【azkaban的部署及实战测试】
工作流程调度器1. 工作流程调度系统产生背景一个完整的数据分析系统通常都是由大量任务单元组成 : shell脚本程序 , java程序 , MapReduce程序 , hive脚本等各个任务单元之间存在时间先后依赖关系为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行2. 工作流程调度实现方式简单的任务调度 : 直接使用linux的crontab来定义 ...
2018-11-22 17:51:49
910
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人