- 博客(6)
- 收藏
- 关注
RSS订阅转载 使用Hive SQL计算TF-IDF的方法和流程
TF-IDF的公式：逆向文件频率 (inverse document frequency, IDF) IDF的主要思想是：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。 某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-I...
2019-12-08 19:25:59
1108
转载 大数据平台监控服务及自动重启脚本
我们知道大数据平台有很多服务datanode,namenode,nodemananger,resourcemanager等等，这些服务可能会在跑任务的过程中直接退出，那么我们如何监控这些服务并重启服务呢？接下来总结一些这方面的监控脚本以备不时之需。1、Datanode监控（hadoop_datanode_monitor.sh）#!/bin/bash source $HOM...
2019-12-08 18:27:19
206
转载 机器学习线上预测流程和方案
我们知道模型通过离线方式训练出来后，怎么进行预测呢？如何在线上实时打分。 我们可以将模型结果转为一种叫pmml的格式文件，然后交由openscoring的Web 服务组件来进行线上打分预测。openscoring是一套解决方案（官网是openscoring.io），github上有一位叫vruusmann的大神基于opencoring的组件，实现了一套REST Web服务，用于R，Scik...
2019-12-08 13:07:56
619
转载 Bash Shell中命令行选项/参数处理
0.引言 写程序的时候经常要处理命令行参数，本文描述在Bash下的命令行处理方式。 选项与参数： 如下一个命令行： . / test.sh - f config.conf - v -- prefix =/ home 我们称-f为选项，它需要一个参数，即config.conf, -v 也是一个选项，但它不需...
2018-11-11 15:49:32
1453
转载 HTTP请求报文和HTTP响应报文
HTTP报文是面向文本的，报文中的每一个字段都是一些ASCII码串，各个字段的长度是不确定的。HTTP有两类报文：请求报文和响应报文。HTTP请求报文一个HTTP请求报文由请求行（request line）、请求头部（header）、空行和请求数据4个部分组成，下图给出了请求报文的一般格式。or＜request-line＞＜headers＞＜blank line＞[＜reque...
2018-11-11 13:19:26
105
转载 理解A*寻路算法过程
这两天研究了下 A* 寻路算法, 主要学习了这篇文章, 但这篇翻译得不是很好, 我花了很久才看明白文章中的各种指代. 特写此篇博客用来总结, 并写了寻路算法的代码, 觉得有用的同学可以看看. 另外因为图片制作起来比较麻烦, 所以我用的是原文里的图片. 当然寻路算法不止 A* 这一种, 还有递归, 非递归, 广度优先, 深度优先, 使用堆栈等等, 有兴趣的可以研究研究~~简易...
2018-11-11 10:20:16
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人