- 博客(37)
- 资源 (70)
- 收藏
- 关注
RSS订阅
原创 常用的趋势预测算法
用传统机器学习算法预测:使用回归分析，比如：CART回归、LASSO回归、线性回归、支持向量机回归、最近邻回归、随机梯度下降法回归; 使用统计学方法:ARIMA; 使用深度学习算法预测:RNN、LSTM等;欢迎关注“程序杂货铺”公众号，里面有精彩内容，欢迎大家收看^_^...
2021-10-28 16:12:28
131026
原创 随机梯度下降法介绍及其参数讲解
随机梯度下降法算法介绍 简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。 既然是选择一个方向下山，那么这个方向怎么选？每次该怎么走？ 先说选方向，在算法中是以随机方式给出的，这也是造成有时候走不到真正最低点的原因。 如果选定了方向，以后每走一步，都是选择最陡的方向，直到最低点。 总结起来就一句话：随机选择一个方向，然后每次...
2020-09-28 17:19:30
188204
原创 Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate学习笔记
1.论文要点1.1英文 Conversion rate (CVR) prediction is an essential task for ranking system in industrial applications, such as online advertising and recommendation etc. For example, predicted CVR i...
2019-12-19 14:31:55
179746
原创 Causal ML学习笔记
项目名称：Causal ML: A Python Package for Uplift Modeling and Causal Inference with ML项目名称：Causal ML：使用机器学习进行提升建模和因果推理的Python包CausalML是uber的开源项目，用于使用机器学习方法进行提升建模和因果推理方法。它允许用户从实验或观察数据估计条件平均治疗效果(CATE)或个体...
2019-12-19 14:09:48
184708
原创 机器学习常见算法整理
1.XGBoost算法1.1算法特性 用于解决二分类问题，同时通过使用许多策略能够防止过拟合现象发生，模型准确率比普通算法要高。XGBoost支持并行化计算，使得算法在模型训练及模型计算时运行速度快，效率高。XGBoost考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率。1.2 案例链接https://blog.csdn.ne...
2019-12-06 16:56:01
179377
原创 基于电信行业的AIOps应用与实践
1.摘要： 在大型互联网架构中，为提升平台的计算能力及资源利用率，普遍采用分布式技术。然而使用分布式技术也会带来一些潜在问题，若主机的资源需求与资源分配不匹配、部分主机长时间负载过重，容易导致服务失效，造成服务中断或数据丢失；同时当系统发生故障时由于服务分散在不同主机上导致问题难以定位，故障排查耗时等问题。因此，有必要将AIOps技术应用于分布式系统运维中。针对电信行业某一运营服务，通过...
2019-12-06 15:18:45
179515
原创 协同过滤推荐算法(java原生JDK实现-附源码地址)
协同过滤推荐算法(java原生JDK实现-附源码地址)一、项目需求1.需求链接https://tianchi.aliyun.com/getStart/information.htm?raceId=2315222.需求内容竞赛题目在真实的业务场景下，我们往往需要对所有商品的一个子集构建个性化推荐模型。在完成这件任务的过程中，我们不仅需要利用用户在这
2017-12-02 13:55:28
75649
11
原创 ElasticSearch javaAPI demo示例
一.数据实体：ID：自增主键ID：ID值VALUE_DAY：该机器当天的值GROUPNAME：组名TYPE_MACHINE：机器类型DATE：日期TYPE：类型二.Java代码：1.创建客户端：package elasticsearch.util;import java.net.InetAddress;import org.elastic
2017-09-28 08:57:05
49815
原创 设计模式笔记（java版）
设计模式笔记1、单例模式定义：确保一个类只有一个实例，并提供一个全局访问点。类图：源代码：public class Singleton { private static Singleton instance = null; private Singleton(){ } public static Singleton getInstance() {
2017-04-04 11:18:53
43300
原创 K-means算法研究综述
K-means算法研究综述聚类被认为是机器学习中最常使用的技术之一, 它历史悠久、应用广泛，几乎应用于环境学、医学、生物学、天文学、经济学等各个领域。其中K-means是最为常用的聚类算法。现在我们来详细介绍一下K-means算法。1K-means算法简介K-means算法(Lloyod,1982)是简单而又有效的统计聚类算法，使机器能够将具有相同属性的样本归置到一块儿。与分类
2017-03-18 10:33:39
55142
原创 文本相似度的设计与实现
文本相似度的设计与实现摘要：本文主要设计并实现了一个文本相似度系统，该系统主要功能计算文档之间的相似度，通过使用向量空间模型(VSM,Vector Space Model)及余弦相似度计算公式计算文档之间的相似度，数据预处理过程中加入word2vec模型进行语义扩充，从而能够匹配到更多相关文档。1. 向量空间模型向量空间模型(VSM, Vector SpaceModel)由Salt
2017-01-20 15:37:38
50028
32
原创 Naive Bayes、KNN、Softmax分类器的比较研究（附代码地址）
本文针对naïve bayes、knn和softmax三种分类模型进行比较研究，通过分析不同模型的特点找到相应场景应使用的模型。
2016-11-16 16:11:16
45583
原创 flink-1.15.X编译Runtime web模块失败解决
本文通过修改flink-runtime-web中的pom文件与flink-runtime-web/web-dashboard中的package.json文件成功编译通过flink-1.15.0
2022-10-14 15:49:51
71054
原创 Ansible批量安装clickhouse集群(shell脚本方式)
Ansible批量安装clickhouse集群(shell脚本方式)，帮助运维人员批量部署clickhouse集群。
2022-09-02 14:32:43
76527
2
原创 Ambari安装phoenix-hbase5.X(适配phoenix-queryserver)
phoenix-hbase4.15及5.X版本后，phoenix-hbase安装包中就不带phoenix-queryserver，phoenix-queryserver需要单独安装。本文将从手动安装跟Ambari安装两种方式出发适配phoenix-hbase高版本。
2022-03-07 14:47:28
109328
原创 C++学习笔记
基类私有成员，无论什么派生权限，派生类内成员函数和类外都是不可以访问的。 私有继承，无论基类原来什么类型，在派生类外通过成员函数都不可以访问。 派生类从基类中吸收的成员的访问权限为基类中访问权限和派生时派生权限两者之中最低的一种。根据派生的权限、基类中定义的权限，在派生类的类内和类外不同访问时的组合情况，列出下表：公有继承 保护继承 私有继承访问位置 类内 类外 类内 类外 类内 类外公有成员 可以 可以 可以 不可以 可以 不可以保护成...
2021-07-16 21:54:15
140100
6
原创 python实现约瑟夫环问题
#!/usr/bin/python# -*- coding:utf-8 -*-def initList(n): list = [] for i in range(n): list.append(i+1) return listdef run_josephus(list, m): n = len(list) i = 0 j = 0 while n > 1: n = len(list) # .
2021-06-08 11:08:17
147761
1
原创 Python学习笔记
Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。Python 是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。Python标识符、字符串或串(String)是由数字、字母、下划线组成的一串字符。第一个字符必须是字母表中字母或下划线_。标识符对大小写敏感。缩进的空格数是可变的，但是同一个代码
2021-06-02 15:44:40
147320
1
原创 ClickHouse在字节跳动的应用与实践
早期实践案例一:推荐系统实时指标案例二:广告投放实时数据运维经验Kafka接入ClickHouse的平台推断出Schema敏捷BI平台总结未来展望和计划欢迎关注“程序杂货铺”公众号，里面有精彩内容，欢迎大家收看^_^...
2021-04-08 10:49:18
155413
原创 ClickHouse踩坑指南
创建单表建议首选MergeTree引擎(ClickHouse中最强大的表引擎当属 MergeTree引擎及该系列(*MergeTree)中的其他引擎。)，创建分布式表建议选择MergeTree + Distributed引擎，若保证高可用，建议选择ReplicatedMergeTree + Distributed引擎； 针对当前ClickHouse版本，Nullable(DateTime)不生效，插入空值报错； 在SQL解析方面，ClickHouse是大小写敏感的，这意味着SELECT a 和 SEL.
2021-03-17 10:33:40
163067
1
原创 ClickHouse与MySQL查询对比测试
环境表：字段属性：ID Int64,VALUE_DAY float,CENTER_NAME String,SERVICE_NAME String,IPCOUNT UInt8,M_DATE Date,M_TIME String,TYPE String,TYPE_MACHINE String行数：7938518表文件大小:719M配置：MySQL部署一台主机，创建一张表。CREATE TABLE `test` (`ID` bigint(20)
2021-03-02 16:08:37
164190
1
原创 网页/网站/博客等刷点击率(流量)方法
网页/网站/博客等刷点击率(流量)方法前言：首先，在这里不鼓励大家对网页/网站/博客等进行刷点击率的作法，毕竟此行为是一种作弊现象，但作为一名技术人员本着分享技术的想法也要给大家分享一下。方法： 通过Linux中的curl命令是一种很好地对网站进行访问的手段，可以很方便地通过脚本获取到网页的信息，同时增加对网站的访问，因此我们通过Linux中的curl试验对网页进行刷频。脚本：...
2018-03-31 17:01:52
46032
6
原创 Zabbix server(离线版)安装手册
由于zabbix server需要依赖MySQL及PHP的相关依赖，因此需要先安装好MySQL及PHP的相关依赖后方可安装zabbixserver。安装MySQL目录mysql下的rpm1.新建mysql用户 useradd mysql;passwd mysql;2.用root用户先查看有没有冲突，rpm -qa|grep mysql 如果已经有了卸载 rpm -e -
2018-01-31 15:40:25
47743
1
原创 Redis集群配置参数及优化
Redis的主要参数配置在redis.conf文件中。1. conf 内存值2.bind ip默认情况下，如果没有指定“bind”配置指令，Redis将侦听服务器上可用的所有网络接口的连接。默认情况：bind 127.0.0.1实际配置：bind 本机ip3.protected-mode yes启用默认保护模式。只有当您确定您希望其他主机的
2018-01-12 15:39:28
56936
原创 Redis集群架构及对比
1.Redis3.0·优点a. 无中心节点b. 数据按照 slot存储分布在多个 Redis实例上c. 平滑的进行扩容/缩容节点d. 自动故障转移(节点之间通过 Gossip协议交换状态信息,进行投票机制完成 Slave到 Master 角色的提升)e. 降低运维成本，提高了系统的可扩展性和高可用性·
2018-01-12 15:32:11
50300
4
原创 redis集群(离线版)安装手册
1. 依赖包:apr-1.3.9-5.el6_2.src.rpmapr-util-1.3.9-3.el6_0.1.src.rpmcurl-7.19.7-52.el6.src.rpmhttpd-2.2.15-59.el6.centos.src.rpmmysql-5.1.73-8.el6_8.src.rpmopenssl-1.0.1e-57.el6.src.rpm
2018-01-12 15:23:28
43879
1
原创 Linux下查询端口占用的进程
查询端口占用的进程1.查询进程netstat -tunlp|grep 端口号此时可查出进程的PID2.查询相应进程ps -ef | grep 进程号
2017-10-18 10:05:49
44216
原创 大数据应用
大数据应用随着web4.0时代的到来，数据将成为企业的最大资产。运营商所含有的数据是不可限量的，同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术，能够为企业带来意想不到的效果。1.应用 对内：网络优化、异常检测、大数据报表、用户轨迹、协同警方监控及判案、智慧城市对外：用户画像、客户细分、精准营销、追踪用户、产品推荐1.1对内...
2017-10-05 11:46:31
46986
原创 docker学习笔记
docker学习笔记一．更新内核，升级内核至3.x二．安装docker：rpm --import/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6yum -y install docker-io三．启动docker：service docker startchkconfig docker on四．下载基础镜像：docker pull cent
2017-08-08 14:50:34
43379
原创 java编写求集合的全体子集
若求解集合中的全部子集，只需从头开始遍历即可，比如：我们想求集合{A,B,C,D}的全部子集，我们发现它的全部子集可以从头开始遍历{, A, AB, ABC, ABCD, AC, ACD, AD, B, BC, BCD, BD, C, CD, D},当一个链结束后比如ABCD，取出第一个元素A再进行重新开始遍历形成AC。当发现规律后，我们便可以开始编写代码：import java.util.A
2016-08-13 21:09:27
36640
2
原创 Windows的eclipse下开发Hadoop
Windows的eclipse下开发Hadoop1. 使用与服务器对应版本的Hadoop的jar包2. 下载hadoop-common-2.2.0-bin-master文件 修改环境变量-> (1) 建立HADOOP_HOME:D:\hadoop-common-2.2.0-bin-master
2015-08-01 15:51:42
35702
Java编写的k-means文本聚类算法
2015-07-21
Java编写的k-means算法
2015-07-18
机器学习算法研究沉淀
2020-10-20
zabbix server安装包及安装手册
2018-02-10
redis_cluster离线安装包及其安装手册
2018-01-12
elasticsearch demo示例 源码程序
2017-09-27
scikit-learn简单示例
2017-07-16
分层排序系统（基于Inventor-Ranking的发明人排序算法）-java版
2017-02-20
Naive Bayes、KNN、Softmax分类器的对比实验代码
2016-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人