10 pengjunlee

尚未进行身份认证

不学自知,不问自晓,古今行事,未之有也。

等级
TA的排名 326

推荐系统介绍

当下,个性化推荐成了互联网产品的标配。但是,人们对推荐该如何来做,也就是推荐技术本身,还不甚了解。为此,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。我知道,这样碎片化的吸收,增加了知识的同时,也增加了焦虑。因为技术的不平等广泛存在于业界内,推荐系统也不例外。推荐系统从搜索引擎借鉴了不少技术和思想,比如内容...

2020-04-03 09:15:52

Flink 原理与实现:Window 机制

Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他的亮点包括消息乱序处理,和 checkpoint 机制)。本文我们将介绍流式处理中的窗口概念,介绍 F...

2020-03-31 15:09:58

Mac安装Flume

一 简介Flume 是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Agent主要由:source,channel,sink三个组件组成:Source从数据发生器接收数据,并将接收的数据以Flume的eve...

2020-03-31 09:50:37

Hbase的Rowkey设计原则

一、Hbase介绍HBase (Hadoop Database)是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)二、设计原则 2.1Rowkey长度原则Rowkey是一个二进制码流,Row...

2020-03-31 09:08:34

异常--Could not start ZK at requested port of 2181

HMaster和HRegionServer是Hbase的两个子进程,但是使用jps发现没有启动起来,所以去我们配置的logs查看错误信息。提示:Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be abl...

2020-03-30 17:55:37

Hbase原理简介

HBase简介HBase是一个构建在HDFS上的、分布式的、面向列的开源数据库,它是Apache Hadoop生态系统中的重要一员。与mysql、oracle等关系型数据库RDBMS基于行模式的存储不同,HBase是基于列模式进行存储的,这使得它非常适合于存储海量非结构化或者半结构化的数据。通常HBase 需要构建在HDFS之上,并将其内部管理的数据文件全部存储在HDFS中。...

2020-03-29 22:00:42

HBase 单机版安装及使用

HBase介绍HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBas...

2020-03-29 16:11:18

MapReduce原理简介

MapReduce的起源&简介MapReduce("Map(映射)"和"Reduce(归约))是一种编程模型,用于大规模数据集(大于1TB)的并行运算。它的核心思想来源于Google在2004年12月发表的一篇MapReduce论文:Our abstraction is inspired by the map and reduce primitives present in Lisp ...

2020-03-28 17:28:30

腾讯大数据之TDW计算引擎解析——Shuffle

腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,目前单集群最大规模达到5600台,每日作业数达到100多万,已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求,TDW也在向实时化方向发展,为用户提供更加高效、稳定、丰富的服...

2020-03-27 17:54:24

代码神器:拒绝重复编码,这款IDEA插件了解一下

Easycode是idea的一个插件,可以直接对数据的表生成entity、controller、service、dao、mapper无需任何编码,简单而强大。1、安装(EasyCode)我这里的话是已经那装好了。建议大家再安装一个插件,叫做Lombok。Lombok能通过注解的方式,在编译时自动为属性生成构造器、getter/setter、equals、hashcode、toStr...

2020-03-27 10:35:36

有了这个IDEA插件,从此不用再开Postman了

前阵子刚发过:2020Postman都有女朋友Postwoman了!你还单着吗!然后发现,有个idea插件貌似更方便,推荐给大家。接口调试是每个软件开发从业者必不可少的一项技能,一个项目的的完成,可能接口测试调试的时间比真正开发写代码的时间还要多,几乎是每个开发的日常工作项。所谓工欲善其事必先利其器,在没有尝到IDEA REST真香之前,postman(chrome的一款插件)确实是一...

2020-03-27 09:48:27

python 3 中文URL编码转换问题

#先引入模块from urllib.request import quote>>> ff = '摄像头'>>> ff = quote(ff)>>> ff'%E6%91%84%E5%83%8F%E5%A4%B4'>>> 解码是另一个模块from urllib import parse>>> a...

2020-03-26 17:03:42

Mac下单机安装部署Hadoop3.2.1

环境准备修改主机名sudo scutil --set HostName localhostssh免密登录ssh-keygen -t rsa (一路回车直到完成)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod og-wx ~/.ssh/authorized_keys设置完之后ssh loca...

2020-03-22 18:59:17

mac下编译hadoop3.0.*版本的native lib

编译好的hadoop3.0.2的native 见https://download.csdn.net/download/qq_14811559/10413344本人的hadoop版本为3.0.0,用3.0.2源码编译的也可以。一、问题mac安装hadoop3.0.0 后报错:WARN util.NativeCodeLoader: Unable to load native-hadoop...

2020-03-22 17:33:33

Mac 系统下查看 Java 安装目录

最近在学习JVM,需要运行jdk自带的命令行,需要在特定jdk目录下进行,所以需要查看jdk安装目录,之前也查过,忘记了。这次记录下来为以后备用。1、打开终端,输入:/usr/libexec/java_home -V注意:输入命令参数区分大小写(-v是不对的,必须是-V)如图:3个红框内依次为:输入命令; 当前Mac已安装jdk目录; Mac默认使用的jdk版本;...

2020-03-22 17:14:24

protobuf-2.5.0.tar.gz的下载与安装

1.下载hadoop使用protocol buffer进行通信,需要下载和安装protobuf-2.5.0.tar.gz。由于现在protobuf-2.5.0.tar.gz已经无法在 官网中下载了,本人将 protobuf-2.5.0.tar.gz 上传到百度云盘供大家下载,地址:http://pan.baidu.com/s/1pJlZubT 。2.安装使用tar -...

2020-03-22 17:03:58

Mac终端提示Could not determine audit condition

原因:自己修改了系统变量结果:导致终端显示进程已完成错误信息:login: Could not determine audit condition [Process completed]解决方案:打开Finder(shift+Command+G)前往文件夹usr/bin/login文件夹,删除login文件。...

2020-03-22 15:09:10

Mac权限问题,operation not permitted

一般情况下我们在使用mac系统过程中下载一些文件、新建一些项目之后,这些文件都会默认是只读状态,这时我们只需要简单的一句权限设置命令就可以解决sudo chmod -R 777 你要修改文件上层目录的路径但是我们在对 usr/bin 目录下的文件进行操作的时候往往会出现 operation not permitted ,这是因为一些mac用户在升级系统之后,电脑启用了SIP(System...

2020-03-22 14:33:05

HomeBrew 安装软件慢的解决方法

用原有的镜像下载非常慢 => ????替换源,更新速度变成 => ????第一步:更换仓库源homebrew 默认的源是在 github 上面,每次更新速度都会非常慢。所以我们更换成国内的镜像源。就会快很多了。cd "$(brew --repo)"git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git...

2020-03-22 14:16:28

Homebrew国内如何自动安装(国内地址)

一、自动脚本(全部国内地址)(在Mac os终端中复制粘贴回车下面这句话)/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"成功的话,如上图所示。二、手动操作(自动脚本安装完,下面的不需要运行,两种操作方式而已)第一步:通过命令删除之前的brew、创建...

2020-03-22 14:13:01

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    参与《原力计划【第二季】— 学习力挑战》获得推荐的原创文章的博主