2 小莫の咕哒君

尚未进行身份认证

我要认证

我来,我见,我征服!

等级
TA的排名 5w+

Kafka启动报错处理:/opt/module/kafka/bin/kafka-run-class.sh: 第 258 行:exec: java: 未找到

今天在学习Kafka的时候,写了个脚本,用于集群中kafka的群起。发现启动不了。????去掉-daemon参数后,继续启动,看到了它报的错误(日志中也有显示)。找不到java???看了相关资料后,知道了,原来是Kafka的默认/usr/bin/java路径与我们实际的$JAVA_HOME/bin/java路径不一致导致的。.这里我们有两种修改方式修改我们的实际路径(太麻烦,而且可能会引起其它配置的变化,我大数据有些配置中直接使用JAVA_HOME的实际路径,没有使用环境变量)设置一个软连

2020-10-23 22:31:36

乐优商城项目实战

项目背景了解电商行业了解乐优商城项目结构能独立搭建项目基本框架能参考使用ES6的新语法项目分类主要从需求方、盈利模式、技术侧重点这三个方面来看它们的不同传统项目各种企业里面用的管理系统(ERP、HR、OA、CRM、物流管理系统…)需求方:公司、企业内部盈利模式:项目本身卖钱技术侧重点:业务功能互联网项目门户网站、电商网站:baidu.com、qq.com、taobao.com、jd.com …需求方:广大用户群体盈利模式:虚拟币、增值服务、广告收益…技术侧重点:网站

2020-10-19 16:15:31

Hive学习和实战

概念什么是HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。本质是:将 HQL 转化成 MapReduce 程序Hive 处理的数据存储在 HDFSHive 分析数据底层的默认实现是 MapReduce执行程序运行在 Yarn 上优缺点优点操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。避免了

2020-10-19 16:12:18

HBase学习

介绍定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库数据模型逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional map逻辑结构HBase表由行和列组成,每个行由行键(row key)来标识,列划分为若干列族,一个列族中可以包含任意多个列,同一个列族里面的数据存储在一个文件中。当这个文件达到一定大小后,会进行分裂形成多个r

2020-10-19 16:10:15

Zookeeper学习

入门概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目特点Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。数据更新原子性,一次数据更新要么成功,要么失败。实时性

2020-10-19 16:08:54

大数据介绍和hadoop学习(搭建,HDFS,Yarn,Mapreduce,优化,原理)

大数据介绍概念大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。特点volume大 数据的采集,计算,存储量都非常的庞大。variety多 种类和来源多样化。种类有:结构化、半结构化和非结构化数

2020-10-18 18:53:41

Hive启动报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

今天,搞了下hive,想着这个安装挺简单,结果一启动hive给我来着一招hive:小兄弟,没想到吧,咱可不是随便的人。????我:。。。错误信息报错如下:Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf

2020-09-14 17:12:10

Apache国内镜像下载

 ???? https://mirrors.tuna.tsinghua.edu.cn/apache/

2020-09-07 22:35:07

Pandas的介绍和使用

介绍Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具,其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力,Pandas 离这个目标已经越来越近了。Pandas 适用于处理以下类型的数据:与 SQL 或 Excel 表类似的,含异构列的表格数据;有序和无序(非固定频率)的时间序列数据;带行列标签的矩阵数据,

2020-08-22 23:25:57

Numpy的介绍和使用

介绍NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发,2005 年,Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色,并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码并且由许多协作者共同维护开发。NumPy 是一个运行速度非常快的数

2020-08-22 23:24:16

Matplotlib的介绍和使用

介绍Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形 [1] 。通过 Matplotlib,开发者可以仅需要几行代码,便可以生成绘图,直方图,功率谱,条形图,错误图,散点图等案例from matplotlib import pyplotpyplot.figure()pyplot.plot([1, 0, 9], [4, 5, 6])pyplot.show()三层结构容器层: 主要由Canvas、Figure、A

2020-08-22 23:23:00

Jupyter Notebook的介绍,使用以及常用快捷键

介绍Jupyter Notebook是一个开源的Web应用程序,允许用户创建和共享包含代码、方程式、可视化和文本的文档。它的用途包括:数据清理和转换、数值模拟、统计建模、数据可视化、机器学习等等。名字源于Julia,Python,和R(数据科学的三种开源语言)是一款程序员和工作者的编程/文档/展示软件.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范优势可选择语言:支持超过40种编程语言,包括Python、R、Julia、Scala等。分享笔记本:可以使用电子邮件、Dropbox

2020-08-22 23:19:58

吴恩达机器学习课程相关资料

视频课件资料???? 点击下载黄海广博士整理提供的资料知乎github机器学习笔记目录在线阅读机器学习作业视频(部分)  ???? https://space.bilibili.com/49109393/video课后习题及代码coursera中Andrew Ng的meachine learning的所有编程测验的原文件90题细品吴恩达《机器学习》,感受被刷题支配的恐惧吴恩达(机器学习)专栏吴恩达机器学习作业(原版无答案+有答案两个版本)学习作业其它同学的学习笔记等M

2020-08-22 23:09:09

python爬虫 -13- 反爬虫分析

User-Agent识别修改请求头信息里的User-Agent请求头信息识别比如说referer, content-type,请求方法(POST, GET)构造相应的请求头信息。比如说referer,我们在提取URL的时候,要把URL所在页面的URL也存储起来,并放到request.headers。异步加载我们需要分析页面的网络请求,从中找出和我们想要的数据相关的请求,并分析它的请求头信息、参数、cookie,然后根据这些信息构造我们的请求。通常来说都是ajax请求,也有图片请求,比如图片的la

2020-08-19 10:40:42

python爬虫 -12- splash(简单介绍和爬取京东)

文档  ???? 官方文档安装docker pull scrapinghub/splashdocker run -it -d -p 8050:8050 --rm scrapinghub/splash使用在浏览器输入ip+host,并请求京东可以看到输入http://localhost:8050/render.html?url=https://search.jd.com/Search?keyword=%E5%B0%8F%E7%B1%B310&enc=utf-8&a

2020-08-19 10:39:57

python爬虫 -11- selenium(简单介绍,爬取京东,爬取去哪儿网)

selenium简单使用from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://baidu.com") 进行关键字搜素kw = driver.find_element_by_id("kw")kw.send_keys("Python")su = driver.get_element_by_id("su")su.click()  获取标题h3_list = driver.find_ele

2020-08-19 10:34:32

python爬虫 -10- 新片场案列(scrapy的使用)

创建项目scrapy startproject xpc创建requirements.txt 在xpc目录下创建requirements.txt文件scrapyredisrequestspymysql 创建完成后,输入以下导入模块pip install -r requirement.txt初始化爬虫scrapy genspider discovery xinpianchang.com爬取逻辑import scrapyfrom scrapy import Request

2020-08-19 10:30:47

python爬虫 -09- 扩展(简单介绍和日志记录扩展)

介绍 扩展框架提供一个机制,使得你能将自定义功能绑定到Scrapy。 扩展只是正常的类,它们在Scrapy启动时被实例化、初始化。 扩展一般分为三种状态:可用的(Available)、开启的(enabled)和禁用的(disabled)。一些扩展经常需要依赖一些特别的配置,比如HTTP Cache扩展是可用的但默认是禁用的,除非设置了HTTPCACHE_ENABLED配置项。通过将其顺序设置为None,即可禁用。telnet 在cmd中telnet 127.0.0.1 6023 此时会让你输

2020-08-19 10:09:00

python爬虫 -08- 中间件(简单介绍和循环动态代理中间件)

process_request在request对象传往downloader的过程中调用。当返回不同类型的值的时候,行为也不一样:返回值行为None一切正常,继续执行其他的中间件链Response停止调用其他process_request和process_exception函数,也不再继续下载该请求,然后走调用process_response的流程Request不再继续调用其他process_request函数,交由调度器重新安排下载。IgnoreRequest

2020-08-19 09:56:49

python爬虫 -07- 迁木网(scrapy)

主要代码import scrapyfrom items import UniversityItemclass QianmuNewSpider(scrapy.Spider): name = 'qianmu_new' # 允许爬的域名内的url,比如qianmu.org,那么www.qianmu,org,mall.qianmu.org都能爬 allowed_domains = ['qianmu.org'] # 爬虫的入口地址,可以多些几个 start_urls

2020-08-19 09:49:29

查看更多

勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享达人
    分享达人
    成功上传6个资源即可获取