- 博客(134)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 gcc编译c源文件为so动态连接库时报错/mingw32/bin/ld.exe: cannot find -lpcap
最近，在做项目时需要抓取过网卡的数据包然后解析提取有用的字段值。由于前期项目都在应用层进行开发，所以是基于Java代码进行的，但现在要抓包分析，显然不能用Java代码实现了。经过思考，决定使用c++进行开发，然后编译为Java可执行的文件不就行了。说做就做！首先，由于本人没有学过c++，于是只能去找现成的代码进行修改。弄完代码，编译执行都没问题，接下开始进行so文件的编译。E:\Cprogram\TTL>g++ ttl.cpp -L.ttl.so -o mainC:\Users\147
2022-05-11 16:47:58
2635
原创 Linux下安装ns2
Linux环境下安装ns2的有效过程及Can't locate getopts.pl in @INC (@INC contains: /etc/perl xxxx) 错误分析和解决
2022-04-02 17:00:38
4041
1
原创 DHCP服务配置-Cisco模拟器
DHCP服务配置（Cisco模拟器）方法一. 利用三层交换机配置DHCP服务1.拓扑图规划2. 配置二层交换机vlan3. 配置三层交换机vlan4. 配置DHCP服务测试方法二. 利用服务器配置DHCP服务新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc
2021-05-22 21:44:53
8310
原创 Amabari-server start错误：Table 'ambari.metainfo' doesn't exist
最近在搭建Amabari大数据集群，过程中也是几经挫折，这里主要来讲一下amabari-start过程中的Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'ambari.metainfo' doesn't exist错误。错误日志如下：an unexpected error occured...
2020-01-09 09:01:02
1230
1
原创 centos6安装python3环境
Python3安装CentOS 6+系统默认安装的python版本是2.6.6，python2版本与python3还有有一些语法上的不一样。我们要把python升级到3版本，但是系统自带的旧版本python被系统很多其他软件环境依赖，所以不能直接卸载原来的2版本，所以我们重新安装一个3版本，将2版本的依赖保留。1、下载Python安装包源码包下载地址：https://www.pyth...
2019-11-16 20:17:17
384
转载 微服务概述
本文是我在学习微服务时看的其他博主介绍的一篇概念文章，觉得写得非常清晰全面、非常好，所以转载过来分享给大家一起学习。原文地址：https://blog.csdn.net/Soinice/article/details/83989225前言到底什么是微服务？为什么要用微服务？微服务主要来做一些什么？微服务有哪些优势？什么样的服务属于微服务？本文所有资料来源网络，我只是整理一下，总结一...
2019-10-21 16:41:42
226
原创 Airflow 配置celery+rabbitmq和celery+redis
Airflow 配置celery+rabbitmq1、安装celery和rabbitmq组件pip3 install apache-airflow[celery]pip3 install apache-airflow[rabbitmq]2、系统安装rabbit 1）安装 erlangyum install -y erlang 如果报错如下：[**** ]#...
2019-09-20 15:13:59
1924
原创 CentOS7安装Airflow
实验环境：centos7python3.6安装配置：1.看看是否有gcc,没有的话需要进行安装：yum install gcc （后续安装airflow如果不成功，可以再次执行，它会更新包）【这个很重要哦】2.安装脚本和依赖：yum install -y python36yum install -y python36-pipyum install -y pytho...
2019-09-20 12:24:51
1086
原创 Python如何import其它.py文件及其函数
如上图所示，我想在test_1.py文件中import我在lstm_1.py中定义的LstmParam和LstmNetwork。我直接采用的是最简单的引用方法：from lstm_1 import LstmParam, LstmNetwork，但是很明显报错了，不能直接这样引用。因为，编译环境无法直接找到。当你import的时候，python解释器只会在sys.path这个变量（一个li...
2019-07-31 10:45:51
3398
原创 Spark新闻项目介绍及Linux集群准备
（一）项目介绍本课程基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。 不管是零基础的大数据技术爱好者，还是有基础的IT小白，都可以通过此课程快速的上升到一个新的高度。1.适用人群有hadoop理论基础的大学生，职场小白，大白2.涉及技术Hadoop2.x、Zookeepe...
2019-06-24 10:44:27
415
原创 Spark新闻项目数据采集/存储/分发完整流程测试
（一）idea工具开发数据生成模拟程序 1.在idea开发工具中构建weblogs项目（Java项目），然后设置sources目录。 在java目录下新建ReadWrite类package main.java;import java.io.*;public class ReadWrite { static String readFileNam...
2019-06-24 10:44:03
504
原创 Flume+HBase+Kafka集成与开发
今天的内容是完成Flume+HBase+Kafka的集成开发。如下图红框中所示，节点1的Flume的source有两个：节点2和节点3的sink输出。节点1接收后进行预处理然后分别以AsyncHBaseSink（HBaseSink）和Kafka Sink的方式推送给HBase和Kafka进行离线数据处理和实时数据处理。1.下载Flume源码并导入Idea开发工具 1...
2019-06-24 10:43:53
442
3
原创 Flume数据采集准备
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。1.flume节点服务设计2.下载Flume并安装 1）下载Apache版本的Flume。 2）下载Cloud...
2019-06-24 10:43:38
352
1
转载 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
转自：https://www.cnblogs.com/ivictor/p/5142809.html为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+--...
2019-05-15 17:38:38
374
原创 CentOS7安装MySQL
1.安装依赖yum search libaio #检索是否有对应库yum install -y libaio #安装依赖包2.检查MySQL是否已经安装yum installed | grep mysqlNo such command: installed. Please use /bin/yum --help3.下载MySQL Yum...
2019-05-15 17:30:17
397
原创 Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点
Hadoop完全分布式环境下，上传文件到hdfs上时报错：19/05/15 11:03:12 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc_input/file1.txt._COPYING_ could only ...
2019-05-15 11:20:43
2789
2
转载 VMware安装CentOS7的详细过程
原文：https://www.jianshu.com/p/ce08cdbc4ddb?utm_source=tuicool&utm_medium=referral本篇文章主要介绍了VMware安装Centos7超详细过程（图文），具有一定的参考价值，感兴趣的小伙伴们可以参考一下1.软硬件准备软件：推荐使用VMwear，我用的是VMwear 12镜像：CentOS7 ,如...
2019-05-06 11:27:42
395
原创 Spark-Streaming实时数据分析
1.Spark Streaming功能介绍1）定义Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams2.NC服务安装并运行Spark ...
2019-04-30 15:26:27
2437
1
原创 Spark SQL快速离线数据分析
1.Spark SQL概述1）Spark SQL是Spark核心功能的一部分，是在2014年4月份Spark1.0版本时发布的。2）Spark SQL可以直接运行SQL或者HiveQL语句3）BI工具通过JDBC连接SparkSQL查询数据4）Spark SQL支持Python、Scala、Java和R语言5）Spark SQL不仅仅是SQL6）S...
2019-04-28 17:01:12
2360
原创 Spark-HBase集成错误之 java.lang.NoClassDefFoundError: org/htrace/Trace
在进行Spark与HBase 集成的过程中遇到以下问题：java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spa...
2019-04-28 16:44:14
1204
原创 Spark2.X集群运行模式
1.几种运行模式介绍Spark几种运行模式：1）Local2）Standalone（Spark自己的集群管理）3）Yarn4）Mesos（Spark初期支持）下载IDEA并安装，可以百度一下免费文档。2.spark Standalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.6.0已经安装4）Sp...
2019-04-18 17:30:26
247
原创 Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch
Spark on Yarn模式运行错误：bin/spark-shell --master yarn --deploy-mode client#报错查看8088页面上的工作日志错误原因：在执行任务时检测到虚拟机的内存太小，2.2g的虚拟内存实际值，超过了2.1g的上限，不能满足该任务所需的内存要求，于是Yarn就干掉了执行此任务的contrainer。解决办法：在y...
2019-04-18 17:20:00
1916
原创 基于IDEA环境下的Spark2.X程序开发
1.Windows开发环境配置与安装下载IDEA并安装，可以百度一下免费文档。2.IDEA Maven工程创建与配置1）配置maven2）新建Project项目3）选择maven骨架4）创建项目名称5）选择maven地址6）生成maven项目7）选择scala版本选中项目按“F4”键...
2019-04-17 18:51:01
284
2
原创 Spark2.X环境准备、编译部署及运行
1.Spark概述Spark 是一个用于大规模数据处理的快速和通用的计算引擎。在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作， 否则我们每次操作就需要等待数分钟甚至数小时。Spark 的一个主要特点是基于内存进行计算...
2019-04-17 10:40:09
535
原创 Cloudera HUE大数据可视化分析
1.Hue 概述及版本下载1）概述Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。2）...
2019-04-15 17:25:51
1316
原创 Hive与HBase集成进行数据分析
（一）Hive 概述（二）Hive在Hadoop生态圈中的位置（三）Hive 架构设计（四）Hive 的优点及应用场景（五）Hive 的下载和安装部署1.Hive 下载Apache版本的Hive。Cloudera版本的Hive。这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz，并上传至bigdata-pr...
2019-04-13 16:15:39
4087
原创 使用bind搭建DNS服务（CentOS 6.5）
DNS域名解析服务(DomainNameSystem)是用于解析域名与IP地址对应关系的服务，功能上可以实现正向解析与反向解析： 正向解析:根据主机名(域名)查找对应的IP地址。 反向解析:根据IP地址查找对应的主机名(域名)。工作形式上又分主服务器、从服务器和缓存服务器。 主服务器:在特定区域内具有唯一性、负责维护该区域内的域名与IP地址对应关系。 从服务器...
2019-03-28 14:47:39
677
原创 HBase 相关API操练(一)：Shell操作
HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用在启动 HBase ...
2019-03-25 09:18:17
133
原创 Spark集群安装MySQL环境
1.修改yum源鉴于用国外的Yum源，速度比较慢，所以想到将国外的yum源改为国内的Yum源，这里选择使用比较多的阿里云源。具体修改方法可以参考此连接我们先新建一个新的文件用来存放Yum源：[kfk@bigdata-pro01 ~]$ cd /etc/yum.repos.d/[kfk@bigdata-pro01 yum.repos.d]$ lltotal 16-rw-r--r-...
2019-03-21 17:55:36
313
原创 Flume启动错误之：Bootstrap Servers must be specified
今天测试项目的时候需要启动Flume，然而在启动时遇到了Bootstrap Servers must be specified错误，错误日志如下：[kfk@bigdata-pro01 flume-1.7.0-bin]$ ./flume-kfk-start.sh 2018-11-01 15:00:50,099 (conf-file-poller-0) [ERROR - org.ap...
2018-11-01 19:42:56
5759
原创 Windows下Redis数据库管理工具（redis-desktop-manager)安装与配置（图文详解）
Redis Desktop Manager安装 Redis Desktop Manager直接下载安装就行非常简单。下载地址：官网下载：https://redisdesktop.com/download github地址：https://github.com/uglide/RedisDesktopManager/releases 安装好后运行Redis，此时是无法创建连接的，因为我...
2018-10-29 17:24:32
1282
原创 CBoard数据分析实战
介绍CBoard由上海楚果信息技术有限公司主导开源, 它不仅仅是一款自助BI数据分析产品, 还是开放的BI产品开发平台:用户只需简单妥妥拽拽就能自助完成数据多维分析与报表设计 开发者能够简单扩展连接所有你的Java程序能够触及的数据 架构图轻量级的技术架构, 与国内开发者耳熟能详的技术栈, 自研多维分析引擎, 完成您在数据分析最后一棒的重要接力. 清晰的性能优化线路, 小...
2018-10-29 09:54:34
4228
5
原创 Kafka分布式集群部署
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。1.下载Kafka并安装kafka是一个消息系统。 kafka对流数据可以高效的实时处理。 分布式集群的环境下能够保证数据的安全。 ...
2018-10-24 15:17:43
336
原创 HBase分布式集群部署与设计
HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中...
2018-10-23 16:02:56
496
原创 Hadoop2.X HA架构与部署
HDFS-HA原理及配置 1.HDFS-HA架构原理介绍 hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下： 基本原理就是用2N+1台 JN 存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该...
2018-10-22 17:25:13
315
原创 Zookeeper分布式集群部署
ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。Zookeeper可以选择Apache版本，也可以选择Cloudera版本。下载Apache版本的Zookee...
2018-10-17 10:37:26
2899
原创 Hadoop2.X分布式集群部署
本博文集群搭建没有实现Hadoop HA，详细文档在后续给出，本次只是先给出大概逻辑思路。（一）hadoop2.x版本下载及安装Hadoop 版本选择目前主要基于三个厂商（国外）如下所示：基于Apache厂商的最原始的hadoop版本， 所有发行版均基于这个版本进行改进。基于HortonWorks厂商的开源免费的hdp版本。基于Cloudera厂商的cdh版本，Cloudera有免费版和...
2018-10-16 21:12:52
729
原创 Spark on YARN
YARN概述YARN是什么Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN在Hadoop生态系统中的位置YARN产生的背景随着互联网高速发...
2018-10-10 11:12:47
207
原创 Spark运行模式
Spark运行模式简介注：重点是Standalone模式，然后是YARNcluster和YARN client模式。1. Standalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，起初...
2018-10-09 11:37:54
139
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人