- 博客(47)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 pip升级后Import Error:cannot import name main解决方案
https://blog.csdn.net/zong596568821xp/article/details/80410416在Ubuntu上安装软件，不小心升级了pip，导致使用时报错如下后来发现是因为将pip更新为10.0.0后库里面的函数有所变动造成这个问题。 解决方法如下：方法一：sudo gedit /usr/bin/pip将原来的from pip import ma...
2019-04-24 11:39:39
354
原创 （六）Spring Cloud实践：使用Netflix Zuul实现路由和过滤
呵呵，终于到最后一篇，实现了一个小目标。Spring Cloud Netflix通过zuul组件实现路由和过滤。路由是整个微服务框架的一个组成部分，可以通过反斜线开头的字符串来实现各种服务和web应用的映射。Zuul提供了一种基于JVM的路由和服务端的负载均衡。下面我们具体来看一下如何创建一个zuul模块，即模块7 zuulservice，其pom.xml文件内容为：<?xml...
2018-11-14 19:45:28
1153
1
原创 （五）Spring Cloud实践：使用Netflix hystrix实现断路器，并使用Netflix hystrix dashboard实现监控
Spring Cloud框架下，微服务之间的调用可能会是多层次的，底层服务故障会造成连锁式的异常。Spring Cloud使用Netflix hystrix实现断路器，可以通过回调来阻止上述连锁调用失败的情况。另外， Spring Cloud还使用Netflix hystrix dashboard实现了断路器的监控。Netflix hystrix对于模块5 ribbonservice， 需...
2018-11-14 19:16:09
5914
原创 （四）Spring Cloud实践：使用Feign实现负载均衡
除了通过Ribbon实现负载均衡外，还可以使用Feign，通过声明式服务调用实现负载均衡。在使用Feign进行服务调用时，Spring Cloud通过集成Ribbon和Eureka来提供HTTP客户端的负载均衡。 创建模块6，模块名称为feignservice，其pom.xml文件内容为：<?xml version="1.0" encoding="UTF-8"?><p...
2018-11-14 17:20:11
472
原创 （三）Spring Cloud实践：使用Netflix Ribbon实现负载均衡
按照前面两篇实现模块1、模块2、模块3、模块4，基本上能够满足一定的应用需求了（在访问量不是太大的情况下）。如果我们的微服务的访问量比较大，单台服务器无法满足需求或者考虑到IO问题，需要把微服务部署到多台服务器上时，就需要考虑负载均衡的问题。Spring提供了Ribbon+restful，来实现客户端的负载均衡。创建模块5，模块名称为 ribbonservice，其pom.xml文件的内容...
2018-11-14 16:38:18
1158
原创 （二）Spring Cloud实践：使用Spring Cloud Config实现分布式配置管理
Spring Cloud Config为微服务应用提供了统一的分布式配置管理，将配置文件放到git上，所有的微服务应用均从git上获取这些配置文件。 该种情况下，如果将配置文件放在第三方提供的版本控制器上，需要网络可访问，另外，也可以自己搭建gitlab私服，来存放自己的 配置文件（这种可能更好一些）。 模块4 configserver完整的pom配置信息如下：<?xml v...
2018-11-14 15:48:29
312
原创 （一）Spring Cloud实践： 使用Netflix Eureka实现服务注册与发现
Spring Cloud可以使用Netflix Eureka实现服务祖册与发现。Eureka分为Eureka Server和Eureka Client两部分，前者负责管理、协调所有的微服务提供者，后者提供各式各样的微服务。 下面具体描述一下Eureka Server和Eureka Client的模块的实现过程。模块1：eurekaservice打开idea，通过Spring Initia...
2018-11-14 11:28:21
2625
原创 微服务框架Spring cloud实践（开篇）
题目起的有点太大，写本文的主要目的，还是想将自己实际应用过程中，遇到的问题及解决方法，做一个总结，并系统梳理一下微服务框架Spring cloud的应用过程，以备后续复习查询。Spring cloud包含一些列的子项目，比如配置管理（Spring Cloud Config）、服务发现（Netflix Eureka）、断路器（Netflix Hystrix）、动态路由（Netflix zuul）...
2018-11-13 17:52:48
196
原创 配置中心Spring Cloud Config
在分布式系统中，Sparing Cloud Config为服务端和客户端提供了外部化的配置管理支持，可以实现在整个环境中进行统一的应用程序的外部配置属性的集中管理。在服务端和客户端，上述思想都可以映射到Spring的Environmen和PropertySource抽象概念上，所以可以很好的适应Spring的应用，并且可以用于以任何语言运行的应用。 当一个应用从开发、测试变成产品，并被移入部署管...
2018-11-12 16:00:57
154
原创 Eureka中的服务状态显示UNKOWN(1)
Spring cloud在加入Config配置中心后，Eureka中的服务状态显示为UNKOUNW(1)，Eureka的client端显示如下注册状态为204，重新注册。Eureka服务端： Eureka client端：2018-11-02 15:16:13.715 [DiscoveryClient-HeartbeatExecutor-0] INFO com.netflix.dis...
2018-11-02 15:35:22
9707
3
原创 centos7服务器上配置gitlab
使用win10上虚拟机，centos 7 64位查看依赖软件是否安装 yum list installed | grep "policycoreutils" yum list installed | grep "openssh-server" yum list installed | grep "openssh-clients" yum list...
2018-10-30 12:03:40
2131
1
原创 Centos7虚拟机上搭建Git服务器
在 spring cloud的config学习中， 需要使用git来统一管理配置文件，于是乎就开始搭建本地git服务器。（一）配置git源网上搜索教程，看起来很简单，但是执行第一行命令：yum -y install git，就报错了，有点蒙圈！细看出错提示，大体就是不存在git，无法安装的 意思。网上哥们都说是yum源的问题，只有更换 yum源才能解决。首先，搜到解决方法：http...
2018-10-25 19:53:54
1610
原创 Windows10下安装RabbitMQ边学边用
由于RabbitMQ依赖于Erlang，所以在安装RabbitMQ之前，首先需要安装Erlang。安装Erlang，下载Erlang，其官方网站下载地址为http://www.erlang.org/downloads，选择你想安装的版本，此处选择 OTP 21.1 Windows 64-bit Binary File，下载后双击 进行安装，具体安装步骤 如下：...
2018-10-23 20:26:41
165
原创 SpringBoot 使用redis实例
一、创建SpringBoot工程1、通过SPRING INITIALIZR来创建SpringBoot工程在Idea中，选择File->New->Project； 在弹出的页面中，选择Spring Initializer，在右侧页面勾选Default：https://start.spring.io，点击next； 在Group中输入com.learn，在Artifact中输入...
2018-10-09 19:52:06
1563
1
原创 Zookeeper3.4+Hadoop2.7+Spark2.3.1+kafka+Redis+Tensorflow服务器配置说明
2018年9月29日阅读本文档者需要具备一定的linux、大数据平台架构经验，关键一点你需要一个VPN账号和堡垒机账号（单位管理规定）。因为产品上线，临时申请了三台云服务器（有点措手不及），从晚上8点开始，和同事（小韩）一块进行服务器配置和应用部署，到第二天凌晨3点多，完全部署完成，并进行了服务测试，一切ok！有点小兴奋，晚上吃了个饭，到凌晨5点才在会议室睡着了（是不是有点贱）。下面记...
2018-09-30 16:14:54
1302
转载 Idea使用Maven构建可执行的jar包(包含依赖jar包)
链接：http://www.cnblogs.com/dzblog/p/6913809.html目标：将依赖的第三方jar包打进去方法：maven-assembly-plugin环境：IDEA 2016.3JDK 1.8遇到的问题：此处耗时2天时间，遇到过的坑：1.修改完pom.xml后，不生效。--改pom.xml后，代码不生效，是因为对IDEA工具不熟...
2018-09-20 18:48:20
6083
转载 CentOS下Redis的安装（转）
转发地址：https://www.cnblogs.com/renzhicai/p/7773080.html CentOS下Redis的安装下载安装包 在Centos下 执行下述命令，直接从网站下载安装包：wget http://download.redis.io/releases/redis-4.0.2.tar.gz解压安装包并安装tar -zxvf r...
2018-09-12 10:51:16
214
转载 （转载）大数据常见错误解决方案
转载地址：https://www.cnblogs.com/cstzhou/p/6437270.html用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add exp...
2018-09-11 14:22:30
1338
转载 FastText入门与实战（转）
转载地址：https://baijiahao.baidu.com/s?id=1607951833437361172&wfr=spider&for=pc本文主要介绍FastText的来龙去脉和原理分析，大概目录如下：一、简介二、FastText原理2.1 模型架构2.2 层次SoftMax2.3 N-gram特征三、 基于fastText实现文本分类3...
2018-08-31 16:40:26
5942
转载 （转）多版本Python共存的配置方法
转载地址：https://www.jb51.net/article/114311.htm同一台PC中，如果同时安装Python2和Python3环境，会在执行python命令时出现错误，操作系统会找到默认的配置进行执行。怎么样才能让python2和python3一起工作又互相不影响呢。但是由于工作需要，我们的个人PC上可能需要多个python版本共存，应该进行什么样的设置呢，本章内容就针对...
2018-08-28 14:19:50
305
翻译 聚类（Clustering）
本节主要描述MLlib中的聚类算法，基于RDD API的聚类指南中，也包括这些算法的相关信息。目录K-means（聚类） Input Columns Output Columns Latent Dirichlet allocation (LDA，潜在狄利克雷分布) Bisecting k-means（二分K均值） Gaussian Mixture Model (GMM，高...
2018-07-26 18:11:31
1410
转载 pycharm 安装和首次使用
http://blog.csdn.net/u014044812/article/details/78727496 激活码https://www.cnblogs.com/beginner-boy/p/7785041.html由于本人也是开发语言的学习小白，所以对于开发时使用的工具也不算太熟悉，不过这里还是要推荐一下本人使用过 的两款工具：1、pycharm ；2、eclipse这是我用的比较顺...
2018-06-13 11:53:09
1984
翻译 Hadoop 3相对于hadoop2的 新特性
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。最低Java版本要求从Java7变为Java8所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版本的用户需要升级到J...
2018-05-30 11:44:27
16884
原创 zookeeper+kafka的Producer、Consumer（单机版）
软件版本：jdk-8u91-linux-x64.tar.gzkafka_2.11-1.0.0.tgzzookeeper-3.4.10.tar.gz
2018-05-28 14:55:12
860
原创 Spark yarn执行方式
./bin/spark-submit --class org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2 --master yarn --deploy-mode client /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar 1000注释：1. org...
2018-04-16 16:31:16
306
转载 pycharm 2016.2或者2016.3激活方式
https://www.cnblogs.com/hjc4025/p/6824821.html以下方式仅仅适用于2016.2 或者2016.3在注册的时侯选择激活方式是License server里面填写下面的任意一个http://idea.imsxm.comhttp://mcpmcc.com:1017用于2016.2 或者2016.3，亲测可行。...
2018-03-25 10:39:01
3917
1
转载 windows 下 Anaconda 安装 TensorFlow
转至http://www.cnblogs.com/nosqlcoco/p/6923861.html另外一个连接：https://blog.csdn.net/darlingwood2013/article/details/60322258什么是 Anaconda？Anaconda is the leading open data science platform powered by Python....
2018-03-12 16:23:21
354
原创 window10下使用Eclipse+hadoop2.6来运行wordcount程序
hadoop作为分布式计算三大框架之一，在现实的应用中，具有重要的地位。本文通过经典的词频统计的实例，来说明如何在windows10下进行基于Hadoop的程序开发和调试，并就自己遇到的“坑“详细说明一下解决方法。1. 具体需要完成的工作如下：首先，你要有一个linux环境，hadoop无法运行在windows系统之上的，你可以在window上安装虚拟机，并在虚拟机上安装linux系统（或者采用c...
2018-02-24 18:28:17
479
转载 storm源码之理解Storm中Worker、Executor、Task关系
http://www.cnblogs.com/yufengof/p/storm-worker-executor-task.htmlStorm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系：1个worker进程执行的是1个topology的子集（注：不会出现...
2018-02-08 22:22:27
185
原创 Storm1.1.1+kafka2.11实例详解（2）
storm是一个开源免费的分布式实时计算系统，相对于Hadoop的批处理，storm能够实现可靠的无边界流式数据的实时可靠处理。storm非常简单，可以用支持多种编程语言。kafka是一个分布式流式处理平台，它的主要应用包括两大类：（1）构建一个实时的流式数据管道来保证系统和应用之间的可靠数据获取，（2）构建一个实时的流式处理应用来完成数据流的转换或相应。本实例详细说明storm和kafk...
2018-02-05 18:42:58
7793
1
转载 Storm入门（三）HelloWorld示例
https://www.cnblogs.com/hd3013779515/p/6965311.html一、配置开发环境storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。建议使用maven，只需要加上storm的依赖就
2018-01-25 00:33:29
324
转载 Apache Storm 官方文档 —— 分布式 RPC（转）
转至：http://ifeve.com/storm-distributed-rpc/分布式 RPC（DRPC）的设计目标是充分利用 Storm 的计算能力实现高密度的并行实时计算。Storm 接收若干个函数参数作为输入流，然后通过 DRPC 输出这些函数调用的结果。严格来说，DRPC 并不能算作是 Storm 的一个特性，因为它只是一种基于 Storm 原语 (Stream、Spout、B
2018-01-24 14:47:33
173
转载 Storm DRPC 使用
来源：http://blog.csdn.net/jmppok/article/details/168393631. DRPC介绍Storm是一个分布式实时处理框架，它支持以DRPC方式调用.可以理解为Storm是一个集群，DRPC提供了集群中处理功能的访问接口。其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后一
2018-01-11 13:51:07
797
转载 eclipse配置hadoop2.7.2开发环境并本地跑起来
先安装并启动hadoop，怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse，再下个eclipse的hadoop插件就完事了。下面细说一下： 1、到http://download.csdn.net/detail/wuxun1997/9841487下载
2018-01-08 14:54:21
2073
转载 Strom集群版安装配置（转）
集群版安装配置和单机版有一些区别，下面详细说明一下具体步骤：1. 三台虚拟主机主机名和ip地址分别如下：xhp1 192.168.56.101xhp1s1 192.168.56.102xhp1s2 192.168.56.1032. 安装zookeeper服务器集群http://blog.csdn.net/yongge1981/article/det
2017-12-27 14:06:23
259
转载 kafka安装及配置-集群（转）
kafka集群安装及配置主要包括两种，一种是在单机上通过配置多个broker来实现，一种在多个服务器上分别安装kafka来实现。一、单机多broker方式 配置 在安装好kafka后（安装方式见http://blog.csdn.net/yongge1981/article/details/78895893），将conf目录下的server.properties拷贝多份，这里
2017-12-27 09:04:17
177
原创 Virtualbox+Centos 7虚拟机设置host-only网卡的静态IP地址
对Virtualbox使用不是很熟悉，每次启动虚拟机都会被自动分配一个动态的IP地址（host-only），对我使用hadoop等很不方便，之前都是跳过了这个问题，今天花了半天时间终于解决了。具体处理方法如下：1. 启动Virtualbox，选着“管理”-->“全局设定”，在弹出的窗口中，选着“网络”，然后在右侧窗口中，选择“仅主机（Host-Only）网络”选项卡，如下图；如
2017-12-26 16:38:12
12610
3
转载 kafka安装配置及测试-单机版（转）
kafka安装配置比较简单，只需要从官网下载相关jar包，然后解压就可以了。下面是我用到的各个软件的版本：linux系统：centos 7 64位JDK版本：jdk1.8.0_91zookeeper： zookeeper-3.4.10kafka版本：kafka_2.11-1.0.02. 安装： a. JDK安装不在详细描述，可以看之前的博客；b. 安装zooke
2017-12-25 19:20:06
237
转载 zookeeper 安装的三种模式（转）
zookeeper的安装分为三种模式：单机模式、集群模式和伪集群模式。下面介绍在Centos 7虚拟机上安装配置的过程。单机模式首先，从Apache官网下载一个Zookeeper稳定版本，本次教程采用的是zookeeper-3.4.10版本。http://apache.fayea.com/zookeeper/zookeeper-3.4.10/ 然后解压zookeeper-3.4.10.tar.gz
2017-12-25 17:08:35
413
原创 Centos redis安装及配置
团队在用，安装之后，从其他服务器telnet不通，自己实际安装配置了一下，并做了测试。首先在redis官网下载了最新的版本，https://redis.io/；将该文件拷贝到/usr/local下，进行解压，tar -zxvf redis-4.0.6.tar.gz;解压后得到redis-4.0.6目录，cd 到该目录下，执行make命令；在redis-4.0.6目录下，新建一个r
2017-12-24 12:40:13
339
Postman一款功能强大的网页调试与发送网页HTTP请求的Chrome插件
2018-11-14
google的c版Word2vec
2017-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人