xl.zhang-CSDN博客

原创基于Spark2.x新闻网大数据实时分析可视化系统项目

本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于github，大家可以自行下载。一、业务需求分析捕获用户浏览日志信息实时分析前20名流量最高的新闻话题实时统计当前线上已曝光的新闻话题统计哪个时段用户浏览量最高二、系统架构图设计三、系统数据流程设计四、集群资源...

2018-05-03 20:05:20 74904 166

原创基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）

本次项目是基于大数据过滤引擎的电影推荐系统–“懂你”电影网站，包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）。项目代码托管于github，大家可以自行下载。一、爬虫开发环境： pycharm + python3.6软件架构： mysql + scrapy运行环境：本次爬取的内容在外网，所以需先翻墙后才能成功运行。项目架构：二...

2018-04-19 16:06:31 74902 41

原创基于分布式的云笔记实现（参考某道云笔记）

注： 1）云笔记代码可在github上下载，如果对您有用，记得star一下。 2）依赖jar包可在以下地址下载jar包，密码：yvkj，放到web/lib下即可 3）hdfs配置参考网址 4）redis配置参考网址一、产品简述云笔记是在吸收了多年的运营数据，经过精确的大数据分析指导需求模型的建立从而实现的，云笔记通过大数据分布式存储解决方案解决了...

2018-01-20 23:28:04 31522 4

原创 chrome.exe（或其他exe）- 损坏的映像

出现错误：C:\Windows\system32\xxx.dll 没有被指定在Windows上运行，或者它包含错误。请尝试使用原始安装介质重新安装程序，或联系你的系统管理员或软件供应商以获取支持。错误状态0xc0000xx.解决方法：以管理员权限打开cmd命令行，输入：(for %1 in (%windir%\system32\*.dll)do regsvr32.exe /s %1)如果错误还是出现，输入：Dism /Online /Cleanup-Image /Scan.

2020-08-05 10:33:10 10451 3

原创 git操作命令缩写配置

为了方便平时的git操作，将其命令配置成简写。需要在 ~目录下增加文件.gitconfig，配置如下内容。[user] name = xxx email = [email protected][diff] #external = ~/gitdiff.sh[alias] unstage = reset HEAD -- br = branch co = checkout df = diff dfc = diff --cached st = status c

2020-08-03 21:08:02 1560

翻译 TensorFlow: A System for Large-Scale Machine Learning

简介TensorFlow是一种机器学习系统，可在大规模和异构环境中运行。TensorFlow使用数据流图来表示计算，共享状态以及改变该状态的操作。它将数据流图的节点映射到集群中的多台机器上，并且单台机器上跨多个计算设备，包括多核CPU，通用GPU和定制设计的ASIC，称为张量处理单元（TPU）。这种架构为应用程序开发人员提供了灵活性：在以前的“参数服务器”设计中，共享状态的管理内置于系统中，T...

2019-10-09 08:34:05 4915 2

转载电商　秒杀系统　设计思路和实现方法

1 秒杀业务分析正常电子商务流程（1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货秒杀业务的特性（1）低廉价格；（2）大幅推广；（3）瞬时售空；（4）一般是定时上架；（5）时间短、瞬时并发量高； 2 秒杀技术挑战假设某网站秒杀活动只推出一件商品，预计会吸引1万人参加活动，也就说最大并发请求数是10000，秒杀系统需要面...

2019-09-24 11:19:36 3390

原创 Flink（一）：基本原理及应用场景分析

一、Flink简介 Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。主要由 Java 代码实现。支持实时流(stream)处理和批(batch)处理，批数据只是流数据的一个极限特例。 Flink原生支持了迭代计算、内存管理和程序优化。二、Flink特性三、Flink架构图四、Flink...

2019-07-23 23:53:49 2042

原创 Linux-centos下更换阿里云镜像

1. 更换阿里云镜像1）备份mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2）下载新的CentOS-Base.repo 到/etc/yum.repos.d/CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo ht...

2019-05-29 22:05:08 7403

转载强化学习实践八：DQN的实现

本文将带您一起实践深度学习与强化学习联合解决问题的一个经典算法：深度Q学习网络（DQN）。深度学习算法在强化学习领域的应用主要体现在价值函数或策略函数的近似表示上，理解了这一点将有助于您直击深度强化学习问题的本质。正因为如此，我们也可以使用不基于深度学习的其他函数近似工具。这里贴一些别人已经写好的基于深度学习算法的一些链接：borgwang/reinforce_py用不同的机器学习库实现...

2019-05-29 21:42:16 5391

转载 David Silver强化学习公开课（九）：探索与利用

本讲系统地介绍了在强化学习领域如何有效地进行探索，给出了几类探索算法，通过引入后悔值，借助多臂赌博机这一与状态无关的示例从理论上论述了相关算法的有效性，随后很简单地介绍了将其扩展至与状态相关学习问题和这些算法如何具体应用于解决MDP问题。本讲的一些算法在之前的讲解中或多或少有所涉及，本章偏重于从一些统计理论角度出发给出一些探索方法的有效性证明。简介 Introduction探索和...

2019-05-15 16:06:35 2636

转载 David Silver强化学习公开课（八）：整合学习与规划

本课程之前所有的内容都没有提及到个体如何构建一个模拟环境的模型，自然也没有讲解个体构建一个模拟环境的模型对于解决MDP问题有何帮助。本讲即关注这两个问题。通过构建一个模型，个体具备了一定程度的独立思考能力，即在与环境发生实际交互之前思考各种可能的行为其对能带给环境及自身的改变。通过个体的思考以及联合其与环境的实际交互经验，个体在解决大规模MDP问题时可以取得更好的结果。本讲涉及的内容多属于宏观架构...

2019-05-05 10:15:10 2151

转载 David Silver强化学习公开课（七）：策略梯度

前一讲主要讲解的是价值函数的近似，然后根据价值函数来制定策略。本讲中策略P(a|s)将从一个概率集合摇身变成函数本身π(s,a)，通过借助策略相关的目标函数梯度的引导，寻找与目标函数的极值，进而得到最优策略。本讲组织架构如下：先提出价值函数在某些情况下不能很好的解决问题，同时直接基于策略的分析在某些场合具有价值函数不能替代的优点，接着引入了直接基于策略学习所需要的目标函数的设计，引入了策...

2019-04-21 21:02:32 4052

转载强化学习实践七：给Agent添加记忆功能

在《强化学习》第一部分的实践中，我们主要剖析了gym环境的建模思想，随后设计了一个针对一维离散状态空间的格子世界环境类，在此基础上实现了SARSA和SARSA(λ)算法。《强化学习》第二部分内容聚焦于解决大规模问题，这类问题下的环境的观测空间通常是多维的而且观测的通常是连续变量，或者行为不再是离散的简单行为，而是由可在一定区间内连续取值的变量构成，在解决这类大规模问题时必须要对价值函数（或策略函数...

2019-04-16 14:06:24 3504

转载 David Silver强化学习公开课（六）：价值函数的近似表示

之前的内容都是讲解一些强化学习的基础理论，这些知识只能解决一些中小规模的问题，很多价值函数需要用一张大表来存储，获取某一状态或行为价值的时候通常需要一个查表操作（Table Lookup），这对于那些状态空间或行为空间很大的问题几乎无法求解，而许多实际问题都是这些拥有大量状态和行为空间的问题，因此只掌握了前面5讲内容，是无法较好的解决实际问题的。本讲开始的内容就主要针对如何解决实际问题。本讲主...

2019-04-12 17:13:21 2434

转载强化学习实践六：SARSA(λ)算法实现

在实践五中我们编写了一个简单的个体(Agent)类，并在此基础上实现了SARSA(0)算法。本篇将主要讲解SARSA(λ)算法的实现，由于前向认识的SARSA(λ)算法实际很少用到，我们将只实现基于反向认识的SARSA(λ)算法，本文后续如未特别交代，均指的是基于反向认识的SARSA(λ)。SARSA(λ)算法的实现该算法的流程图如下：其特点是需要额外维护一张E表，来衡量一个...

2019-03-19 21:14:09 3444

转载强化学习实践五：Agent类和SARSA算法实现

通过前几次强化学习实践讲解，我们基本上理解了个体与环境的建模思想，特别是对gym库有了一定的了解。在本讲中，我们将尝试编写一个简单的Agent类，并且使它能够和我们之前编写的格子世界环境类进行交互。然后我们将实现SARSA算法，确切地说是SARSA(0)。我们将看看它在简单格子世界中的训练效果。由于蒙特卡洛学习和单纯的基于价值的TD学习实际应用不多，在实践环节我也不打算实现这两个算法，当然了S...

2019-03-13 22:46:14 2819

转载强化学习实践四：编写通用的格子世界环境类

gym里内置了许多好玩经典的环境用于训练一个更加智能的个体，不过这些环境类绝大多数不能用来实践前五讲的视频内容，主要是由于这些环境类的观测空间的某个维度是连续变量而不是离散变量，这是前五讲内容还未涉及到的知识。为了配合解释David Silver视频公开课提到的一些示例，我参考了gym的思想设计了一个通用的格子世界环境类，该环境类的观测空间是一维离散变量，可以很好地模拟其公开课中提到的：简单格子、...

2019-03-06 13:09:48 4617 2

原创强化学习环境：Gym本地库中添加自己编写的环境

1. 找到本地gym库地址下的envs目录，可能是：python3.6/site-packages/gym/envs。 envs下面有多个目录，选择一个你的环境所属的目录（不是很重要，选择相近类别即可）2.假如我们选择的是classic_control目录，进入该目录。3.把自己编写的环境文件（比如myenv.py）拷贝至该目录。4.打开该目录下的__init__.py...

2019-03-06 10:31:21 10965 7

转载强化学习实践三：理解gym的建模思想

David Silver的强化学习公开课有几个特点，个人感觉首要的一个特点是偏重于讲解理论，而且有时候为了讲清楚一个理论的来龙去脉，也顺带讲了很多不常用的理论；还有一个特点是小例子很多，这些例子有时候不仅是为了讲清楚一个复杂的算法，而且通过例子会加深对一些概念的理解。同样我们在学习他的课程时，也应该注重实践，因为只有通过实践，才会对理论有更深的认识，有时候会在实践中纠正自己曾经一直自己以为正确其实...

2019-03-05 23:30:19 3372 2

转载强化学习实践二：迭代法评估4*4方格世界下的随机策略

本篇用代码演示《强化学习》第三讲中的示例——方格世界，即用动态规划算法通过迭代计算来评估4*4方格世界中的一个随机策略。具体问题是这样：已知（如上图）：状态空间 S：为非终止状态；，终止状态，图中灰色方格所示两个位置；行为空间 A：{n, e, s, w} 对于任何非终止状态可以有向北、东、南、西移动四个行为；转移概率 P：任何试图离开方格世界的动作其位置将不会发生改变，其余条...

2019-03-04 20:09:28 3492

原创 linux下安装hadoop3.0（全分布式）

一、hadoop3.x的新特性1. Java版本需要1.82. Shell脚本已部分重写(Shell script rewrite)3. HDFS新特性支持可删除编码(Erasure Coding)使用EC来替代副本机制，可省略大约50%的存储空间，此时副本个数为1就行支持两个及以上的namenode(即一个namenode与多个datanode) datanode数据写入平...

2019-03-04 15:12:57 5245

转载强化学习实践一：Tic-Tac-Toe游戏

这里给出一个简单的强化学习例子Tic-Tac-Toe。这是一个简单的游戏，在一个3x3的九宫格里，两个人轮流下，直到有个人的棋子满足三个一横一竖或者一斜，赢得比赛游戏结束，或者九宫格填满也没有人赢，则和棋。这个例子的完整代码在我的github。例子只有一个文件，很简单，代码首先会用两个电脑选手训练模型，然后可以让人和机器对战。当然，由于这个模型很简单，所以只要你不乱走，最后的结果都是和棋，当然...

2019-01-14 16:48:08 14045

转载 David Silver强化学习公开课（五）：不基于模型的控制

某种程度上来说，这个课程所有的内容最后都会集中于本讲内容，通过本讲的学习，我们将会学习到如何训练一个Agent，使其能够在完全未知的环境下较好地完成任务，得到尽可能多的奖励。本讲是基础理论部分的最后一讲，本讲以后的内容都是关于实际应用强化学习解决大规模问题的理论和技巧。本讲的技术核心主要基于先前一讲以及更早的一些内容，如果对先前的内容有深刻的理解，那么理解本讲内容将会比较容易。简介 In...

2018-11-19 19:41:43 3624 3

原创强化学习笔记 - 00 - 术语和数学符号

基本概念Agent - 本体。学习者、决策者。Environment - 环境。本体外部的一切。 - 状态(state)。一个表示环境的数据。 - 所有状态集合。环境中所有的可能状态。 - 行动(action)。本体可以做的动作。 - 所有行动集合。本体可以做的所有动作。 - 状态的行动集合。本体在状态下，可以做的所有动作。 - 奖赏(reward)。本体在一个行动后，获得的奖赏。 - 所有...

2018-11-13 22:36:21 4101

转载 David Silver强化学习公开课（四）：不基于模型的预测

简介 Introduction通过先前的讲解，我们明白了如何从理论上解决一个已知的MDP：通过动态规划来评估一个给定的策略，并且得到最优价值函数，根据最优价值函数来确定最优策略；也可以直接进行不基于任何策略的状态价值迭代得到最优价值函数和最优策略。从本讲开始将花连续两讲的时间讨论解决一个可以被认为是MDP、但却不掌握MDP具体细节的问题，也就是讲述如何直接从Agent与环境的交互来得到一个...

2018-11-13 16:08:18 2294

转载 David Silver强化学习公开课（三）：动态规划寻找最优策略

本讲着重讲解了利用动态规划来进行强化学习，具体是进行强化学习中的“规划”，也就是在已知模型的基础上判断一个策略的价值函数，并在此基础上寻找到最优的策略和最优价值函数，或者直接寻找最优策略和最优价值函数。本讲是整个强化学习课程核心内容的引子。简介 Introduction动态规划算法是解决复杂问题的一个方法，算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在解决子问...

2018-10-31 09:44:19 4496

转载 David Silver强化学习公开课（二）：马尔科夫决策过程

在强化学习中，马尔科夫决策过程（Markov decision process, MDP）是对完全可观测的环境进行描述的，也就是说观测到的状态内容完整地决定了决策的需要的特征。几乎所有的强化学习问题都可以转化为MDP。本讲是理解强化学习问题的理论基础。马尔科夫过程 Markov Process 马尔科夫性 Markov Property某一状态信息包含了所有相关的历史，只要当前...

2018-10-29 09:10:13 2694

转载 David Silver强化学习公开课（一）：简介

本讲是对于强化学习整体的一个简单介绍，描述了强化学习是什么，解决什么问题，大概用什么样的方式来解决问题。介绍了强化学习中常用的概念。这些概念非常重要，贯穿于整个强化学习始终，但是在这一讲，读者仅需对这些概念有个初步的印象。引子强化学习在不同领域有不同的表现形式：神经科学、心理学、计算机科学、工程领域、数学、经济学等有不同的称呼。强化学习是机器学习的一个分支：监督学习、无监督学习、...

2018-10-24 20:27:55 2876

原创 Ray: Scheduling and Actor placement

Ray是面向增强学习场景的分布式计算框架，相关介绍参考博客。本篇文章主要对 Ray中 remote函数的调度以及 Actor抽象的放置进行介绍。一、Remote函数的调度1. Remote函数的定义Remote函数时Ray分布式计算中的核心概念，一般如下所示：@ray.remotedef add(a, b): return a + bid_c = add....

2018-10-24 19:26:53 2557

原创 Docker学习笔记（十二）：Docker Swarm

1. 什么是Docker Swarm？容器集群管理工具。通过docker swarm可以将多台机器连接在一起，通过swarm的调度可以服务的多台机器的部署，服务的伸缩。 2. Docker Swarm 使用入门1）节点初始化（manager节点）docker swarm init --advertise-addr <server_ip>说明：init命令初...

2018-09-03 10:24:58 1917

原创 Docker学习笔记（十一）：Docker Compose

1. 什么是Docker Compose？编排和配置容器集群的工具。编排：定义被部署的对象的各组成部分之间的耦合关系，部署流程中各个动作的执行顺序，部署过程所需要的依赖文件和被部署文件的存储位置和获取方式，以及如何验证部署成功。这些信息都会在编排工具中以指定的格式定义并保存下来，从而保证这个流程可以在新的环境中快速的复现。 2. Docker Compose安装下载docker...

2018-09-03 10:05:10 1609

原创 Docker学习笔记（十）：Docker Machine

1. 什么是Docker Machine？Docker Machine是一个工具，它可以帮你在虚拟主机安装docker，并且通过docker-machine 相关命令控制主机。你可以用docker machine在mac、windows、单位的网络、数据中心、云提供商（AWS或Digital Ocean）创建docker主机。通过docker-machine commands,你能启...

2018-09-03 09:33:01 2866

原创 Docker学习笔记（九）：Docker +Jenkins +Github持续集成

本次配置时，jenkins需要配置在外网可访问的服务器上，因为在git push内容到github时，触发Webhooks并推送到jenkins服务器上。 1. 配置Github（通过秘钥登录）生成秘钥：ssh-keygen -t rsa -b 4096 -C "[email protected]"在github设置密钥（公钥）：将公钥 id_rsa.pub里的内...

2018-08-28 22:40:12 6375

原创 Ray：评估代码性能

本文档适用于想要了解如何在Ray上运行时评估其代码性能的Ray用户。分析代码的性能对于确定性能瓶颈或找出可能无法正确并行化的代码的位置非常有用。如果你有兴趣查明为什么你的Ray应用程序可能无法实现预期的加速，仔细阅读本文。一个基础分析示例尝试分析一个简单的例子，并比较编写简单循环的不同方式会如何影响性能。作为计算密集且可能运行比较慢的函数的代表，我们将远程函数定义为只睡眠0.5秒...

2018-08-28 10:39:08 2691 2

原创 Jenkins ---- 持续集成工具

Jenkins相关概念jenkins是一个广泛用于持续构建的可视化web工具，持续构建说得更直白点，就是各种项目的"自动化"编译、打包、分发部署。jenkins可以很好的支持各种语言（比如：java, c#, php等）的项目构建，也完全兼容ant、maven、gradle等多种第三方构建工具，同时跟svn、git能无缝集成，也支持直接与知名源代码托管网站，比如github、bitbucket...

2018-08-21 09:50:36 2384

原创 Docker学习笔记（八）：Dockerfile相关操作

1. 利用Dockerfile创建镜像什么是Dockerfile？定义：Dockerfile是一个文本格式的配置文件，用户可以使用Dockerfile快速创建自定义镜像。基本结构：Dockerfile由一行行的命令语句组成。并且支持以#开头的注释行。一般Dockerfile分为四个部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时的指令。 Dockerfile示例:...

2018-08-16 23:18:19 2113

原创 Docker学习笔记（七）：docker网络

1. 容器对外服务（以mysql为例）当容器内运行一些网络应用，要让外部访问这些应用时，可以通过 -P 或 -p 参数来指定端口映射。使用 -P 映射时，Docker会随机映射一个端口至容器内部开放的端口：docker run --name my_mysql -d -e MYSQL_ROOT_PASSWORD=1234 -P mysql:5.6通过docker ps可以看到端...

2018-08-14 20:27:47 1637

原创 Docker学习笔记（六）：数据卷的相关操作

1. 数据卷数据卷是一个可供容器使用的特殊目录，有如下特性：1）数据卷可以在容器之间共享和重用2）数据卷修改会立即生效3）数据卷的更新不会影响镜像4）如果有容器使用数据卷，该卷会一直存在在容器内创建数据卷在使用docker run命令时，使用 -v 标记可以在容器内创建一个数据卷，并可以指定挂在一个本地已有的目录到容器中作为数据卷：docker run -d...

2018-08-14 16:56:54 2144

翻译 CIEL : a universal execution engine for distributed data-flow computing

简介本文介绍了CIEL，一种用于分布式数据流程序的通用执行引擎。与以前的执行引擎一样，CIEL掩盖了分布式编程的复杂性。与那些系统不同，CIEL作业可以做出与数据相关的控制流决策，这使它能够计算迭代和递归算法。我们还开发了Skywriting，一种直接在CIEL上运行的图灵完整脚本语言。执行引擎为Skywriting脚本和用其他编程语言编写的高性能代码提供透明的容错和分发。我们在云...

2018-08-13 19:59:01 2097