- 博客(38)
- 收藏
- 关注
RSS订阅转载 Flume监听文件夹中的文件变化_并把文件下沉到hdfs
阅读全文1、采集目录到HDFS采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用fil
2017-06-14 15:08:26
129
转载 模拟使用Flume监听日志变化_并且把增量的日志文件写入到hdfs中
阅读全文1.采集日志文件时一个很常见的现象采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。1.1.根据需求，首先定义一下3大要素：采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink—HDFS文件系统：hdfs sink Source
2017-06-14 15:05:52
87
转载 Flume安装部署_采集方案配置文件编写案例_启动agent采集数据
阅读全文1.2 Flume实战案例1.2.1 Flume的安装部署1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz，最终解压到的位置是：/home/tuzq/software/apache-flume-1.6.
2017-06-14 15:04:45
131
转载 内容安全策略（CSP）_防御 XSS 攻击的好助手
阅读全文什么是 CSP?其核心思想十分简单：网站通过发送一个 CSP 头部，来告诉浏览器什么是被授权执行的与什么是需要被禁止的。这里有一个 PHP 的例子：phpheader("Content-Security-Policy: ");?>一些指令你可以定义一些全局规则或者定义一些涉及某一类资源的规则：d
2017-06-12 13:35:53
219
转载 使用原子主机（Atomic_Host）、Ansible_和_Cockpit_部署容器
阅读全文请注意，我们不能在原子主机上使用 dnf 命令。原子主机并没有设计为通用操作系统，而是更适合容器和其他用途。但在原子主机上设置应用程序和服务仍然非常容易。这篇文章向您展示了如何自动化和简化这个过程。设置组件开始之前，请确保你的系统上安装了 Ansible。sudo dnf -y install ansible首先，我们需要在原子主
2017-06-07 13:46:27
97
转载 Web应用开发周期
阅读全文引言：这部分内容最早出自笔者写的文章《RePractise：Web开发的七天里》，原文简单描述了Web应用的生命周期。后来发现，这条路几乎是所有Web应用的必经之路。一个Web应用在其生命周期里，都要经历搭建开发环境、创建构建系统、编写代码、进行数据分析等，直至最后使用新的系统来替换这个遗留系统。如果你是一个有经验的开发者，相信你对这个生命周期一定也深有体会。本
2017-06-07 13:44:23
131
转载 JAVA面试700问（六）
.wait（），notify（）和notifyAll（）的作用是什么？ wait（）:使当前线程停止，直到另一个线程调用notify（）方法或notifyAll（）方法.。 notify（）:唤醒这个对象的监视器上等待的一个线程。
2017-06-05 13:34:03
132
转载 Java_8_特性_–_终极手册（二）
Stream 新增加的Stream API (java.util.stream)引入了在Java里可以工作的函数式编程。这是目前为止对java库最大的一次功能添加，希望程序员通过编写有效、整洁和简明的代码，能够大大提高生产率。
2017-06-05 13:30:59
98
转载 存储与计算分离：OSS构建表_+_计算引擎对接
阅读全文请点击看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？本文先给出基本结论：OSS是什么?对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具
2017-06-02 14:13:44
154
转载 关于DELL_EqualLogic_PS6100存储及数据恢复办法的研究
DELL EqualLogic PS6100采用虚拟ISCSI SAN阵列，为远程或分支办公室、部门和中小企业存储部署带来企业级功能、智能化、自动化和可靠性，支持VMware、Solaris、Linux、Mac、HPux、AIX，支持所有带有业界标准iscsi initiator的操作系统，同时提供全套企业级数据保护和管理功能、可靠的性能、可扩展性和容错功能，是中型企业级存储的起点产品
2017-06-01 14:09:21
165
转载 线程安全与共享资源
允许被多个线程同时执行的代码称作线程安全的代码。线程安全的代码不包含竞态条件。当多个线程同时更新共享资源时会引发竞态条件。因此，了解Java线程执行时共享了什么资源很重要。局部变量局部变量存储在线程自己的栈中。也就是说，局部变量永远也不会被多个线程共享。所以，基础类型的局部变量是线程安全的。下面是基础类型的局部变量的一个例子：public void someMethod(){
2017-05-27 13:43:29
73
转载 MaxCompute如何实现跨项目授权
实际的企业使用场景里，可能需要把不同项目里的数据、函数、计算资源等一起使用。那如何实现这种跨项目的使用呢，本文用实际例子来说明下。准备项目空间:grant_from，需要授权的数据、函数、资源都在这个项目里项目空间:grant_to，被授权的用户需要在这个项目里执行计算。用户:[email protected],grant_from项目的project owner，后续的授权
2017-05-27 13:36:22
135
转载 一场变美盛宴后面的大数据故事
小红唇和阿里云大数据平台的牵手要从2016年5月份说起。随着小红唇业务的发展，用户量和内容量不断增加，迫切需要推出个性化功能，增加用户的使用时长和用户粘度。对于一个没有大数据/机器学习经验和技术储备，并且开发人员有限的年轻团队，在业务快速发展的情况下，如何在非常有限的开发资源和不影响正常业务开发的前提下，快速建立起自己的推荐系统，成为摆在小红唇技术团队面前一个不小的挑战。 小红唇的
2017-05-24 14:24:38
164
转载 【译闻】容器的管理，也是一门艺术
前言容器和虚拟机之间有几分相近，也有很大区别，我们应该学会在正确的时间，正确地使用容器与虚拟机，以消除它们之间的混淆。本文就容器和虚拟机的使用和管理提供了一些建议。 众所周知，如果你只需要处理一种类型的容器，那么在云环境中管理容器就很简单。可一旦面对容器集群的管理，面对这种多样化技术，那必将伴随着一系列全新的管理挑战。成功管理的关键在于，你要在坠入陷阱之前敏锐地发现
2017-05-24 14:23:24
142
转载 阿里云容器服务-高可用Kubernetes部署指南
Kubernetes是非常流行的容器管控技术，为了让Kubernetes可以更深度集成阿里云的计算、存储和网络服务，以提供更佳的性能和网络特性支持，阿里云容器服务团队为Kubernetes提供了基于阿里云服务的CloudProvider插件。同时，基于阿里云资源编排服务ROS的应用部署能力，阿里云用户可以非常方便的快速部署Kubernetes集群。本文接下来会详细介绍部署过程。依赖
2017-05-24 14:21:19
102
转载 Google_IO_2017为我们带来了什么
谷歌I/O大会是Google一年一度的开发者大会，通常在大会上，Google会在大会上发布一些最近的软硬件系统，给开发者指明下一年的技术方向。今年是Google IO大会的第十个年头，大会回到了加州山景城的海岸线圆形剧场。今年的Google IO大会和往年的有所不同，今年Google在大会上专门大篇幅介绍了自己在人工智能领域推出的最新项目和最新进展。可以说这次大会人工智能和VR成为未来Goog
2017-05-22 14:38:08
149
转载 5月17日云栖精选夜读：大数据浪潮下_前端工程师眼中的完整数据链图
今天几乎所有的互联网公司背后都有一支规模庞大的数据团队和一整套数据解决方案作决策，这个时代已经不是只有硅谷巨头才玩数据的时代，是人人都在依赖着数据生存，可以说如今社会数据价值已经被推到前所未有的高度。
2017-05-19 14:16:24
205
转载 盘点用户使用大数据的10个方法
我们正处于福雷斯特研究公司所描述的“用户时代”，这个时代中驱动业务决策的不再是公司，而是用户。基于这个原因，深度理解用户的重要性已经远胜以往，因此许多机构开始使用大数据技术来挖掘用户信息。 在这个时代，企图收获成功(甚至是求生存)的在线业务必须切实的理解顾客的体验和行为，因此海量数据的收集及挖掘能力成了这些机构的必备手段。
2017-05-17 14:34:10
284
转载 大数据的五大误区及其破解之道
有些人认为，“大数据”这一词汇不过是企业营销时的大肆炒作。但即使是那些接受大数据概念的人，也需要消除某些大数据误区。 全球领先的信息技术研究和咨询公司Gartner指出，大肆宣传大数据概念，使企业在选择适当的行动方案时，受到更多困扰，但对消除一些仍存在的误区却毫无帮助。
2017-05-17 14:30:02
167
转载 5月11日云栖精选夜读：在阿里云ECS上轻松实现无域控的SQL Server AlwaysOn可用性组
在阿里云ECS上轻松实现无域控的SQL Server AlwaysOn可用性组 前言 SQL Server AlwaysOn功能在SQL Server 2012版本就已经出来了，AlwaysOn 可用性组功能是一个提供替代数据库镜像的企业级方案的高可用性和灾难恢复解决方案，可最大程度地提高一组用户数据库对企业的可用性。
2017-05-15 15:31:32
181
转载 第一个网站制作上传的过程
首先我下载了一套现有的网站模板，之后对其进行了改写。主要调试用到的 工具是VS2010. 在这个过程中，主要设计页面的布局，图片的添加，文字的添加等内容。碰到 了一些问题，很多代码不懂，只能进行一些简单的修改，没有办法大修。
2017-05-15 15:27:42
124
转载 云服务器ECS下的FTP服务的安装配置与使用
FTP 是File Transfer Protocol（文件传输协议）的英文简称，而中文简称为“文传协议”。用于Internet上的控制文件的双向传输。同时，它也是一个应用程序（Application）。基于不同的操作系统有不同的FTP应用程序，而所有这些应用程序都遵守同一种协议以传输文件。
2017-05-15 13:38:14
340
转载 负载均衡（SLB）使用最佳实践
负载均衡（Server Load Balancer，下文简称 SLB）的引入，可以降低单台云服务器 ECS（下文简称 ECS）出现异常时对业务的冲击，提升业务的可用性。同时，结合弹性伸缩服务，通过动态调整后端服务器，可以快速对业务进行弹性调整（扩容或缩容），以快速应对业务的发展。
2017-05-12 10:39:39
429
转载 数加MaxCompute计算资源分布以及LogView分析优化
MaxCompute(原ODPS）的概念 海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节，从而达到分析大数据的目的。
2017-05-12 10:38:28
303
转载 [教程]WP-Lcache 更好的 WP 对象缓存解决方案
介绍 WP LCache 是 Pantheon（高性能管理型 WP 托管商）开发的 WordPress 对象缓存解决方案，其基于 Lcache 作为底层库，使用 APCu 作为对象缓存后端。 需求 Pantheon 的对象缓存解决方案本来先采用 Memcached 后来使用 Redis，但它们发现，两者都要通过 TCP/IP 进行通信，即便数据量很小但是请求一大的
2017-05-12 10:25:28
189
转载 海量数据_"写入、共享、存储、计算"_最佳实践
标签 PostgreSQL , 冷热分离 , 数据共享 , 打破孤岛 , 无盘工作 , 存储计算分离 , 行为数据 , 轨迹数据 , 金融数据 , 监控数据 , 物联网 , GIS , 范围 , 数组 , 图片 背景 数据是为业务服务的，业务方为了更加透彻的掌握业务本身或者使用该业务的群体，往往会收集，或者让应用埋点，收集更多的日志
2017-05-11 14:23:37
189
转载 PostgreSQL 使用advisory lock实现行级读写堵塞
标签 PostgreSQL , select for update , 读写冲突 , 读写堵塞 , advisory lock 背景 PostgreSQL的读写是不冲突的，这听起来是件好事对吧，读和写相互不干扰，可以数据库提高读写并发能力。
2017-05-10 17:18:45
109
转载 云服务器ECS还原安全组规则功能介绍 安全组规则的备份与还原
一般来说安全组包含了很多规则，这些规则共同决定了安全组中的ECS实例开放和关闭了哪些大门，重要性不言而喻：当安全组中的规则和加入的ECS实例越来越多，安全组规则的维护愈发困难，不敢删不敢改，牵一发而动全身；同样，随着业务的发展，需要在不同地域部署时，同样的配置要在另一个地域再设置一遍，重复劳动。
2017-05-10 17:16:55
60
转载 详解Python中的闭包
定义 python中闭包的定义是：在一个内部函数里，对在外部作用域（非全局作用域）的变量进行引用，则内部函数就被认为是闭包（Closure）。 我们来结合代码看一下闭包的概念： 在函数addx()内部存在函数addy(),因此，addy()就是内部函数
2017-05-09 15:20:23
77
转载 大数据开发—常见问题（2）
我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题，供大家参考~
2017-05-08 16:23:24
276
转载 一个助Hadoop集群数据快速上云工具
当前业界有很多公司是以Hadoop技术构建数据中心，所以本文将探讨如何快速的将Hadoop文件系统（HDFS）上的数据迁移到云上。
2017-05-08 16:12:58
264
转载 打造高效前端工作环境-tmuxinator
虽然tmux能让我们方便组织工作环境，但每次重新打开会话时都需要手动重新创建窗口、窗格和执行各种程序，能不能像VS那样以工程为单位保存窗口、窗格和各种所需执行的程序的信息呢？tmuxinator恰恰能解决我们这个需求！
2017-05-08 13:43:04
171
转载 打造高效前端工作环境-tmuxinator
虽然tmux能让我们方便组织工作环境，但每次重新打开会话时都需要手动重新创建窗口、窗格和执行各种程序，能不能像VS那样以工程为单位保存窗口、窗格和各种所需执行的程序的信息呢？tmuxinator恰恰能解决我们这个需求！
2017-05-08 13:24:45
73
转载 打造高效前端工作环境_-_tmux
现在前端开发可不容易啊，先打开个VIM，然后再打开个lite-server，一不小心写个ES2015还要打开个gulp来做预编译，如果能把这么多个窗口放在一个工作台上那就好了。咦，tmux不就专干这事的吗？
2017-05-08 13:14:12
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人