17 阿源

尚未进行身份认证

我要认证

十多年在华为、互联网公司的经验,主要分享各种项目经验,包括架构、Java、大数据等

等级
TA的排名 6k+

大数据应用“情感趋同现象”伦理风险问题刍议

随着大数据应用的普及,所引起问题受到越来越多的关注,其中,大部分关注在于隐私泄露、信息安全和数据鸿沟上面,而大数据应用所引起的“情感趋同现象”相对研究较少,本文通过对不同学者的理论进行梳理和对比,分析大数据产品“情感趋同现象”的起因、表现方式和解决方案等,希望能引起学界的共鸣。大数据应用“情感趋同现象”的形成原因 高建国在他的《人性心理学》中指出,“趋同是指两种或两种以上亲缘关系甚远的生物,由于栖居于同一类型的环境之中,从而演化成具有相似的形态特征或构造的现象。不同的生物,无亲缘的种,在...

2020-06-17 20:08:55

Kettle(PDI)的坑,有点大

网络上有不少Kettle的文章,但实际上都大同小异,都是些非常基础的文章,实际上在使用过程中还有遇到不少的坑,这部分在网上资料比较少,这里主要讲一下我们在使用过程中遇到的各种问题,属于难得的实践经验。说起ETL工具,很多人都觉得这个东西简单,不用学Mysql,不用学大数据的编程,简单的通过图形化的拖拉拽,就能实现对数据的抽取、转换、加载,而实际上往往并非如此,在复杂一点的应用场景上,往往就会出现一些意想不到的坑。低代码化、无码化的系统架构,现在比较流行。Kettle作为一个大数据的ETL..

2020-06-05 16:18:17

Phoenix使用ROW_TIMESTAMP字段导致无法从null更新数据的故障描述

在使用Phoenix的过程中,发现了一个奇怪的异常现象,其中一个表,有个字段(VARCHAR类型),一旦这个字段被更新为null值,从此就无法重新更新该字段的值。我在测试过程中,重新新建一张表,就发现可以正常更新,是我困惑不已。最后经过反复对比,发现是另外一个字段设置成ROW_TIMESTAMP导致的,下面详细讲述一些问题的复习。目前测试发现问题的Phoenix版本为4.14.0...

2019-11-08 11:26:24

Phoenix偶尔出现OutOfMemoryError的问题排查

最近在使用Phoenix,采用sqlline模式执行的时候,经常时不时的出现OutOfMemoryError错误,如下:java.lang.OutOfMemoryError: unable to create new native thread刚开始一直以为的Phoenix和HBase的参数设置问题,经过多次调测,问题依然没有解决,后来才发现的Linux系统的参数设置问题。原先Linux...

2019-09-27 17:35:15

大数据系列之----海量数据下是kafka设计和实战演练

网上有很多Kafka的文章,但大多写得千篇一律,要么偏理论化,无实战数据参考。要么写了发现的某个问题的解决方案,对于想在实际环境上搭建真实的Kafka环境,参考意义并不大。 这篇文章基于大量的实战经验,在大规模,海量数据,以及实时处理的环境下,这些经验也是在解决Kafka很多真实问题得出的。试图在一开始就协助大家在大家在搭建真实Kafka环境的时候,提前做好最优的解决...

2019-05-09 19:50:30

BitMap算法和Java的实现类BigSet

考虑下面几个应用场景:统计每天的日活(访问量、用户数等) 统计某个部门的联系客户量 对大量数据进行排序针对第一种应用场景,通常的做法就是采用明细表来记录每一个访问量,然后统计每天的用户数(用一个用户,多次访问,只算一个)。这里有个问题,就是假设用户量比较大,假设一天有1000万的请求量,一个月就有3亿的数据量,对数据库的压力比较大。这是我们就可以考虑采用BigM...

2019-03-25 20:13:44

基于阿里云的双活灾备方案的设计

基于阿里云的双活灾备方案的设计说起容灾备份方案,一般说来有下面这个发展方向:​​下面简单介绍下各个方案的内容:冷备:离线手工对数据进行容灾备份,当发生故障时,手工切换到备用环境 热备:实时对主生产环境的数据进行备份,当发生故障时,自动或手工切换到灾备环境 双活:两套环境实时进行双向数据同步,每套环境都承载其中一部分流量,当发生故障时,只由其中一套环境承载所有流量...

2019-03-19 19:56:41

Disruptor高性能缓存队列入门指导

 Disruptor是什么,怎么使用,网上有很多教材,但有些过于复杂,剖析了Disruptor的方方面面,实际上对应普通的开发人员,使用这个工具,只需要指导知道大概原理和使用方法,并不需要知道非常深入的原理。有些文章则是写了错误的实例,或者只是摘取了项目的一段代码,实际上,要把这些代码转化成项目的实际代码,却发现困难重重。这个文章主要是针对想提高性能,在项目组使用Disruptor的开...

2018-08-13 21:04:13

SaaS行业命名规范

    很多企业在启动软件开发的时候,完成没有命名规范,导致代码的可读性极差。而业界对于命名,却没有一个统一的命名规范,比如说,获取客户列表,Java类的方法是用get***List还是list****?这些完全的统一的规范 。    这里给出SaaS行业额命名规范,参考了阿里编码规范,加上我十几年来对业务的理解而写成的,可以作为一个开发人员形成一个统一的规范,建议一个项目在启动之前,采用该规...

2018-08-08 20:34:40

防止Dubbo的雪崩

    当系统出现压力时,Dubbo的服务调用会因为执行超时而重试,这会导致请求数增多,系统压力更大,从而可能出现雪崩效应。    为了防止这种现象,这里除了合理设置超时时长,重试次数之外,将对系统进行限流,合理现在入口的流量。    当前Dubbo框架内的服务调用,采用的是Dubbo框架。Dubbo外的调用,包括从手机端,PC端,PHP等调用CRM服务,是通过Nginx做负载均衡和代理,...

2018-07-23 20:33:10

Odoo系统介绍和对比

1.位置这是官方的数据,存在夸大成分,不过在国外小微企业应用很广,目前有超过1.2万个APP2.以客户为中心3.创建客户标准的创建客户功能相对简单,支持定制开发4.客户列表客户列表采用卡片式展示5.创建商机6.商机各个阶段(支持拖动) 7.安排活动活动安排是基于商机,销售计划是基于客户8.记录备注记录备注能添加关注...

2018-07-18 20:39:29

拥抱大数据

马云:大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。

2017-11-26 23:42:15

区块链技术:天使 OR 魔鬼?

最近区块链技术在国外是一个非常火的技术,它被认为是一种颠覆性的技术,是未来的主流技术,但在国内却很少讨论,而我司研究者寥寥,这是我觉得比较吃惊的,所以决定站出来说一说。

2017-11-26 23:31:32

质量的真相

克劳士比的《质量免费》被人奉为圣经,很多人开口闭口都说质量,很多项目实施后,有些成功了,有些却失败了,这需要我们仔细、深入研究的各种建议,探讨其深层次的原因,而不是一味的接受。 一、质量成本克劳士比的一个核心思想就是质量免费,而我们知道,质量活动,总是要有成本的,这个成本称为质量成本,而质量免费的理念其实挺简单,就是通过质量活动而节约的成本,多于质量成本,这样子,质量提升了,却不需要花

2015-12-04 21:37:32

穹顶之下,优越之上

柴静的《穹顶之下》一夜爆红,它不是一个投入巨资的电影,拍摄也比较简单,但却几乎是史无前例的流行,这究竟是什么原因呢?我觉得有以下几点: 一、真实       说这个有些人可能有些意见,觉得里面有些数据不正确,但里面有些视频确实是真真实实的体现在这里,下面几个场景让人印象非常深刻,过目不忘:1、  小孩子在说只见过蓝一点的天2、  做手术时拿出来一小块黑黑的肿瘤3、 

2015-12-04 21:32:20

互联网之殇

早晨,我在手机闹钟中醒来,我轻轻的点了一下“小睡一会”,翻身睡着。。。前几天手机坏了,拿到维修点修理了几天,再这几天里,我临时用了一部功能机,不能上网。我发现我这几天有点心绪不宁,总觉的心里缺少点什么,我在想啊,是不是有人给我发了微信信息,而我不能及时收到呢。无聊的时候,我就会拿起手机,而现在我只能呆呆的坐着。最近经常有了发一些文章或者视频,大意是手机比清朝的鸦片还更加让人上瘾,劝告大家放

2015-12-04 21:27:47

印度足球之最

各位领导、老师、同学们:       今天我演讲的是印度足球,我的演讲题目是《印度足球之最》。        在同学们的印象中,印度足球默默无闻,几乎没有人提起过。大家都清楚,中国的足球队员都是些软脚蟹,而印度足球呢?连中国队都打不过,更别说跟巴西、欧洲等著名足球队相比了。        而我今天恰恰就是要推翻大家的想法,讲一讲印度足球的世界之最,我相信大家听完我的演讲后,能够

2015-12-04 21:07:47

红米是个失败,雷军是个笨蛋

最近关于小米和华为手机的争论甚嚣尘上,我也忍不住出来写这篇文章,我想告诉大家的是,大家的说法都是错误,大家没有抓住事情的本质。 红米手机一直被当做小米的巨大策略成功,但我却想说红米就是个彻头彻尾的失败,雷军就是个笨蛋。

2015-12-04 21:01:10

忽悠的生态

最近小米、乐观竭力在宣传他们的生态,各种媒体也在鼓吹生态,但我只想说:——忽悠、大忽悠!

2015-12-04 20:40:25

比特币深度分析

最近电视、新闻、网站经常有讲到比特币,但普通人经常被比特币的各种信息搞得一头雾水,到底什么是比特币,它是谁开发的,它跟Q币有什么区别,它是不是一个庞氏骗局,它是不是一个击鼓传花的游戏,它会不会很容易就收到控制,等等。在这里,我试图从各个层面进行探讨,用一些通俗易懂的表达,来还原一个真实的比特币。

2013-12-29 23:00:15

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 回归勋章
    回归勋章
    授予重新回归CSDN的真爱粉用户,我们不会让你失望哒!
  • 技术圈认证(专家版)
    技术圈认证(专家版)
    博客专家完成年度认证,即可获得
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。