- 博客(26)
- 收藏
- 关注
RSS订阅原创 深耕核心技术·赋能数字化转型——大快搜索黑科技亮相2019（第四届）大数据产业生态大会，斩获多项大奖
深耕核心技术·赋能数字化转型——大快搜索黑科技亮相2019（第四届）大数据产业生态大会，斩获多项大奖。2019（第四届）大数据产业生态大会8月1日，以“激活数据价值 释放数据原力”为主题的“2019（第四届）大数据产业生态大会”在北京拉开序幕。北京大学教授、工业和信息化部原副部长杨学山，工业和信息化部信息化和软件服务业司副司长王建伟，中国电子信息产业发展研究院副院长刘文强，中...
2019-08-07 15:41:03
337
原创 中国软件大会上大快搜索入选中国数字化转型TOP100服务商
大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。图：中国电子信息产业发展研究院院长致开幕词图：中国数字化转型TOP100服务商（1-50）在本次20...
2018-12-24 16:58:03
419
原创 大快搜索获评“2018中国大数据基础软件领域领军企业”
大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。图：2018中国软件会激2019（首届）数字中国创新大赛启动新闻发布会图：数字化转型促进会成立...
2018-12-24 15:52:30
360
原创 恭喜大快搜索李海鹏入选数字化转型促进会专家委员
12月20日，在工信部指导，中国电子信息产业发展研究院主办的2018中国软件大会上，宣布并成立了数字化转型促进会，大快搜索不仅成为数字转型促进会首批会员企业，来自大快搜索的李海鹏同志成功入选成为数字化转型促进会专家委员。 图：中国电子信息产品发展研究院院长 卢山致开幕词 图：数字化转型促进会成立图：大快搜索李海鹏成为数字化转型促进会专家委员 ...
2018-12-24 15:10:45
292
原创 利用大规模无监督数据建立高水平特征
在大数据时代下，人工智能作为国际上未来几年、几十年发展的重要方向，具有十分广阔的应用空间，适用于各行各业，并且当今生产和生活中也融入了人工智能技术，特别是在计算机网络领域中，应用人工智能技术有着重要意义。1、 大数据和人工智能技术1.1 大数据简单来说，大数据就是海量数据的集合体。“大”不仅仅是指数据的总量，同时也包括数据类型。大数据之所以成为了信息的集合体主要是因为其具备了一下几个特...
2018-11-28 11:31:39
438
原创 互联网数据化运营基础应用之信息质量模型
信息质量模型在互联网行业和互联网数据化运营中也是有着广泛基础性应用的。具体来说，电商行业和电商平台连接买卖双方最直接、最关键的纽带就是海量的商品目录、商品Offer、商品展示等，无论是B2C（如当当网、凡客网），还是C2C（如淘宝网），或者是B2B（如阿里巴巴），只要是以商业为目的，以交易为目的的，都需要采用有效手段去提升海量商业信息（商品目录、商品Offer、商品展示等）的质量和结构，从而促进交...
2018-11-26 13:16:35
336
转载 Python图像处理：图像腐蚀与图像膨胀
图像的膨胀（Dilation）和腐蚀（Erosion）是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。1.图像膨胀膨胀的运算符是“⊕”，其定义如下： 该公式...
2018-11-23 11:53:15
2425
转载 大数据分析技术在新型智慧能源建设中的应用
智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、...
2018-11-21 13:31:12
893
原创 大规模特征构建实践总结
背景一般大公司的机器学习团队，才会尝试构建大规模机器学习模型，如果去看百度、头条、阿里等分享，都有提到过这类模型。当然，大家现在都在说深度学习，但在推荐、搜索的场景，据我所知，ROI并没有很高，大家还是参考wide&deep的套路做，其中的deep并不是很deep。而大规模模型，是非常通用的一套框架，这套模型的优点是一种非常容易加特征，所以本质是拼特征的质和量，比如百度、头条号称特征到...
2018-11-16 15:11:48
271
转载 大数据分析在新型智慧能源建设中的应用
智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。其依托互联网、物联网、大数...
2018-11-14 11:27:24
839
转载 非局部神经网络，打造未来神经网络基本组件
将非局部计算作为获取长时记忆的通用模块，提高神经网络性能在深度神经网络中，获取长时记忆（long-range dependency）至关重要。对于序列数据（例如语音、语言），递归运算（recurrent operation）是长时记忆建模的主要解决方案。对于图像数据，长时记忆建模则依靠大型感受野，后者是多层卷积运算堆叠的结果。卷积和递归运算处理的都是一个局部邻域，可以是空间局部邻域，也可以...
2018-11-12 14:00:13
351
原创 大快搜索“大数据与智慧城市”南京技术交流会成功举办
前沿：2018年11月6日，由大快搜索、南京大数据产业协会、南京东大智能化系统有限公司共同组织筹备的“大数据与智慧城市”南京技术交流会圆满结束。大快搜索常务副总李海鹏、大快搜索CTO王鑫义、大快搜索应用研究院院长高林、东大智能智慧城市事业部总经理凌霄汉、东大智能技术总监李玉峰等行业专家出席了会议。大数据技术作为构建新动能的主导力量，能为动能升级、产业结构改造提供有力的技术支撑，但如何把...
2018-11-09 14:00:36
275
原创 系统架构都经历了怎样的演变？
当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。NO.1 初期网站架构网站建设初期，访问人数有限，数据量不大，只需要一台服务器足矣，这时应用程序、文件、数据库等所有资源全部集中在这台服务器上，网站架构请看下图：NO.2 应用和数据分离随着网站业务的不断发展，一台服务器已经不能满足要求，用...
2018-11-07 15:21:21
221
原创 云计算的云数据安全与加密技术
云计算、大数据等信息技术正在深刻改变着人们的思维、生产、生活和学习方式，并延深进入人们的日常生活。伴随着社交媒体、电商、健康医疗、智能交通、电信运营、金融和智慧城市等各行业各领域的大数据的产生，大数据分析技术和应用研究使大数据呈现出不可限量的经济社会价值和科学研究意义，引起了国内外学术界和产业界的研究热潮，对此各国政府也高度重视并不断上升为国家战略高度。数据信息在很多环节暴露出的大数据安全...
2018-11-06 14:21:10
2008
1
原创 从服务端视角看高并发难题
所谓服务器大流量高并发指的是：在同时或极短时间内，有大量的请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应的反馈。从服务端视角看高并发服务端处理请求需要耗费服务端的资源，比如能同时开启的进程数、能同时运行的线程数、网络连接数、cpu、I/O、内存等等，由于服务端资源是有限的，那么服务端能同时处理的请求也是有限的。高并发问题的本质就是：资源的有限性高并发带来的问题...
2018-11-02 14:16:20
464
原创 动态分配多任务资源的移动端深度学习框架
与云相比，移动系统受计算资源限制。然而众所周知，深度学习模型需要大量资源 。为使设备端深度学习成为可能，应用程序开发者常用的技术之一是压缩深度学习模型以降低其资源需求，但准确率会有所损失。尽管该技术非常受欢迎，而且已被用于开发最先进的移动深度学习系统，但它有一个重大缺陷：由于应用程序开发者独立开发自己的应用，压缩模型的资源-准确率权衡在应用开发阶段的静态资源预算的基础上就被预先确定了，在应用部署后...
2018-10-31 15:13:45
519
原创 详谈分布式系统缓存的设计细节
详谈分布式系统缓存的设计细节在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。如今的业务规模稍大的互联网项目，即使在最初beta版的开发上，都会进行预留设计。但是在诸多应用场景里，也带来了某些高成本的技术问题，需要细致权衡。服务端数据缓存一种区分缓存基于不同的条件有很多种划分方式，本地缓存(Local cac...
2018-10-29 15:17:56
231
原创 处理数据缺失的结构化解决办法
数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。我在数据清理与探索性分析中遇到的最常见问题之一就是处理缺失数据。首先我们需要明白的是，没有任何方法能够完美解决这个问题。不同问题有不同的数据插补方法——时间序列分析，机器学习，回归模型等等，很难提供通用解决方案。在这篇文章中，我将试着总结最常用的方...
2018-10-26 14:51:35
513
转载 如何用Python做自动化特征工程
机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索...
2018-10-17 16:21:13
646
转载 深度剖析HBase负载均衡和性能指标
在分布式系统中，负载均衡是一个非常重要的功能，HBase通过Region的数量实现负载均衡，即通过hbase.master.loadbalancer.class实现自定义负载均衡算法。下面将为大家剖析HBase负载均衡的相关内容以及性能指标。内容HBase系统负载均衡是一个周期性的操作，通过负载均衡来均匀分配Region到各个RegionServer上，通过hbase.balancer.p...
2018-10-13 10:20:49
447
原创 机器学习的趋势和人工智能的未来
每家公司现在是一个数据公司，在一定范围能够使用机器学习在云中部署智能应用程序，这归功于三个机器学习的趋势：数据飞轮，算法经济，和智能云托管。有了机器学习模型，企业现在可以快速分析大型，复杂的数据，并提供更快，更准确的见解，没有部署和维护机器学习系统的高成本。“当今建立的每一个成功的新应用程序将是一个智能应用程序，智能构建块和学习服务将是应用程序背后的大脑。”下面是三个机器学习趋势导...
2018-10-10 13:15:43
580
原创 区块链在零售业和银行业的广泛应用
区块链的兴起，标志着人类开始构建真正可以信任的互联网，通过梳理区块链的兴起和发展可以发现，区块链引人关注之处在于能够在网络中建立点对点之间可靠的信任，使得价值传递过程去除了中介的干扰，而且还公开数据并又未能透露隐私，既起到共同决策又保护个体利益的效果。如今就是要借助人工智能、大数据、区块链等新型技术再造一个零售行业，同时京东也在积极的推进区块链技术，加强商品溯源。目前，京东平台全球购借助区...
2018-10-08 09:22:01
483
原创 P2P借款人信用风险实时监控模型设计
P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来，随着互联网金融的逐步发展，P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势，各类P2P网贷平台呈现逐年增长的态势。目前，我国正常运行P2P平台数量已达近3000家，累计成交量约8000亿元。然而，网贷业在爆发式增长的同时，也存在着重大风险。高利率庞氏骗局、投放假标的、平台自...
2018-09-29 09:58:08
1413
原创 大数据在金融领域的应用案例解析
大数据在金融领域的应用：融资租赁业与大数据的深度结合融资租赁作为发展实体经济的助推器，在经济新常态下机遇和挑战并存。融资租赁企业需要紧紧把握“服务实体经济本源”这一政策红利，充分发挥融资与融物属性，积极推动业务创新，突破同质化竞争格局，也要加强“金融科技”的技术研究，加大技...
2018-09-26 10:11:49
13171
转载 云存储平台产品详解
云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。Linux IO STACK云计算本质就是单机计算能力的无限扩展，我们...
2018-09-20 11:10:06
1482
原创 LINUX操作系统知识:进程与线程详解
当一个程序开始执行后，在开始执行到执行完毕退出这段时间内，它在内存中的部分就叫称作一个进程。Linux 是一个多任务的操作系统，也就是说，在同一时间内，可以有多个进程同时执行。我们大家常用的单CPU计算机实际上在一个时间片段内只能执行一条指令。那么Linux是如何实现多进程的同时执行的呢？原来Linux使用了一种称为” 进程调度 “的手段，首先，为每个进程指派一定的运行时间，这个时间通...
2018-09-18 09:21:44
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人