- 博客(69)
- 资源 (8)
- 收藏
- 关注
RSS订阅
转载 大数据架构师从入门到精通 学习必看宝典
https://blog.csdn.net/songhait/article/details/76944436先扯一下大数据的4V特征：数据量大，TB->PB数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；处理时效性高，海量数据的处理需求不再局限在离线计算当中。现如今，正式为了应对大数据的这...
2018-04-17 13:51:19
364
原创 【置顶】学习纲领
学习的动力源于反馈.在碎片化学习的时候，每个学习过程都必须有具体的目的导向：学习这个知识点，最终想输出的东西是什么。每个阶段只学习最需要的那部分知识，这样可以才能最大程度上提升学习效率 !...
2018-03-20 11:17:30
257
原创 【查漏补缺02】（五）从DCL到Volatile的禁止指令重排序
一、双重检查锁1、概念双重检查锁double-checked locking = DCL也被称为"双重检查加锁优化"，"锁暗示"（Lock hint）它是一种软件设计模式用来减少并发系统中竞争和同步的开销。举个例子： /** * 双重检查锁定 * * @author xiaoshu */public class DoubleCheckedLocking { private static Instance instance; public s..
2021-09-07 21:32:55
185
转载 【查漏补缺01】（十五）分布式系统
一、1个分布式系统是如何演进设计出来的场景引入—— 不同业务(系统)部署在不同机器，相互访问跨域网络，每个系统存在单点故障。公司有3个系统：系统A，系统B和系统C，这三个系统所做的业务不同，被部署在3个独立的机器上运行，他们之间互相调用（当然是跨域网络的），通力合作完成公司的业务流程。将不同的业务分别部署在不同的地方，就构成了一个分布式的系统。现在问题来了，系统A是整个分布式系统的脸面，用户直接访问，用户访问量大的时候要么是速度巨慢，要么直接挂掉，怎么办？由于系统A...
2021-09-07 21:14:16
694
原创 十六、Linux开发与运维面试题（2021最新版）20210907
Linux 概述什么是LinuxLinux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Unix和Linux有什么区别？Linux和Unix都是功能强大的操作系统，都是应用广泛的服务器操作系统，有很多相似之处，甚至有一部分人错误地认为Unix和L...
2021-09-07 21:04:34
626
原创 六、MySQL数据库面试题（2021最新版）20210907
数据库基础知识为什么要使用数据库数据保存在内存优点： 存取速度快缺点： 数据不能永久保存数据保存在文件优点： 数据永久保存缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便数据保存在数据库1）数据永久保存2）使用SQL语句，查询方便效率高。3）管理数据方便什么是SQL？结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询语言。作用：用于存取数据、查询、更新和管理关系数据库系统。什么是M...
2021-09-07 20:13:42
398
原创 四、Java虚拟机(JVM)面试题（2021最新版）20210907
Java内存区域说一下 JVM 的主要组成部分及其作用？JVM包含两个子系统和两个组件，两个子系统为Class loader(类装载)、Execution engine(执行引擎)；两个组件为Runtime data area(运行时数据区)、Native Interface(本地接口)。 Class loader(类装载)：根据给定的全限定名类名(如：java.lang.Object)来装载class文件到Runtime data area中的method area。 Ex..
2021-09-07 20:09:05
145
原创 五、java并发编程面试题（2021最新版）20210907
罗列，并没有系统化整理基础知识并发编程的优缺点为什么要使用并发编程（并发编程的优点） 充分利用多核CPU的计算能力：通过并发编程的形式可以将多核CPU的计算能力发挥到极致，性能得到提升 方便进行业务拆分，提升系统并发能力和性能：在特殊的业务场景下，先天的就适合于并发编程。现在的系统动不动就要求百万级甚至千万级的并发量，而多线程并发编程正是开发高并发系统的基础，利用好多线程机制可以大大提高系统整体的并发能力以及性能。面对复杂业务模型，并行程序会比串行程序更适应业务需求，而并发编..
2021-09-07 20:08:00
229
原创 一、Java基础知识面试题（2021最新版）-20210910
Java概述何为编程编程就是让计算机为解决某个问题而使用某种程序设计语言编写程序代码，并最终得到结果的过程。为了使计算机能够理解人的意图，人类就必须要将需解决的问题的思路、方法、和手段通过计算机能够理解的形式告诉计算机，使得计算机能够根据人的指令一步一步去工作，完成某种特定的任务。这种人和计算机之间交流的过程就是编程。什么是JavaJava是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特..
2021-09-07 19:49:12
859
原创 linux 鸟哥私房菜 从0到1 笔记（十三）
账号管理和ACL权限设置 —— 非常重要，部署在linux上的分布式系统HDFS/Alluxio等，都需要通过system call 来完成交互。与前面篇章断节了，重新编号。1、UID、GIDlinux创建用户和组，尽量避免使用数字状态的id。计算机维护账户信息，也只是维护ID（一组号码）。每个登录的用户，至少拥有2个ID，用户Id，组Id。所有的账户信息维护在 /etc...
2020-01-21 18:10:41
194
原创 linux 鸟哥私房菜 从0到1 笔记（七）-未完待续
磁盘与文件系统 —— 本章非常重要，笔记写得比较单薄，后续会做一个专题，结合hdfs /alluxio的文件/块管理来介绍。50、linux下查看磁盘分区的文件系统格式1）df -T 只可以查看已经挂载的分区和文件系统类型。[root@gulonglong-bees-manager-2-normal-host-10-101-93-200-vm ~]# df -TFilesyst...
2020-01-21 10:29:38
398
原创 linux 鸟哥私房菜 从0到1 笔记（六）
目录/文件的操作 ———— 重要41、目录的操作所有目录下，都会存在2个特殊目录，分别表示此层目录和上一层目录。42、可执行文件的变量 $PATH将所有/bin目录加载到系统的环境变量，那么所有 bin/xxx命令，都可以执行执行 xxx。例如： bin/ls -al 可以 直接执行 ls -alecho $PATH 打印所有环境变量。...
2020-01-20 21:37:15
144
原创 linux 鸟哥私房菜 从0到1 笔记（五）
文件权限 与 目录配置34、文件权限清单user/group/other 权限：rwx 第一栏：1）第一个字符2)后面的9个字符，表示各种用户的权限。 user、group、other ： rwx第二栏：表示多少个不同的文件名，链接到这个节点（inode）第三栏：目录/文件 所属的用户第四栏：目录文件所属的组第五栏...
2020-01-20 20:38:59
165
原创 linux 鸟哥私房菜 从0到1 笔记（四）
linux 基本操作与常规命令31、安装流程：不详32、linux shell命令格式1) 区分大小写2) date 查看日期[root@gulonglong-bees-manager-2-normal-host-10-101-93-200-vm ~]# date +%Y/%m/%d2020/01/20[root@gulonglong-bees-manager...
2020-01-20 17:38:15
138
原创 linux 鸟哥私房菜 从0到1 笔记（三）
* 主机规划和磁盘分区—— 相当重要23、RAM 和 RAIDram 内存大小，内存不足时，数据会在ram和swap之间交互，系统性能指数级下降。raid：磁盘阵列技术，将多个磁盘整合成一个大硬盘，os只会看到整合后的大硬盘，利于提高速度性能和做备份。24、一切接文件在linux系统中，一切接文件。设备是一种文件，目录也是一种文件。所有都是文件。例如 ：SATA接...
2020-01-20 16:45:09
189
原创 linux 鸟哥私房菜 从0到1 笔记（二）
19、Linux的地位linux 提供了一个完整的操作系统当中最底层的硬件控制和资源管理的完整架构。这个架构沿袭unix良好的传统而来，所以相当稳定而且功能强大！这个架构还能够在window x86架构上跑（gwin模拟）！20、linux的企业应用场景主流：网络服务器、业务服务器后端、云计算的底层服务器21、linux的学习路线1）计算机概论与硬件相关知识...
2020-01-20 15:20:01
128
原创 linux 鸟哥私房菜 从0到1 笔记（一）
1、linux 操作系统 和 应用程序的关系2、计算机基本组成linux 操作系统，一切设计的起点是CPU。CPU 中央处理器，一个具有特定功能（管理与运算）的芯片。实现什么功能，需要参考内置的伪指令集。CPU的运算的数据来自内存，内存数据来自硬件存储。例如，通过输入设备读取硬盘数据，缓存到内存，提供给cpu计算使用。3、CPU的指令集精简指令集复...
2020-01-18 16:24:23
167
转载 【转】【阿里中台资料收集】04
什么是数据中台？全面解读数据中台架构师技术联盟3月4日伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合，一场由数字化和智能化转型带来的产业变革正在孕育。随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的，技术上说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。阿里在今年发布“双中台...
2019-10-23 14:14:22
192
转载 【转】【阿里中台资料收集】03
数据中台，何为正解？！架构师技术联盟4月8日以下文章来源于阿朱说，作者吕建伟阿朱说阿朱对产业的洞察与感悟一、我们先说说技术架构分层我们按技术架构通常是这样的： 1、UI交互层：Windows UI、PC Web UI、移动App UI、微信小程序UI、摄像头视觉识别人机界面、语音交互人机界面 2、逻辑层：面向对象技术/组件技术...
2019-10-23 10:14:16
221
转载 【转】【阿里中台资料收集】02
关于中台，你可能不知道的那些事！架构师技术联盟4月13日中台这个概念早期是由美军的作战体系演化而来的，技术上所说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。电商经过十几年的发展，组织已经庞大而复杂，业务不断细化拆分，也导致野蛮发展的系统越来越不可维护，开发和改造效率极低，也有很多新业务不得不重复造轮子，所以中台的目标是为了解决效率问题，同时降低创新成本。...
2019-10-22 20:49:40
374
转载 【转】【阿里中台资料收集】01
阿里中台战略，源于阿里高管15年中参观世位于芬兰界上最成功的移动游戏公司Supercell。Supercell的核心竞争力就在多年的游戏研发中积累了非常科学的研发方法和体系，包括游戏开发过程中公共、通用的游戏开发素材、算法做了很好的沉淀，形成了强大试错能力，也就是中台能力，以至于很多跟随者都无法复制或超越。2015年年底，阿里巴巴集团启动中台战略，构建符合DT时代的更具创新性、灵活性的“...
2019-10-22 20:39:14
247
原创 开发工具必知-01 目录与分类
持续更新：一、java 开发工具： 1、开发工具（Eclipse 、IDEA、NetBeans）、 构建工具（maven、gradle）、 接口测试工具（httpclient、postman、jMeter）、 远程连接工具（SecureCRT、SecureFX、XShell、XFtp） ...
2019-10-18 14:57:36
323
原创 技术链接
用户画像：1、 https://blog.csdn.net/mcy478643968/article/details/528214862、http://cdc.tencent.com/2011/12/19/%E5%88%9B%E5%BB%BA%E5%AE%9A%E6%80%A7%E7%94%A8%E6%88%B7%E7%94%BB%E5%83%8F/3、http://www.woshipm.com...
2018-04-12 18:22:52
295
转载 学习攻略 | 机器学习路线图
出处：http://www.ppvke.com/Blog/archives/36900 Python3m • 2016年8月19日 • 机器学习 • 阅读 6999也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能...
2018-04-12 16:27:35
432
转载 Livy原理详解
概述 当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，zeppelin不支持jar包方式提交，并且它们都不支持yarn cluster模式，只能以client的模式运行，这会严重影响扩展性。针对这些问题，cloudera研发了Livy，Liv...
2018-03-22 13:45:47
998
原创 【二、大数据环境篇】003、Hive安装（下）
注意：安装mysql使用的是root，所以，需要将Hadoop的工作用户XXX_user添加到root组，否则hive初始化失败：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to getschema version.Caused by: java.sql.SQLException: Access denied for use...
2018-03-20 11:01:23
1236
转载 【数据分析】001、业余如何快速学习数据分析
转自知乎：https://www.zhihu.com/question/221197531.1 方法论高票答案分两种。一是提供学习资源的，各种经典书籍、网站教程，都很好，能够为初学者减少很多资源筛选的时间。但对于很多浮躁的小白来说，无疑是目标缺失的，每一部分学完能做什么，如何应用，是一个很大的问题。这样的学习，很容易未入门就放弃，所以并不建议从啃一本书开始。另一种是从实际的问题场景入手的。这...
2018-03-20 10:49:02
384
1
原创 【二、大数据环境篇】003、Hive安装（上）- MySql安装
下面的操作都是使用root来操作的！Centos7 离线安装mysql 5.6详细步骤一、安装MySQL1、下载 https://dev.mysql.com/downloads/mysql/5.6.html2、卸载系统自带的Mariadb1） Centos7将默认数据库mysql替换成了Mariadb，如果想继续使用mysql 需要卸载Mariadb 再安装mysql2） mysql 5.7...
2018-03-19 16:25:50
433
原创 【二、大数据环境篇】002、hadoop基础搭建（HDFS+YARN）
0、下载安装包，解压后，配置环境变量：vim /etc/profileJAVA_HOME=/app/data_platform/soft/jdkCLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATHexport HADOOP_HOME=/app/data_platfor...
2018-03-19 15:59:56
269
原创 【二、大数据环境篇】001、方法论
1、官网的文档无论是学习Hadoop的hdfs、hive，还是hbase等，都要非常看重官网的文档。大数据的很多框架，都是Apache的顶级项目，各个组件框架的官网链接都可以从下面的链接进入：Hadoop：http://hadoop.apache.org/Avro™: 序列化系统HBase™: 分布式数据库Hive™: 数据仓库Mahout™: 机器学习与数据挖掘库Pig™: 并行计算的高级数据...
2018-03-19 15:44:46
404
原创 【更】术语-快递
一、快递流程中的操作术语1、快递揽收货物环节已收件、揽件、收寄：快递员上门去发货方处取件成功的表示 2、快递运输货物环节 上车扫描、下车扫描： 一般快递选择的是汽车运输比较多，故在货物装车前后，为了确保包裹的数量会进行一次扫描。 北京集散、杭州集散等集散地： 快递公司会在一些大型城市建设方便货物进行中转及分拣，后续再分发到区域的快递再进派件。建包扫描、拆包扫描： 快递公司一般会把一些较小的，发往同...
2018-03-19 15:11:36
11164
原创 【更】术语-技术
1、上钻/下钻上卷（roll-up）：上卷是沿着维的层次向上聚集汇总数据。例如，对产品销售数据，沿着时间维上卷，可以求出所有产品在所有地区每月（或季度或年或全部）的销售额。下探（drill-down）：下探是上卷的逆操作，它是沿着维的层次向下，查看更详细的数据。...
2018-03-19 14:12:26
282
原创 【更】术语-金融
1、贷款的五级分类商业银行依据借款人的实际还款能力进行贷款质量的五级分类，即按风险程度将贷款划分为五类：正常、关注、次级、可疑、损失，后三种为不良贷款2、逆回购 逆回购为中国人民银行向一级交易商购买有价证券，并约定在未来特定日期将有价证券卖给一级交易商的交易行为，逆回购为央行向市场上投放流动性的操作，逆回购到期则为央行从市场收回流动性的操作。简单解释就是主动借出资金，获取债券质押的交易就称...
2018-03-19 14:10:41
351
转载 大数据在金融行业的应用有哪些
http://www.sohu.com/a/118119125_5317402016-11-04 14:02大数据/社交/技术金融行业会运用到很多大数据，但是大数据也会有很多方面的应用。下面来看看大数据在金融行业的应用都是什么。根据数据显示，中国大数据IT应用投资规模以五大行业最高，其中以互联网行业占比最高，占大数据IT应用投资规模的28.9%，其次是电信领域(19.9%)，第三为金融领域(17....
2018-03-15 13:56:56
16923
转载 大数据分析师 - 技术体系 - 了解篇
来自知乎：https://www.zhihu.com/question/49291394 大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可视化等各种技术范畴和不同的层面。另外大数据应用领域广泛，各领域采...
2018-03-15 11:08:02
5371
1
WebService实例（axis + soapUI）
2013-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人