- 博客(31)
- 收藏
- 关注
RSS订阅原创 https://www.52pojie.cn/thread-1805558-1-1.html
真的很坑，停留在开机界面只能进入fastboot，这时候adb命令是无效的。
2023-11-12 23:55:08
135
原创 关系型数据库的SQL优化
的写法，这种写法是完全不会走索引的。4、避免使用selsct * 操作，*会把所有的数据都查询出来，增大了磁盘IO，如果我们不是需要全部的列最好只select 出自己需要的列。，使用not in 后会完全避开索引，需要扫描全表，极大的增加的SQL的运行时间，推荐使用exists 或者not exists来替换。，如果索引列是多个列则where后面列的顺序也必须与索引列的顺序保持一致，或者是不会走索引的。2、where 后面使用多个列过滤时如果其中有索引列，则索引列必须放在where后面的。
2023-03-16 13:38:03
338
原创 RocksDB: Evolution of Development Priorities in a Key-value Store Serving Large-scale Applications
摘要本文是对RocksDB的开发优先级的八年回顾。RocksDB是Facebook开发的一个KV存储，针对大型分布式系统，并针对固态硬盘(ssd)进行了优化。我们描述了由于硬件趋势和在许多组织中大规模运行RocksDB的广泛经验，优先级是如何随时间演变的：从优化写放大，到空间放大，再到CPU利用率。我们描述了运行大规模应用程序的经验教训，包括需要在不同的RocksDB实例之间管理资源分配，数据格式需要保持向后和前向兼容，以允许增量软件推出，以及需要对数据库复制和备份的适当支持。来自故障处理的经验教训告诉
2022-04-18 00:56:14
320
原创 Implementing Flash-Cached Storage Systems UsingComputational Storage Drive with Built-inTransparen
摘要本文研究利用内置透明压缩的不断增长的固态硬盘(ssd)家族来简化高速缓存设计的数据结构。这种存储硬件允许用户应用程序有意地不充分利用逻辑存储空间(例如，稀疏LBA利用率和稀疏存储块内容)，而不牺牲物理存储空间。因此，本工作提出了一种无索引的缓存管理方法，通过利用带有内置透明压缩的ssd，在很大程度上简化了基于闪存的缓存管理。我们进行了各种实验来评估所提出的cache管理的写放大和读性能，结果表明，我们提出的无索引cache管理可以达到与传统策略相当或更好的性能，同时消耗更少的主机计算和内存资源。
2022-03-19 19:32:09
3138
原创 在内置透明压缩的存储硬件到来时重新思考数据管理软件的设计
摘要本文主张，内置透明压缩的存储硬件为数据存储管理软件（如数据库和文件系统）的创新带来了新的机遇。现代存储设备(如全闪存阵列)和一些最新的ssd(固态硬盘)可以透明地从操作系统和用户应用程序执行数据压缩。这种存储硬件实现了逻辑存储空间利用率和物理存储空间利用率的解耦。这允许数据存储管理软件故意浪费逻辑存储空间，以换取使用更简单的数据结构，从而降低实现复杂性和提高性能。根据这一主题，我们在关系数据库和键值(KV)存储的背景下进行了三个初步的案例研究。初步的实验结果很好地证明了这一研究的潜力，我们希望这一初
2022-02-27 20:17:56
2056
原创 KallaxDB:内置透明压缩的存储硬件上的无表哈希键值存储
摘要 本文研究了一种能充分利用内置透明压缩能力的现代存储硬件的键值(KV)存储器的设计。许多现代存储设备/驱动器实现了基于硬件的数据压缩，对操作系统和应用程序是透明的。此外，云基础设施中基于硬件的压缩的部署越来越多，导致内置透明压缩的基于云的存储硬件即将到来。通过将逻辑存储空间的使用效率与真实的物理存储空间使用情况解耦，透明压缩允许数据管理软件有目的地浪费逻辑存储空间，以换取更简单的数据结构和算法，从而降低实现复杂度，提高性能。本工作提出了一种无表的基于哈希的KV存储，其基本思想是将密钥空间...
2021-12-24 18:59:32
516
原创 用内置透明压缩来缩小b树与lsm树在现代存储硬件上的写放大
本文研究了一种可以充分利用现代存储硬件自带透明压缩功能的B-tree的设计。近年来，将日志结构的合并树(LSM-tree)作为B-tree的替代方法得到了广泛的应用。目前的共识是，与b -树相比，lsm -树在存储空间效率和写放大方面有明显的优势。本文认为，当内置透明压缩的存储硬件出现时，应该重新考虑这一观点。先进的存储设备(如全闪存阵列)和新兴的计算存储驱动器执行基于硬件的无损数据压缩，对操作系统和用户应用程序透明。除了直接减少b -树和lsm -树之间的物理存储成本差异外，这种现代存储硬件还带来了创新b
2021-12-03 19:02:13
706
原创 memcached
memcached是一套分布式的高速缓存系统，与redis相似。本质上，它是一个简洁的key-value存储系统。memcached缺乏认证以及安全管制，这代表应该将memcached服务器放置在防火墙后。memcached的API使用三十二比特的循环冗余校验（CRC-32）计算键值后，将数据分散在不同的机器上。当表格满了以后，接下来新增的数据会以LRU机制替换掉。由于memcached通常只是当作缓存系统使用，所以使用memcached的应用程序在写回较慢的系统时（像是后端的数据库）需要额外的代码
2021-11-05 18:51:33
85
原创 关于KV存储的一些总结更新中
KV 数据库数据存储，存储的数据主要分两种：结构数据（关系表），非结构数据（大文件，杂数据）。分布式存储系统1、分布式文件系统：存储文本，图片，音视频等非结构化数据。如google的GFS/和开源的hdfs。2、分布式键值系统：存储简单的半结构化数据。NoSql的分布式扩展，只提供基于key的增删改查功能。3、分布式表格系统：存储复杂的半结构化数据。相较于分布式kv系统，他还支持基于key的范围查找。但相对于关系型数据库，他不支持复杂的操作，如多表关联，嵌套查询。典型的系统如googl.
2021-10-30 21:49:42
2935
原创 Replica‑aware data recovery performance improvement for Hadoop system with NVM
摘要非易失性存储器(non-volatile memory, NVM)由于其出色的I/O性能，成为存储数据和加速大数据分析的热门设备。但是我们发现，简单地用NVM替换硬盘驱动器(HDD)并不能带来预期的性能提升。本文以Hadoop fle系统(HDFS)中的数据恢复问题为例，探讨如何利用NVM的性能优势。我们分析了HDFS中的数据恢复机制，发现DataNode中复制任务的配置对数据恢复有很大的影响。我们进行了广泛的分析和实验，调优了配置，也得到了一些有趣的发现。通过新的配置，我们将数据恢复性能从17%提
2021-10-08 21:27:31
132
原创 Hive内部表和外部表的区别
1.未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；对内部表的修改会将修改直
2021-06-07 17:00:17
7855
原创 Kafka的数据存储结构及命令行操作
一、Kafka的数据存储结构由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment。每个segment对应两个文件：“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称-分区序号。例如，test这个topic有三个分区，则其对应的文件夹为test-0,test-1,test-2。index和log文件以当前segment的第一条消
2020-11-16 23:25:26
488
原创 Kafka是什么？为什么拥有异步、削峰、解耦？有哪些角色？
一、Kafka是什么？Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说： kafka就是一个存储系统，存储的数据形式为“消息”；它的主要作用类似于蓄水池，起到一个缓冲作用；二、为什么拥有解耦、异步、削峰？(1)解耦传统模式:传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！中间件模式:中间件模式.
2020-11-14 23:21:47
4477
原创 Flume常用组件详解之Source
Flume常用组件详解：SourceFlume支持众多的source、sink、拦截器等组件具体实现，详细手册可参考官方文档http://flume.apache.org/FlumeUserGuide.html一、netcatsource1、工作机制启动一个socket服务，监听一个端口；将端口上收到的数据，转成event写入channel；2、配置文件a1.sources = s1a1.sources.s1.type = netcata1.sources.s1.bi.
2020-11-11 17:21:58
2287
2
原创 Flume入门案例
一、Flume入门案例先用一个最简单的例子来测试一下程序环境是否正常1、案例需求说明2、组件选择（1）Source组件 NetCat：（2）Channel组件MemoryChannel： capacity: 缓存的容量 ，可缓存的event的数量 transactionCapacity： 事务容量，支持出错情况下的event回滚事件数量。（3）Sink组件: logger Sink3、部署配置实现（1）创建部署配置文件...
2020-11-11 12:23:50
154
2
原创 Flume简介、特点、核心概念及安装
一、什么是flume?flume是一个可分布式日志收集系统，为hadoop相关组件之一。Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。二、Flume特性Flume是一个分布式、可靠、和高可用的海量日志采.
2020-11-09 13:58:56
17566
原创 Servlet
1、Servlet的基本概念servlet是一个java小程序运行在web服务器。servlet接收并响应来自Web客户端的请求，通常通过HTTP（超文本传输协议）。1.1主要作用：接收浏览器（客户端）的请求数据；（接收由表单用户输入的数据） 给客户端做响应； 呈现来自数据库或者其他源的记录；域中 jsp 动态创建网页 write 接收页面的数据------->接收数据------>-处理数据------>-给客户端做出相应的响应数据1.2Servle...
2020-10-27 17:45:34
394
1
原创 Hive2.3.1笔记一：Hive简介、特点、应用场景、架构原理
1、什么是Hive？Hive：由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)。Hive是基于Hadoop的一个数据仓库工具(服务性的软件)，可以将结构化的数据文件映射为一张表，并提供类似于SQL查询。本质是：将Hive SQL转化成MapReduce程序或者 spark程序 1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce/ spark(分布式运算框架)3）执行程序运行在Yarn上，即需要运行HDF...
2020-10-12 20:35:13
306
1
原创 社交用户关系分析
社交用户关系分析数据样例：冒号左边为用户id，冒号右边为用户的好友列表 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 需求：1 获取所.
2020-09-04 20:12:42
501
原创 Hadoop之MR处理数据基本流程
在启动程序中，FileInputFormat设置数据的输入路径，程序处理的是该路径中的所有文件，1、如何处理（1）、该路径中有几个文件就有几个map任务。（2）、在进行map任务之前，文件中的数据被一行一行的读，形成了K1：一行的起始位置，V1：行内容，这就是map任务被输入的K1，V1。（3）、行内容V1被一行一行的切割，切割的时候要将这行数据转化成String类型才能进行切割操作，切割后形成的是数组，对数组进行分类，又形成一对一对的K2，V2，将这些K2、V2写入(context.wri
2020-08-18 21:39:51
762
原创 Hadoop之HDFS上传下载文件、管理数据原理
一、上传文件原理（步骤）1、客户端请求namenode上传文件数据（包括文件大小、物理块大小、副本个数等）；2、namenode接受到客户端的请求，校验权限、存储容量等信息，并分配元数据信息；3、客户端收到namenode的OK响应，客户端就开始请求上传第一块数据；4、namenode返回第一块数据的元数据信息给客户端；5、客户端和返回的元数据中的三台机器建立连接通道；6、返回OK给客户端；7、客户端本地输入流读取待上传文件的第一块数据内容（一边读取数据一边将数据转换成分布式
2020-08-16 21:36:40
1007
原创 大数据是什么？可以用来做什么？核心是什么？
它是什么它能用来做什么它怎么用它的工作原理是什么1、什么是大数据技术大数据技术是一门针对海量数据处理的编程技术核心技术：分布式存储、分布式运算2、大数据技术用来干嘛？电商：分析用户浏览、购物的行为，挖掘数据，分析规律，以便及时精准推送；金融：征信分析、运营分析。。。头条：提供更加个性化的内容推送服务。3、大数据技术的核心技术组件有哪些？Hadoop、spark、flink等技术生态。4、Hadoop是什么？它是一套大数据技术组件。5、Hadoop的
2020-08-12 21:33:23
3390
原创 Linux网络相关问题
问题一：如何确定网段？ 网段即IP地址与子网掩码与运算的结果。 例如： IP：192.168.133.101 子网掩码：255.255.255.0 网段：192.168.133.0 在同一个网段，即在同一个局域网的电脑之间是可以互相通信的。问题二：需求：1）、Linux可以上网； 2）、Linux之间可以互相通信； 3）、Windows和Linux之间可以互相通信。解决...
2020-08-09 22:09:22
145
原创 Linux文本编辑命令——vi
-vi 文件名 ： 进入命令模式1（准备写内容）i（insert的意思） ： 进入编辑模式esc键 ：进入命令模式2（内容已写完）在命令模式2的基础上可以进行的操作有1、:wq! ： 保存并强制退出2、:q! ： 强制退出3、大写zz ： 保存并强制退出4、小写i：在光标前面插入5、小写a：在光标后面插入6、小写o：将光标移动到下一行7、大写i：在光标移动到开始的地方8、大写a：在光标移动到该行末尾9、大写o：将光标移动上一行（空行）开始编辑10、yy：
2020-08-09 21:01:57
338
原创 Linux基础命令第三节
pwd：查看当前所在的位置 echo：打印内容（打印的内容记得加引号）例如：echo “hello girl” > /test.txt 将内容写在文件上，这种情况如果再写会覆盖原来的内容；而echo “hello girl” >> /test.txt 这种情况是追加，不会造成前面的内容会覆盖。这两种情况中，test.txt也可以不存在，它会自动创建。 Tab键上面有一个特殊的符号，可以将命令的结果转译成字符串，格式：echo `ll` >>...
2020-08-09 20:10:00
110
原创 Linux笔记之第二节Linux的基本命令
一、cd切换目录/ 绝对路径./ …/ …/…/ 相对路径例如：回到根目录cd /回到根目录下的bin文件夹cd /bin 切换到上次所在目录：cd -回到当前用户的家目录：cd ~二、ls查看目录下的内容ls 查看当前目录下的内容ls ./ 查看当前目录下的内容ls 查看指定路径（绝对/相对）下的内容ls …/ 查看上级目录下的内容ls …/bin 查看上级目录下的bin文件夹中的内容ls /usr/bin 查看usr下面的bin文
2020-08-08 22:40:43
69
原创 Linux的一些常见的目录结构
Linux笔记一、目录结构1、切换到根目录：cd /2、查看当前文件夹下的目录：ls ./bin：一些可执行的命令目录boot：系统有关的操作dev：所有的设备etc：所有的配置文件home：Linux是一个多用户多任务高权限的操作系统，root里面是超级管理员，这里面是普通管理员lib：依赖的lib包lib64：依赖的lib包media：多媒体，软件安装包存储的位置，光盘、U盘、硬盘、软盘挂载的地方（挂载：利用目录映射外部设备）mnt：多媒体，软件安装包存储的位置，光盘、U盘、硬
2020-08-07 23:47:53
199
原创 JAVA中的一些运算符
一、算术运算符：+：正号；加法运算；字符串连接-：负号；减法运算*：乘法/：取商%：取余++：前加加，++放变量前；参与运算时，先加一，后运算；后加加：++放变量后；参与运算时，先运算，后加一；–：前减减：–放变量前后减减：–放变量后...
2020-06-23 16:19:31
157
2
原创 Java中的一些基本数据类型
Java中的数据类型：1、基本数据类型（1）整数：byte、short、int、long（2）小数：float、double（3）字符：char（4）布尔：boolean2、基本数据类型的范围：类型 字节 位数 默认值 范围byte 1 8 0 -2^72 ^7-1short 2
2020-06-21 22:17:11
110
原创 Windows10系统下DOS的一些命令
1、列出所有盘符： diskpart回车 list volume回车2、切换盘符： 如切换到D盘：d:3、列出盘符目录下的所有文件及相关信息： dir回车4、切换到盘内的文件夹： dir+空格+文件夹名5、列出文件夹下的所有文件： 切换到文件夹之后dir回车6、创建文件夹： md+空格+文件夹名7、切换到上一级目录： cd…8、回到根目录： cd9、进入单级目录： cd+空格+目录10、清屏： cls(clear scre
2020-06-20 15:42:04
474
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人