- 博客(6)
- 收藏
- 关注
RSS订阅原创 网络爬虫原理
互联网上，公开数据（各种网页）都是以 http（或加密的 http 即 https ）协议传输的。所以，我们这里介绍的爬虫技术都是基于http（https）协议的爬虫。在 Python 的模块海洋里，支持 http 协议的模块是相当丰富的，既有官方的 urllib，也有大名鼎鼎的社区（第三方）模块 requests。它们都很好的封装了 http 协议请求的各种方法，因此，我们只需要熟悉这些模块的用法，不再进一步讨论 http 协议本身。1. 认识浏览器和服务器同学们对浏览器应该一点...
2021-11-05 19:53:12
85
原创 数据仓库是什么
数据仓库（Data Warehouse）,可简写为DW或DWH,数据仓库，是为了企业所有级别的决策制定计划过程，提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业 ,为需要指导业务流程改进、监视时间，成本，质量以及控制等；数据仓库与传统的数据库不一样，数据仓库是面向主题的，就是用户用数据仓库进行决策所关心的重点方面，一个主题通常与多个操作信息型系统有关，而操作型数据库的数据组织面向事务处理任务，各个任务之间是相互隔离的.数据仓库是集成的。数据仓库的数据是
2021-10-30 19:34:16
478
原创 虚拟机VMWare网络配置
桥接模式相当于虚拟机和主机在同一个真实网段，VMWare充当一个集线器功能（一根网线连到主机相连的路由器上），所以如果电脑换了内网，静态分配的ip要更改。 NAT模式和桥接模式一样可以上网，只不过，虚拟机会虚拟出一个内网，主机和虚拟机都在这个虚拟的局域网中。NAT中VMWare相当于交换机（产生一个局域网，在这个局域网中分别给主机和虚拟机分配ip地址）步骤：1.设置VMVare的默认网关（相当于我们设置路由器）:编辑->虚拟网络编辑器->更改设置->...
2021-10-23 20:02:26
1202
原创 数据仓库建模，星型模型、雪花模型、星座模型
1.什么是雪花模型 Snowflake schema 雪花模型是多维数据库中的表的逻辑排列方式，使得实体关系图类似于雪花形状。雪花模型由连接到多个维度的集中式事实表组成。“Snowflaking”是一种在星型模型中规范化维度表的方法。 当它沿着所有维度表完全标准化时，结果结构类似于雪花，其中事实表位于中间。雪花背后的原理是通过删除低基数属性和形成单独的表来对维度表进行规范化。雪花模型类似于星型模型。 但是，在雪花模型中，维度被规范化为多个相关表，而星型模型的维度被非规范化，每个维度由单个...
2021-10-15 18:15:22
1036
原创 什么是shell?
简单点理解，就是系统跟计算机硬件交互时使用的中间介质，它只是系统的一个工具。实际上，在shell和计算机硬件之间还有一层东西那就是系统内核了。打个比方，如果把计算机硬件比作一个人的躯体，而系统内核则是人的大脑，至于shell，把它比作人的五官似乎更加贴切些。回到计算机上来，用户直接面对的不是计算机硬件而是shell，用户把指令告诉shell，然后shell再传输给系统内核，接着内核再去支配计算机硬件去执行各种操作。笔者接触的linux发布版本（Redhat/CentOS）系统默认安装的shell叫做ba
2021-09-27 19:45:27
127
原创 2021-09-17
.MD5(Message Digest Algorithm)加密MD5 是将任意长度的数据字符串转化成短小的固定长度的值的单向操作，任意两个字符串不应有相同的散列值。因此 MD5 经常用于校验字符串或者文件，因为如果文件的 MD5 不一样，说明文件内容也是不一样的，如果发现下载的文件和给定的 MD5 值不一样，就要慎重使用。MD5 主要用做数据一致性验证、数字签名和安全访问认证，而不是用作加密。比如说用户在某个网站注册账户时，输入的密码一般经过 MD5 编码，更安全的做法还会加一层盐...
2021-09-17 10:27:53
61
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人