- 博客(85)
- 收藏
- 关注
RSS订阅原创 JavaWeb01-Servlet-thymeleaf-mvd-dispatcher-controller
service中包含doPost(),doGet()等方法，可以不重写service（），直接按照请求的类型重写doPost(),doGet()等。编写ViewBaseServlet类，其他servlet类基础由原先的HttpServlet改成ViewBaseServlet。HTTP无状态︰服务器无法判断这两次请求是同一个客户端发过来的，还是不同的客户端发过来的。在Web.xml中配置上下文参数（ViewBaseServlet中的前缀和后缀）内部转发：一次请求，一次响应 重定向：两次请求，两次响应。
2023-07-19 15:36:46
324
翻译 大数据04--Flume框架自定义 Interceptor、Source和Sink，Ganlia实时监控
大数据04--Flume框架自定义 Interceptor、Source和Sink，Ganlia实时监控
2022-10-11 16:29:51
255
1
翻译 大数据04--Flume框架（负载均衡、聚合，taildir各种sourcetype等）
大数据04--Flume框架（负载均衡、聚合，taildir各种sourcetype等）
2022-10-11 15:10:58
368
翻译 大数据03--Hive05 文件存储格式，本地模式，空 key 转换和严格模式
大数据03--Hive05 文件存储格式，本地模式，空 key 转换和严格模式
2022-09-29 19:42:14
114
翻译 Hadoop--YARN
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN基础架构RM相当于整个集群资源管理器的老大，而NM是单个节点的老大，AM则是管理Map Task 和Reduce Task资源（向RM申请资源，分配给它两），Container相当于一台小电脑YARN工作机制0，当Driver类的main方法执行到job,waitForCompletion()；时开启YARNRu
2022-07-09 21:19:11
233
翻译 Hadoop-MapReduce
MapReduce工作流程MapReduce详细工作流程（—)2,获取切片数量 3，提交split,jar和xml（提交到集群中需要jar文件）4，根据切片数确定MapTask的数量 5，读取数据的方式（按行读之类的）6，进行Map中的逻辑运算 7，向环形缓冲区中写入<k,v>数据 （原数据和索引） partiton为区号，缓冲区写满80%后，反向写，那80%的数据需要经过排序后（对key进行排序，按照字典的顺序排）再写入磁盘 10ReduceTask会抓取到同一个分区的来自不同M.
2022-05-30 12:29:09
695
翻译 hadoop-HDFS
HDFS文件快大小不能设置太小（会增加寻址时间，程序一直在找块的开始位置）也不能设置太大（不利于后续并行操作）HDFS块的大小设置主要取决于磁盘的传输速率hadoop fs 具体命令就相当于cilent对其进行操作[xwt@hadoop102 hadoop]$ hdfs dfs -ls /#查看 hdfs创建的文件夹[xwt@hadoop102 ~]$ hadoop fs -mkdir /sanguo#因为我们之前创建的文件夹就在根目录下（前面/）...
2022-05-10 17:16:26
96
翻译 大数据-02
HDFS架构概述：1）NameNode(nn):存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。相当于目录2）DataNode(dn):再本地文件系统存储文件块数据，以及块数据的校验和这才是具体的数据3）Secondary NameDode(2nn):每隔一段时间对NameNode元数据备份相当于nn的秘书YARN架构概述：Yet Another Resource Negotiator简称..
2022-05-07 20:50:26
106
翻译 SQL笔记
登录：mysql -hlocalhost -uroot -p展示所有的数据库：show databases;创建数据库：create database 数据库名；删除数据库：drop database 数据库名；使用（进入）数据库：use 数据库名；\c 结束当前sql语句,\q 退出数据库；is null is not null where comm is not null;in notin select * from 数据库名w...
2021-10-30 16:19:49
3324
翻译 Pytorch基础点
损失函数的作用用随机值初始化前向计算公式的参数； 代入样本，计算输出的预测值； 用损失函数计算预测值和标签值（真实值）的误差；（最主要的） 根据损失函数的导数，沿梯度最小方向将误差回传，修正前向计算公式中的各个权重值； goto 2, 直到损失函数值达到一个满意的值就停止迭代。每次要把梯度设为0是因为不设为0pytorch中会将上次计算的梯度和本次计算的梯度累加.学习率是一个重要的超参数，它控制着我们基于损失梯度调整神经网络权值的速度. 学习率越小，我们沿着损失梯度下降的速度越慢。可以
2021-06-26 06:27:33
198
翻译 java黑马笔记（2）
1.super关键字用来访问父类内容 super.变量 super.方法() super调用父类的构造方法this关键字用来访问本类的内容this.成员变量 在本类的成员方法中，调用本类的另一个成员方法this.方法名 () this()调用本类中的另一个构造方法super和this两种构造调用不能同时使用2.继承是单继承 一个类的直接父类只能有一个 即extends 后面只能有一个父类可以多级继承（父亲，爷爷。。。）...
2021-05-15 20:20:56
278
翻译 java黑马笔记(1)
1。short,byte,char 可做运算，做运算时，都会先转换成int 加完后的结果就是int型2.虽然Long是8字节，float是4字节，但是float的范围比long要大3.+再字符串中使用表示连接操作，任何类型的数据和String相加，结果都会变成字符串...
2021-05-10 15:54:29
362
翻译 异常检测（Anomaly Detection)与主成分分析（PCA）
根据输入数据，对不符合预期模式的数据进行识别根据概率密度最小的点，检测是否是异常点
2021-04-17 18:57:17
775
翻译 过拟合和欠拟合
模型不合适，导致其无法对数据实现有效预测过拟合通用性太差欠拟合可以通过观察训练数据及时发现，通过优化模型结果解决过拟合产生的原因：①模型结构过于复杂（维度过高）②使用了过多属性，模型训练时包含了干扰项信息解决办法：①简化模型结构，使用低阶模型②数据预处理，保留主成分信息（数据PCA处理）③在模型训练时，增加正则化项高次项信息减少了...
2021-04-14 12:41:42
60
翻译 KMeans,KNN 和 meanshift实战
输入的参数是要分成K类，中心点的位置这里是Kmeans 的矫正，因为输入的数据是无标签的，可能和你预期结果得到的标签不同，所以你要转换自动计算半径的大小因为输入的数据有标签，不需要矫正...
2021-04-09 15:03:06
182
翻译 多因子线性回归问题
jupyter notebook 500 : Internal Server Error 问题https://segmentfault.com/a/1190000022806936
2021-04-05 11:40:41
552
原创 fiddler 抓包工具
直接在 软件管理里下载fiddler就Ok 了fiddler1，配置tools==>options==>https选中：capture https decrypt https trafic ignor xxx点击右边的action,信任根证书配置完毕，关闭重启2，<>：html内容 一个本子加一个→：pos...
2020-02-13 23:11:39
85
原创 正则表达式详解实用-深入
import re'''字符串切割'''str1 = "tom is a good man"print(re.split(r' +',str1))#至少一个空格作为切割'''re.finditer函数与findall类似，扫描整个字符串，返回的是一个迭代器next()返回一个对象'''str2 = "tom is a good man! t...
2020-02-13 23:08:54
87
原创 正则表达式详解实用-基础
import re'''re.match(pattern，string，flags=0)pattern：子串string:父串flags:标志位,用于控制正则表达式的匹配方式，值如下re.I 忽略大小写re.M 多行匹配，影响^和$re.S 是.匹配包括 换行 符再内的所有字符 功能：尝试从字符串的 起始位置 匹配一个模式，如果不是起始位置匹配成功的话，返...
2020-02-13 23:08:04
75
原创 正则表达式详解实用-元字符
import rer'''匹配单个字符与数字. 匹配除换行符以外的任意字符[0-9] []字符集合，表示匹配[]所包含的任意一个字符[0-9a-zA-Z_] 匹配字母数字下划线[^To] 匹配除了To这两个字母外的所有字符^在[]里为脱字符 表示不匹配集合中的字符\d 匹配数字，效果同[0-9]\D 匹配非数字字符\w 匹配数字字母下划...
2020-02-13 23:07:03
92
原创 关于爬虫的Error：URLError，HTTPError
作者学的课程：https://www.bilibili.com/video/av33963847import urllib.requestimport urllib.parseimport urllib.error'''URLError:1.没有网2.服务器连接失败3.找不到指定的服务器HTTPError： 是URLError的子类'''url = 'htt...
2020-02-13 23:05:07
270
原创 ajax 爬取豆瓣(get)，肯德基(post)，贴吧(复杂的get)
已分类好，大家可放心调用代码，虽然很简单，但是理解原理就好了作者看的课程：https://www.bilibili.com/video/av33963847import urllib.requestimport urllib.parseimport os'''ajax get例子：豆瓣url = 'https://movie.douban.com/j/chart/top_lis...
2020-02-13 23:03:09
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人