- 博客(213)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 爬虫，关于 video 标签 src 带有blob:http的 一些想法
大家好，我是烤鸭： 之前玩爬虫的时候，看到过video标签中src属性引入的blob:http:xxxx，当时没找到解决思路，今天又遇到类似问题，就试着找了一下。这是有人问过https://vimeo.com/这个网站的视频怎么下载。 https://superuser.com/questions/1033563/how-to-download-video-with-...
2018-09-14 17:56:49
65761
40
原创 idea 错误: 找不到或无法加载主类(汇总贴)
大家好，我是烤鸭： 现在是采坑实录。idea 错误: 找不到或无法加载主类 xxx.xxx.xxxxxJDK环境，maven项目还是ee还是web项目，是否都正常。如果是用idea打开的话,在源码目录上点击右键,然后找到Mark directory as->source root看这篇：（真的是主类没找到） http://www.cnblogs.co...
2018-09-05 10:26:03
46412
17
原创 揭秘视频音画质量的神秘面纱：探索几种独到的分析方式
我是烤鸭。今年是AI元年，最近sora更是火的不行。正好最近在搞视频质量分析，寻思写篇文章。毕竟sora生成的视频还需要评判标准，我要写的是关于视频质量分析的方式，主要分为有参考的客观打分和无参考的客观打分。
2024-03-05 08:15:00
899
原创 Copilot：编程助手，你真的需要它吗？使用体验对比分享
最近ai火的狠，想聊聊代码里的copliot，最近几个月也使用了几款不同的copliot。
2024-02-19 08:15:00
2201
原创 chatgpt驱动的视频卡顿分析.md
最近在尝试做视频卡顿分析，对python不是特别了解。以前也没感觉GPT有能好用，这次用了一下，真的是有点牛了，起码可以节省半天的工作量。使用的是百度AI-文心一言，感觉还是比较好用的。
2024-02-01 08:15:00
366
原创 redis命令大量超时 连接数突增
这篇文章拖了3周没写出来，最后虽然给出了一个分析，但还是感觉不够说服力。毕竟出了问题、第一时间是解决问题，解决之后只能依靠历史的数据进行复盘、分析。一开始大家都说是由于redis内存刷到报警、内存碎片产生导致的，其实应该没啥关系。由于是老项目，在框架使用上需要注意，可能用了很久的框架，不知道在一些场景上的性能怎么样。比如像这次大量刷入缓存，导致内存急速上、后来停刷之后的大量过期的场景并没有实际运行过。
2023-02-13 08:15:00
1710
2
原创 对技术类的管理和绩效的一些想法
我是烤鸭。看完春晚小品的心情(除了神马组合)，就跟下面这哥们一样，尬的抠脚。再加上初一跟家人出去一趟，消费是真的复苏了，哪哪都排队。本来还想去洗温泉，给商家打电话一直占线...就能想象有多少人了。最近这几天就好好在家休息休息，再抽空写篇文章复盘下，对技术类管理和绩效的一些想法。
2023-01-28 08:15:00
1054
2
原创 易盾sdk引起项目的整体耗时问题?
大家好，我是烤鸭。今年年初的时候，项目接入易盾sdk之后，随着接口调用次数增多(用到易盾sdk的接口)，项目整体性能变差。写篇文章做个复盘记录，其实同事已经写过了，我借鉴部分再拓展一些。
2023-01-19 08:15:00
1595
原创 rocketmq报错的问题排查和记录 RemotingTooMuchRequestException
连续3天同一时间遇到rocketmq不可用。第一天持续1分钟，第二天持续10分钟，第三天持续40分钟。线上版本使用的4.9.2，以下源码均看的这个版本。
2023-01-16 08:15:00
4192
原创 2022 年终总结
大家好，我是烤鸭。又到了年终总结的时候了，今年是沉闷又兴奋的一年，外边卷着XX浪潮和互联网XX的声音，内心又是矛盾的继续北漂还是回家。XX是审核不让说的词。
2023-01-02 16:25:46
136
原创 再写java探针
以前写过一篇全链路探针实现的文章，最近同事间搞技术分享，再整理一篇。可惜这两年没有继续搞这方面的技术，算是两年前的拓展篇吧。很多技术只放了图，文字就不写了，可以参考下边的拓展阅读。
2022-12-22 08:15:00
596
原创 容器环境 springcloud gateway grafana prometheus采集集成与问题
大家好，我是烤鸭：记录下网关上容器后，监控升级的过程。
2022-11-07 08:15:00
881
原创 Is the byte array a result of corresponding serialization for DefaultDeserializer
问题记录，上线之后懵逼的问题。只能回滚?每次都是上线来暴击，不然多查查文章也不至于这么被动。
2022-10-12 07:45:00
1489
原创 windows docker mongodb
大家好，我是烤鸭： 今天翻博客，发现4年前的一篇草稿，抽空给完善下。原本草稿写的是linux下mongo使用，还有java的一些api，现在就用容器实现下。
2022-06-03 00:09:34
472
1
原创 研发效能提升 maven依赖扫描 版本统一 漏洞版本提醒
大家好，我是烤鸭： 整点干货，代码级别的版本统一，以及漏洞版本的扫描。背景两个方面吧。项目整体的架构不统一，springboot/cloud 配置/注册中心也用的不统一，版本更是五花八门，怎么快速的找到问题，给出合理建议。去年年底的时候都被log4j搞过，漏洞安全也被提到第一线，快读定位漏洞版本。思路先画一个功能大点的业务流程图，再从具体某一个点详细说下架构统一：制定规则，比如 都用springboot+cloud ，配置/注册中心 都用n
2022-05-19 08:30:00
694
原创 nacos 返回 403 unknown user 太他么坑了 源码解析
大家好，我是烤鸭： nacos 真的是有点意思，有时候哪怕某个jar包版本冲突了都可能导致莫名其妙的错误，源码走一波吧。当前版本<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-dependencies</art
2022-05-14 19:45:00
18048
6
原创 《深入理解Java虚拟机》-读书笔记（第一、第二部分）
大家好，我是烤鸭：关于《深入理解Java虚拟机》，记录一下读书笔记。深入理解Java虚拟机
2022-05-08 15:23:30
353
原创 rabbitmq 启动失败 dump日志分析
大家好，我是烤鸭： rabiitmq 突然宕机，并且无法启动。同事反馈测试环境 rabbitmq 有一个节点突然掉了，并且无法启动。现象集群有一个节点宕机。去对应的机器上执行启动命令./rabbitmq-server -detached发现进程不在，查找日志find / -name *.log|grep rabbitmqfind / -name erl_crash.dump发现dump日志，进行dump日志分析，分析脚本下载wgethttps://github
2022-05-02 21:48:22
2741
2
原创 长连接检测 监控的一点思考 java实现
大家好，我是烤鸭： 怎么监控长链接服务器的稳定，除了探活服务之外，怎么保证长链接的收发正常，这篇文章考虑下这个。问题来源运营反馈部分直播间无法收到弹幕、点赞消息，第一时间进行复现，发现切换网络可以，但是不是所有人都可以。怀疑是长连接服务器出问题了，重启后问题消失。怎么监控呢，消息是否丢失？用户是否收到？长链接实现先谈谈实现方式，我们是基于nchan做的，之前也写过一篇文章。https://blog.csdn.net/Angry_Mills/article/d
2022-04-24 20:18:11
538
原创 skywalking 引起 spring-cloud-gateway 的内存溢出 skywalking的bug
大家好，我是烤鸭： 又是个线上问题记录，这次坑惨了，开源软件也不是万能的，还是要做好压测和灰度。问题上游反馈大量超时，不止某一个服务，查看服务没有问题，猜测是网络或者环境问题。想到网关接入了skywaling（已接入24小时），回滚后问题消失。堆内存在某个时间点后上升且无法回收。Full GC 时间变得特别长…这个就是上游超时的原因环境cloud版本<groupId>org.springframework.cloud</groupId
2022-04-16 18:48:58
3368
原创 上线到凌晨4点半 pagehelper的bug?
大家好，我是烤鸭： 上上周末上线到凌晨4点半，哭了，没想到问题竟然如此简单。最近又懒惰了，写了开头就一直放着了，今天终于补上。 问题日志Error querying database. Cause: com.github.pagehelper.PageException: 被分页的语句已经包含了Top，不能再通过分页插件进行分页查询!奇怪的是报错的语句并没有使用分页插件，只是一个简单的查询。原因猜想遇到问题第一时间回滚之后就好了，说明问题
2022-04-05 20:47:52
1486
原创 自研redis sdk支持自动dns切换(附源码)
之前做活动的时候，用域名链接的redis，当时做了主备集群，在主集群宕机的时候，不能自动链接到备用集群...
2022-03-11 20:41:10
4125
3
原创 某音数据分析
大家好，我是烤鸭： 某音竟然有pc版了，不过搜索的数据有限，会限制条数，亲测只能搜索400条数据，简单分析下过程。工具使用java + chromedriver + fiddlerjava + selenium 自动化网页，需要登录，可以登录一次共享cookie@Testpublic void testXyin() { String keyWord = "旅游"; try { // 调用chrome driver System
2022-03-02 20:45:06
718
原创 windows docker redis 集群部署
大家好，我是烤鸭： 上次分享了windows docker redis，这么快就不够用了，单机的不行，整个集群的，看了网上的教程都好麻烦，简单点。单机的：https://blog.csdn.net/Angry_Mills/article/details/122832374下载redis镜像参考单机的：docker pull redis本地目录和配置文件启动挂载的目录建目录和配置文件，比如打算部署3主节点的集群redis.conf，端口写是对应的目录 6001 - 6003po
2022-02-25 19:35:24
2571
1
原创 《redis 设计与实现》读书笔记
大家好，我是烤鸭： 《redis 设计与实现》，读书笔记。第一部分 数据结构与对象第2章 简单动态字符串Redis 使用SDS 作为字符串表示。O(1) 复杂度获取字符串长度。杜绝缓冲区溢出。减少修改字符串长度时所需的内存重分配次数。二进制安全。兼容部分C字符串函数。第3章 链表每个链表节点由一个listNode结构标识，每个节点都有一个指向前置接点和后置节点的指针，实现是双端链表。每个链表用list结构标识，结构带有表头节点指针、表尾节
2022-02-22 06:58:16
361
原创 模拟微信自动化发送（微信公众号文章自动点击）
大家好，我是烤鸭： 最近在搞数据抓取，发现之前的方式不太行了，分享个新方式，仅技术分享。需要的工具Java（jdk1.8）FiddlerPython（3.8）抓取列表信息设置一下过滤域名，*.weixin.qq.com;点公众号列表，获取到的列表地址：https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzA3NTAyNDcxNw==&f=json&o
2022-02-19 06:22:31
2324
原创 windows docker redis
大家好，我是烤鸭： docker真的太方便了，尤其是对windows系统，友好的不得了。以前还只能是正版的专业版才能用，现在已经没有限制了，虽然加了收费，个人用免费就够了。redis 新版也不支持windows系统，想搞测试的话docker正好补缺。docker安装官网下载安装，再注册个账号(非必须)。https://www.docker.com/products/docker-desktop安装完这样，关于一些报错，百度下就行。redis 镜像
2022-02-09 08:15:00
2096
2
原创 《实现领域驱动设计》读书笔记
大家好，我是烤鸭： 《实现领域驱动设计》，读书笔记，贴个封面，要不不知道是哪本。了解概念刚开始接触DDD，肯定懵逼，很多名词，一点点看下。领域：带有业务属性的范围，比如搞直播业务，那直播就是一个领域。领域里又分核心域和子域。可以看个电商系统的领域图。限界上下文：用于承接不同子域。上下文映射图：限界上下文关系图。六边形架构：又称端口适配器，水平的分层架构，牺牲一部分性能，更好的防止逻辑层外漏。CQRS：Command Query Respon
2022-02-04 10:03:42
662
原创 windows10 C盘清理
大家好，我是烤鸭： 身为一个号称修电脑的，磁盘清理是必备技能了。前几天刚出的新闻 男子帮女友清理电脑C盘，扫出17万个文件。想必大家都经历过清理C盘的痛苦，这两天正好又清了，分享下。先给个结论，多次满载过的C盘，100G 释放了7G，这次主要靠三方软件和更改了企业微信和QQ的目录。自带程序C盘右键——> 属性——>磁盘清理(还可以点击清理系统文件)windows 设置——> 系统——>存储，重点看一下文档、下载、图片这些，
2022-02-02 20:50:42
1738
原创 nacos注册中心自动上下负载
大家好，我是烤鸭： 还有2天就过年了，祝大家新年快乐。最近好久没写技术文章了，还是得回归下主业，今天分享下nacos注册中心自动上下负载的方式和组件。组件版本 <properties> <java.version>1.8</java.version> <springboot.version>2.2.6.RELEASE</springboot.version> <spring
2022-01-29 16:39:53
973
原创 记一次线上服务假死排查过程
大家好，我是烤鸭： 最近线上问题有点多啊，分享一个服务假死的排查过程。问题描述9点10分，收到进程无响应报警(一共6台机器，有1台出现)，后来又有1台出现。排查思路首先确认是否误报或者网络抖动，登陆服务器查看进程存在。查看cat监控，发现gc次数和gc耗时都升高，基本确认是oom导致的。当时由于优先处理问题，服务重启后，没办法找到oom源头了(进程命令包含oom记录，但是没生成oom日志)。-XX:+HeapDumpOnOutOfM
2022-01-12 08:15:00
571
原创 记一次线上cpu飙升100%的排查过程
大家好，我是烤鸭： 最近没怎么写技术文章，还是得回归下初心，正好前几天出现个线上问题，记录下排查过程。问题描述某个时间点，接收到接口响应慢报警。过一会收到服务器cpu可用率低(<10%)报警。去cat上查看发现younggc次数频繁。排查思路业务代码近期没改动和发版，出现问题大概率是中间件或者环境问题(服务器硬件或网络)。尝试回滚代码和扩容机器。输出堆栈日志和gc快照，调整jvm参数。排查结果中间件和网络：使用到的中间件包
2022-01-10 08:15:00
554
ta-lib依赖，windows-64位
2023-12-07
springboot 2.x websocket整合
2018-11-13
jqweui的picker插件动态加载数据
2017-12-22
JAVA实现类似美团电影价格图片数识别
2017-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人