frockee-CSDN博客

原创云主机下搭建网页爬虫

chrome_options.add_argument('--headless')#无头模式，服务器没有图形界面这个必须。chrome_options.add_argument('--disable-gpu')#不需要gpu加速。chrome_options.add_argument('--no-sandbox') # 这个配置很重要。浏览器：chrome + chromedriver。2.2 安装chromedriver。2.4 安装selenium。2.1 安装chrome。2.5 编写爬虫程序。

2024-03-24 10:02:22 987 1

原创 mysqld的core文件

1.产生core文件的条件1.1 执行ulimit -c unlimitd ，然后用ulimit -a 检查，确保core开关打开：1.2 在mysqld 启动参数中增加 --core-file ,比如：2.产生core文件的位置在mysqld的data目录中。3.如何使用core文件gdb /data/robert/software/mysql/builds/runtime_output_directory/mysqld core....

2020-12-04 18:10:08 824

原创源码安装automake1.16遇到的问题

基于coreutils-8.32，修改了linux系统命令head、tail的源码，引入了一个自定义的.a文件，需重新编译。但是编译时报错了：configure.ac:38: error: version mismatch. This is Automake 1.15.1,configure.ac:38: but the definition used by this AM_INIT_AUTOMAKEconfigure.ac:38: comes from Automake 1.16...

2020-11-05 20:06:11 6404 1

原创 MySQL代码编译： .a文件链接顺序的问题

mySQL代码中引入了自研的一个lib库(libblock_fs.a)，而该lib库又引用了 libuuid.a此时， make文件（如innodb.cmake）必须这样写：LINK_LIBRARIES(block_fs uuid)把uuid放在后面。否则编译会找不到libuuid.a 文件。此既.a文件的链接顺序问题。但如果libblock_fs.a 链接的不是libuuid.a而是libuuid.so，则可以调换次序：LINK_LIBRARIES(uuid block_fs).

2020-09-28 17:12:03 173

原创 Tpcc-mysql 结果解读

1. 填坑经验不要使用tidb的tpcc测试程序（非标准，tidb修改过），使用：https://github.com/Percona-Lab/tpcc-mysql 2. tpcc介绍TPC-C 模拟了一个比较有代表意义的 OLTP 应用环境：在线订单处理系统。假设有一个大型商品批发商，拥有 N 个位于不同区域的仓库，每个仓库负责为 10 个销售点供货，每个销售点有 30...

2019-02-20 18:19:24 2769

原创 Zookeeper的崩溃恢复问题

背景UDDB（UCloud分布式数据库）产品的测试环境中有一个zk集群，三节点。某一天其中一个zk节点所在云主机崩溃了，无法启动。只好重装系统盘。 zk的执行码在系统盘上。为此重新安装了zk软件。 apt-get install zookeeper 即可。zk的配置文件（zoo.cfg），三节点都是一样的，从其他zk节点拷贝一份过来即可。zk存储的数据在数据盘上。根据zk的崩...

2018-10-17 21:40:35 4105

原创 nohup/SIGHUP的一个坑

一个程序的源码如下：编译该源码得执行码： hup用nohup运行hup，有一个诡异的现象。在bash控制台中通过以下命令运行后：nohup ./hup > hup.log 2>&1 &1. 假如敲 exit 退出bash，则该进程仍然存在；2. 假如直接关闭bash控制台窗口（比如通过windows中的secureCRT连接云主机），则该进程将受到SIGHUP命令并...

2018-05-17 20:23:53 1338

原创 mysql的emoji表情问题

众所周知， mysql中采用utf8mb4编码即可支持emoji表情。但实际操作中有些点值得一记。1. 一般来说，在mysql中做到这两点：1. 建表时指定charset=uft8mb4 create table t_emoji (name varchar(128)) charset=utf8mb4; 2. 建立数据库连接后， set name utf8mb4; ...

2018-04-25 21:28:57 238

原创 linux路由表问题一则

问题表现10.10.1.109这台云主机（centos 2.6.32内核），无法ping通另一台云主机：10.19.255.192问题分析1. route命令看路由表信息：[root@10-10-1-109 uddb1001]# routeKernel IP routing tableDestination Gateway Genmask Flags Me...

2018-04-11 15:33:00 387

原创 Golang如何做性能分析？

答案：采用go内置的runtime/pprof包，和go tool pprof。分三个步骤：1. 在main函数中，增加性能分析代码：() f, err := os.Create(cpuProfile) if err != nil { log.Errorf("create proc file:%v failed.", cpuProfile) return } ppro

2018-01-18 13:23:39 755

原创 haproxy透传用户ip-方法和原理

haproxy透传用户ip-方法和原理前言haproxy透传用户ip到服务器端，已经有非常成熟的技术，网上有非常多的资料，很多是可以work的。但是如果你踩得坑足够多，你就会知道，将网上的方案应用于生成环境，一定要慎之又慎；而作为一个严肃的IAAS基础设施研发人员（UCloud云数据库团队），搞清楚这些配置和方法背后的道理，是很有必要的。为了解决haproxy透传用户Ip的问题，我花了几天时间，了

2017-11-27 00:09:14 18149 2

原创调程序差点调出信仰（2）

2009年3月4号。天气更加好转。阳光暖暖地照在身上，很有点阳春三月的感觉。上班路上，看见大群的麻雀聚拢在刚抽出新芽的柳树上，热闹地叫着，偶尔又为过往车辆的喧哗声所惊，扇着翅膀飞快地掠过马路，隐没在了树林的深处。林边的空地上，大朵大朵的山茶花开得鲜艳。面对此情此景，不禁想，春天来了，万物都在生长。同时苦笑一番。春天万物生长，而老子的神经却在渐渐石化。有了这几个月的经历之后，开始怀疑对这个世界的认识

2009-03-14 23:51:00 768

原创调程序差点调出信仰（1）

本文试图描述在神秘莫测的逻辑面前，作为一个coder的经常会遇到的尴尬，无能为力和哭笑不得。用王小波的话表达这种体会就是：“我们的生活有这么多的障碍，真他妈的有意思”。一切都得从DM冒烟测试说起。周一一早来到公司，测试部巨牛付sir走过来跟我说：“在211机器上，对称异步复制出了点问题，你看一下，应该很好解决的”。连上了211机器。打开xml测试工具，把对称异步复制的测例跑了几遍。靠

2009-03-10 23:39:00 607

原创关于数据库集群，云计算的胡言乱语(1)

1. jim gray提出的十二点2. 数据库集群3. 云计算和xml4. 分析：云计算或是数据库集群的终结者前言毕业一年多来，都在从事DBMS复制和集群的开发工作。这是一个充满乐趣的工作。与一般的dbms开发相比，复制和集群的开发，更加贴近计算机领域的发展趋势，所面对的都是当今顶级牛人们考虑的问题：如何开发软硬件，将普通的计算机联合起来，构造一个具有可伸缩性能力的系统：通过将新的机器

2008-11-17 09:35:00 1888 2

frockee的专栏