- 博客(67)
- 资源 (9)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 数据库的检查点和commit的关系
当执行了检查点操作后，内存中的所有数据都会写入磁盘，但是未提交的事务所修改的值，其他会话是看不到的。1、如果一个事务修改了某个值，但是没有提交。因为没有提交，所以这个值其他会话是看不到的。2、当commit以后。即使commit了，数据也有可能在内存中，并未写入磁盘。
2024-04-22 21:19:53
243
原创 Linux离线安装python3(源码编译)
上述工程可能会出现缺少包的情况，取决于所在服务器的一些依赖是否完整。下载python3.9.6的源码包。执行configure。
2024-04-05 13:17:09
513
原创 Centos离线安装ansible
pip download -r requirements.txt -d ./pip_packages 或者。python3 -m venv venv_2 # 此处 venv_2 也是自定义的虚拟环境名字。进入虚拟环境source ~/ansible/bin/activate。退出虚拟环境deactivate。
2024-04-04 22:32:09
294
原创 python多线程为什么没有跑满CPU?
由于GIL的关系，python的多线程并没有发挥多核的作用，这些线程都是在在单核上跑的。如下图所示，CPU占用率为50左右。Vmvare虚拟机：单处理器2核。如下图所示，CPU使用率100%
2023-11-25 19:38:22
923
原创 在docker中使用sqlplus
结束后会生成镜像包，使用docker images查看。所以，该镜像不能直接使用，需要自己加工一下。使用dockerfile重新构建一个镜像。此处生成的镜像包可以直接加载使用。
2023-04-24 15:46:53
339
原创 更改yum源
Error: Failed to download metadata for repo ‘appstream’: Cannot prepare internal mirrorlist: No URLs in mirrorlist
2023-03-07 22:05:27
87
原创 离线安装rpm包
加入现在我们需要下载supervisor及其依赖包到/root/tmp目录中。rpm -qa |grep xxx 在已安装的包中搜索xxx包。找一台在线的机器（虚拟机），配置好yum源。yum remove xxx 删除包。
2023-03-06 21:56:00
1175
原创 docker镜像创建、删除等相关操作
一、docker镜像的形式可以为一个tar包，如 centos.tar。此处为一个现成的镜像。使用方法为1、加载镜像此时已经加载了镜像2、运行镜像不同的镜像跟的参数不一样，此处以centos镜像为例。此时已经运行了镜像，并且可以查看当前的镜像3、进入镜像此时表示已经进入了centos镜像其他命令停止容器：docker stop XXX删除容器：rocker rm containerID删除镜像：docker rmr imagsID
2022-12-07 10:05:37
476
原创 du -sh 和ls -lh的区别
简而言之，假如一个Block是4K，如果文件A的大小是1K，那么用du -sh显示的会是4k（即使3K是空着的），而ls -lh显示的则是1K。这里系统层面涉及一个Block Size的概念，具体不深究。
2022-10-13 21:46:37
710
原创 数仓拉链表的缺点
在选定拉链表时由于对于哪些表适合做拉链表没有一个统一的规范的认识，因此出现了以下情况：一个表是做的全量拉链表，但是没有注意该表数据不是每天都有供数。即，可能某一天源系统供给了该表，但是中途断开了，并没有供该表数据，按全量拉链表的理论，此时拉链表内的数据在首次没有供数的那天时就应该封链，当间隔了几天数据再次供给时，开链日期和封链日期差了好几天，假如在这期间内有系统使用了拉链表，则获取的就是错误的数据。因此，该种场景下不应该使用拉链表。...
2022-06-29 16:50:19
622
原创 “远程“操作oracle数据泵impdp、expdp导入导出
关键词： NFS 数据泵 impdp expdp oracle客户端靠考如下场景，你作为一个DBA，管理者测试环境的Oracle集群。正常情况下测试环境恢复生产数据都是由DBA来做，但是有个特殊情况：某个数据库需要反复的导入dmp数据来进行验证。解决方案可以如下：1、如果数据量很小可以让他使用insert into的方式进行2、使用PL/SQL Developer工具导出为.pde文件。3、使用数据泵在1的情况下，如果他的表中有大字段（BLOB字段等），则该方法不可行。在2的情况下，是可行，但是开发
2022-06-27 17:27:30
1580
原创 搭建Hadoop最少需要几个节点
可以按服务所需的最小节点数进行规划zookeeper服务最少需要3个节点，且扩展时需为奇数个才行。HDFSHDFS中的NameNode需要2个节点，主备配置
2022-06-09 10:16:56
1754
原创 linux安装oracle客户端——SQL*Loader
背景在安装Oracle数据库的时候，一般是默认安装客户端的。但是有些特殊情况，需要在应用服务器上安装客户端，用于执行一些特殊操作，此时需要安装oracle的客户端，如使用sqlldr来导入数据时就需要安装Oracle客户端，因为应用服务器没有安装Oracle，因此需要单独的安装Oracle的客户端。本文仅安装客户端的一个组件SQL*Loader。安装方式ZIP包和rpm安装。本文使用ZIP方式。步骤1、下载Oracle客户端官网版本根据各自情况选择，本文使用12.2.0.1.0在安装时，需要
2022-05-24 15:04:24
2543
1
原创 ORA-31626 ORA-01658 使用impdp遇到的问题
oracle使用impdp导库时遇到的问题，[oracle@qsrac2-test1 kobra]$ sh impdp_kobratbs.shImport: Release 19.0.0.0.0 - Production on Fri May 13 10:42:46 2022Version 19.6.0.0.0Copyright (c) 1982, 2019, Oracle and/or its affiliates. All rights reserved.Password: Conn
2022-05-13 11:10:31
2765
原创 关于Oracle 11g的RAC和Oracle 19c 的RAC在JDBC连接时的一些区别
一、11g环境下Connected to Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 Connected as SYS SQL> show parameter service_name; NAME TYPE VALUE------------------------------------ ----------- -------------
2022-02-10 15:06:46
5155
原创 su oracle 和 su - oracle的区别
最近整oracle，发现su oracle过来sqlplus一直报命令不存在。后来发现是因为用su oracle切换的，导致还是用的root的环境变量，所以才会导致sqlplus命令不存在，改为su - oracle就可以了
2022-01-27 11:25:54
1695
原创 华为ELK的几个知识点
1.ELK是运行在FusionInsight HD平台中的。安装ELK之前必须先安装FusionInsight HD集群。2.ELK依赖FusionInsight HD中的两个组件，分别是HDFS和Yarn3.ELK必须部署在HDFS的DataNode所在数据节点上，至少部署3个。
2021-09-16 11:11:12
779
原创 DB2实现判断字符串是否只含数字
背景 取出客户表中客户姓名字段含数字且只含数字的数据。最开始考虑的是使用正则表达式函数，后来发现DB2没有像Oracle一样可以直接使用的正则表达式函数 ，因此考虑使用其他方法。结论使用DB2的translate函数。举例假设表为tab1。字段为column1，为varchar类型，代表客户姓名字段，里面正常值为中文，会有数字值的脏数据。select * from tab1 where length(trim(translate(column1,'','0123456789')))=0
2021-05-18 21:23:16
6043
原创 虚拟机网络配置中的几个相关文件
1、cd /etc/sysconfig/network-scripts目录下的ifcfg-eno*文件2、 more /etc/hosts3、more /etc/hostname
2021-05-09 21:57:52
344
原创 Spark与hive集成、Hive On Spark 、使用Spark SQL进行数据查询配置流程
本文主要是介绍在开源hadoop上使用Spark SQL进行数据查询。有关本文的各组件版本如下：1、hadoop版本[root@hadoop01 ~]# hadoop versionHadoop 2.7.72、hive版本hive 2.1.13、Spark和scala版本Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\
2021-03-29 17:46:32
591
1
原创 File XXX could only be replicated to 0 nodes instead of minReplication (=1).
使用如下命令加载HIVE数据时，load data local inpath ‘/usr/local/testdata/smalltable’ into table testtab1;一直报错，错误信息如下：2021-03-27 08:47:59,819 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock
2021-03-28 20:15:55
436
原创 python报错“IndentationError: unexpected indent“
关于该错误的原因一般有多种，本文只介绍一种错误原因——空格和制表符混用。 当修改别人的python代码时，自己的习惯和其他人的可能不一样，导致空格和制表符都有，会导致该错误。 通过notepad可以直接显示空格和制表符的位置。使用notepad++打开文件，选择，视图->显示符号->显示空格和制表符，如下图...
2020-12-23 16:17:19
368
原创 Oracle数据库安装和PL/SQL安装时的若干问题
Oracle数据库安装和PL/SQL安装时的若干问题问题一、PL/SQL找不到建立的库**一、**安装Oracle数据库，如11gR2等。此处要知道安装的数据库是64位还是32位。两种方法查看1）sqlplus查看2)二、在已知是64位数据库的情况下，安装64位的PL/SQL是最合适的。本人亲测，安装如图一版本的PL/SQL后，在登录PL/SQL时会自动获取到初次建库时建立的库(而网上很多问题都是有关PL/SQL检测不到该库的问题)图一 64位PL/SQL...
2020-08-03 23:34:24
176
原创 Oracle 存储过程优化(一)
Oracle 存储过程优化(一)当前遇到的问题:1、一个存储过程要跑一个多小时。2、拎出来单独跑(只select不insert)的时候速度不慢，使用PLSQL可以很快查看到结果。针对以上问题，在多次测试发现，使用PL/SQL工具select出来的结果很快就会出来，但是当获取最后页的时候却很慢。如图一所示。点击 获取"最后一页"时，速度超级慢。因此考虑是在显示的时候又有计算的地方。通过查看代码知，在select的时候有一段sql。如下: select cust_payright_typ,
2020-05-16 19:06:14
2881
原创 sqlldr/sqlload导入数据时数据量不一致的问题
sqlldr/sqlload导入数据时数据量不一致的问题目前遇到两种情况。一、ctl文件中的字段后面没有跟数据类型。如果某个文件中，该字段下的内容长度大于256而你的ctl文件中的字段后面没有加数据类型和长度，则会报错，无法导入。如，main_product 主营产品字段，如果该字段的内容超过256，而你ctl文件中写的只有 main_product 则会报错。需要改为main_pro...
2019-11-20 20:04:30
3049
原创 Linux下查找mysql的安装路径
一、由于软件安装的地方不止一个地方，先说查看文件安装的所有路径(地址)。这里以mysql为例。比如说我安装了mysql,但是不知道文件都安装在哪些地方、放在哪些文件夹里，可以用下面的命令查看所有的文件路径 在终端输入：whereis mysql回车，如果你安装好了mysql，就会显示文件安装的地址，例如我的显示(安装地址可能会不同) hadoop@ubuntu:~$ wherei...
2018-07-11 10:56:21
4231
转载 VS2013程序打包部署（图解）
转载出处：https://blog.csdn.net/u010926964/article/details/38369653 首先要说明的是VS解决方案配置下的Debug模式和Release模式有什么区别。Debug模式通常称为调试模式，它包含调试信息，未对代码进行优化，方便程序员调试程序；Release模式通...
2018-05-04 15:48:24
333
原创 An error occurred building the MsiFileHash table record for this file. Verify that the file exists i
以上是使用VS2013和打包工具InstallShield2013LimitedEdition进行发布时出现的错误。从stackoverflow中找的答案，已经解决。该错误原因：问题是项目依赖性！ 出于某种原因，在更新VS2012和IS2012之后，我的IS项目不再依赖于他们所需的项目。 所以有时候所需的项目已经从早期的编译中建立起来了，有时候不会。解决方法：右键单击解决方案，打开“项目依赖项”对...
2018-05-04 13:47:10
641
原创 C++中的宏定义及#和##的作用
#define f(a,b) a##b // （1）#define g(a) #a // （2） #define h(a) g(a) // （3）例如，有以上三个宏定义，求下面的结果：printf("%s\n", g(f(1, 2)));printf("%s\n", h(f(1, 2))); 注意：宏定义中的#的意思：宏定义中#是“字...
2018-04-09 20:31:38
5099
1
原创 当前不会命中断点,源代码与原始版本不同
按照VS的提示，一、右击该断点，选择“位置”，然后勾选“允许源代码与原始版本不同”。二、若要对所有断点都允许这样做，请禁用 “工具”、“选项”、“调试”、“常规”下的选项“要求源文件与原始版本完全匹配”。...
2018-04-09 16:02:04
563
原创 Windows批处理时所用文件的路径问题
一、各文件路径如图一所示， 图一 各文件路径bat文件内容为C:\caffe-master\Build\x64\Release\\convert_mnist_data.exe .\mnist\train-images.idx3-ubyte .\mnist\train-label...
2018-04-03 18:31:59
2094
原创 CompCars数据集
Comprehensive Cars(CompCars)数据集包含来自两个场景的数据，包括互联网场景下的汽车图像和监控场景下的汽车图像。互联网场景下的汽车图像数据包含163个汽车品牌(奥迪、大众)下的1716种汽车模型(奥迪A4L，A6L等)。 共136726张整车图像和27618张(未验证)车的部分图像。...
2018-01-08 09:41:38
9338
17
原创 caffe版本-车型检测-A Large-Scale Car Dataset for Fine-Grained Categorization and Verification
license non-commercial
2017-12-18 16:12:08
2105
3
原创 ubuntu安装cuda循环登录
装完CUDA之后总是遇到登录界面循环问题：输入密码后又跳回密码输入界面。解决方法：看到一个问题的回答的回复里头说到，现在的循环登录的问题一般都是由于没有在bios里面关闭安全启动（security boot）导致的。将现在的安全启动里的Windows UEFI换成了其他模式就OK了。该方法不一定通用！
2017-12-15 19:14:20
1742
googlenet_finetune_web_car_iter_10000.caffemodel对应的映射文件
2017-12-18
如何将获得的3D图片转为2D图片
2016-06-25
adaboost中haar特征的积分图如何计算
2015-10-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人