奇妙探险家-CSDN博客

原创 Informatica任务卡在timeout based commit point

Informatica任务卡在timeout based commit point

2022-10-24 15:52:16 337

原创 Informatica解析.log.bin文件

Informatica解析.log.bin文件

2022-09-16 02:55:43 254

原创 Informatica调度时间monthly_logic、weekly_logic解析

Informatica调度时间monthly_logic、weekly_logic解析

2022-09-05 17:48:08 213

1、测试手动创建和main同级的test文件夹和和它下面的test/java文件夹，将java右键marks as test source root，在待测的方法上右键go to-test-create new test，选择jtest4，勾选上要测试的方法，即可创建测试类。在测试类上加上以下注解，如果只涉及个别类可以在SpringBootTest后加上classes参数@RunWith(SpringJUnit4ClassRunner.class)@SpringBootTest//(clas

2021-06-30 15:41:37 843

原创 python编译为pyd文件实现代码保密

1、安装cython2、官网安装Visual Studio 2019，选择Desktop development with C++，安装后重启系统3、项目中增加一个py脚本from distutils.core import setupfrom Cython.Build import cythonizefrom distutils.extension import Extensiondef main(): # 这里为文件名可以增加多个Extension(' ', [' '

2021-05-17 14:43:51 359

原创通过远程服务器上的ORACLE在当地执行SHELL脚本

--先在oracle中创建scheduler用于执行shellbegin DBMS_SCHEDULER.create_job(job_name => 'getTycData', job_type => 'EXECUTABLE', job_action => '/home/spider/opt/main.sh');end;--执行方法一--PL/SQL developerbegin DBMS_SCHEDULER.run_job('getTYCData');end;-.

2021-02-10 15:28:50 533

原创 python调用oracle存储过程，读取返回的游标

存储过程代码CREATE OR REPLACE Procedure dw_all.test_procedure-- 外部输入参数( v_name In varchar, r_result out sys_refcursor) Asv_sql varchar2(1000); Begin -- 存储过程中两个单引号转义为一个单引号，见下面的where条件v_sql := 'select a,b from dw_all.test where a='''||v_name||''''

2021-02-04 19:26:24 621

原创 cx_Oracle ORA-01804

ORA-01804:一定要设置以下环境变量!!!exportORACLE_HOME=/oracle/instantclient_12_2export LD_LIBRARY_PATH=$ORACLE_HOME

2020-11-17 10:58:08 11098 3

原创 informatica权限管理总结

用户对应单个人员，用户之上有用户组，它是用户的集合，用户会继承用户组的所有权限且不可取消权限有3种，分别是操作权限、文件夹权限和连接权限：1、操作权限：在web控制台中设置，最小单位叫做特权，包括对powercenter4个组件的登录权限、任务执行权限、文件夹/数据源目标/mapping/工作流/连接等对象的创建修改权限，用户/用户组在每个存储库上的特权需要单独配置。角色是一组特权的集合，用户/用户组在某个存储库上获得了角色，等价于在该存储库上获得了角色包含的一组特权。2、文件夹权限：在repo

2020-11-12 19:43:35 451

原创 ssh安装配置，linux客户端免密登录windows服务端

windows上安装ssh客户端和服务端主要步骤见该连接：https://blog.csdn.net/hehuihh/article/details/90575791下载安装包https://github.com/PowerShell/Win32-OpenSSH/releases解压并cd到对应文件夹安装服务器、开机自启、启动服务powershell.exe -ExecutionPolicy Bypass -File install-sshd.ps1sc config sshd

2020-11-03 15:39:50 500

原创 python conda虚拟环境

安装时或者之后必须执行conda init，重连客户端conda --version创建虚拟环境conda create -n jjpj python=3.7.6 --offline向虚拟环境安装包，注意输出结果，会自动安装很多无关的包！易导致版本问题conda install -n jjpj pip --offlineconda install -n jjpj six --offlineconda install -n jjpj click --offline 进入虚拟环境cond

2020-07-01 11:14:20 259

原创 smtp命令

以下过程均可在python的smtplib执行时通过设置日志级别显示出来，方便后续在shell中调试smtp情况server=smtplib.SMTP()server.set_debuglevel(1)在命令行中连接smtptelnet 127.0.0.1 25必须先hello，名称可以先执行一次python查看，也可根据上一句的反馈信息确定helo GJQ.gjq.root.ad随...

2020-05-03 03:49:34 617

原创 linux ODBC安装配置

下载unixODBC.tar.gz，解压并cd进入文件夹./configuremakemake install使用odbcinst -j查看安装情况DRIVERS…: /etc/odbcinst.iniSYSTEM DATA SOURCES: /etc/odbc.iniFILE DATA SOURCES…: /etc/ODBCDataSourcesUSER DATA SOURCES...

2020-05-02 20:27:00 593

原创访问经过网络映射的被动模式FTP

ftp开启被动模式时，客户端向服务端的服务端口发送请求传输命令pasv，服务端回复本机IP和另一个随机的数据端口（'227 Entering Passive Mode (127,0,0,1,39,17)，即127.0.0.1的39*256+17=10001端口），指引客户端向此端口发送数据。服务端会将自己的真实ip回复给客户端，但在网络映射情况下，客户端可能无法访问该真实ip，导致超时错误，或者服...

2020-04-21 10:41:53 655

原创 oracle client linux版静默安装

groupadd oinstallgroupadd oracleuseradd oracle usermod -g oinstall oracleusermod -G oracle oraclepasswd oracle #输入密码id oracle #确认结果如下即可uid=1001(oracle) gid=1001(oinstall) groups=1001(oinstall),...

2020-04-15 15:00:00 392

原创 informatica元数据库修改用户名密码ip

元数据库迁移分为两部分：系统元数据库迁移、存储库迁移系统元数据库迁移域服务的相关数据库信息可以通过命令修改$INFA_HOME/isp/bin下执行./infasetup.sh updateGatewayNode -da Domain的数据库用户IP：端口 -du Domain的数据库用户 -dp Domain的数据库用户新的密码 –ds Domain的数据库用户实例名 –dt ...

2020-04-09 11:23:00 631

原创远程登录redhat6.9安装informatica9.5.1

系统环境准备安装linux桌面环境，没有桌面只能使用静默安装silentinstall，比较麻烦创建用户oracle，infavim /etc/hosts加入172.***.***.*** gj-y3c5y-4 配置本机IP与本机name的网络映射，否则安装infa创建域时会失败，报错：Failed to get a repository connection unique ID for...

2020-03-17 14:17:54 525

原创 kafka笔记

kafka的java客户端程序显示明细日志方法1，main方法中加入BasicConfigurator.configure();方法2，在src下创建source文件夹，右键设置为source root，将log4j.properties放在这里面即可log4j.rootLogger = debug,stdoutlog4j.appender.stdout = org.apach...

2020-03-10 18:09:30 156

原创 Informatica：将一个存储库中的文件夹迁移到其他存储库

在infa元数据库中创建新用户infa_repo1，作为新存储库的容器create user repo1 identified by repo1;grant connect, resource,create session,dba to repo1;创建存储库服务repo1，connection string填写service name，code page为utf-8，单选项处选择创建新...

2020-03-05 16:55:30 812

原创 FineBi记录

1、mysql数据库预览数据乱码、查询条件中写入中文无返回结果链接地址2、记录数超出限制链接地址在server-platform management-manage-intelligent operation-memory management-template limit-max row no中增大最大单元格数目即可3、报表上传将cpt文件放置到服务器上类似C:\FineReport...

2020-03-04 14:24:24 527

原创 Mysql5.6修改字符集为utf8

在my.ini或my.cnf中的[mysqld]下最后一行加入character-set-server=utf8注意windows下my.ini可能有多个，需要在包含全量内容的my.ini里面修改，通常在ProgramDataMysql下，不是ProgramFile/Mysql5.6下面的那个。检验：show VARIABLES like ‘character%’;除了一个binary外...

2020-03-03 10:09:06 654

原创 python 繁体转简体

# 繁体转中文，其余字符不变map_hant2zh={'獃':'呆','畫':'画','竜':'龙','板':'板','表':'表','才':'才','醜':'丑','出':'出','澱':'淀','冬':'冬','範':'范','豐':'丰','刮':'刮','後':'后','胡':'胡','回':'回','夥':'伙','薑':'姜','借':'借','克':'克','困':'困','漓':...

2020-01-13 18:06:47 1109

原创 informatica元数据库常用查询

使用时ETL_ODS_WIN应该换成自己的域名称。对于源与目标，目前获取的是建立表结构时给出的名称，实际跑任务时在配置中写入的目标表不知道怎么获取，有大佬知道的麻烦指点下。-- mapping-->source_tableSELECT distinct OPB_SUBJECT.SUBJ_ID folder_ID, OPB_SUBJECT.SUBJ_NAME folder_...

2020-01-08 15:48:54 792

原创 pandas笔记

read_csv指定换行符data=pd.read_csv(r'C:\20191223.csv',sep='|',lineterminator='\r')dataframe导入数据库，自动建表，指定字段类型from sqlalchemy import create_engine,TEXTcon_str="mysql+pymysql://user:passwd@ip:port/databa...

2019-12-24 20:26:05 98

原创 python解密rsa

以下仅针对之前处理过的案例，上游提供的私钥为java的pkcs8私钥，先在开头结尾加上文件头使其成为标准格式-----BEGIN PRIVATE KEY-----MIICdwIBADANBgkqhkiG9w0BAQEFAASCAmEwggJdAgEAAoGBAPNCSPn5JWYP7Fwst/RP/FCsdxeoD9Pv1t3xohwJLDiXPMayfXtrwAmX+Hp2ZD9Rzb3...

2019-12-16 15:24:59 650

原创在无网络服务器上安装python包

获取包名列表在有网络电脑上导出本机已安装的包列表 pip freeze > C:\1.txt或者自己按上面的格式写一个txt文档，内容为需要下载的包名：exchangelib==2.1.1pandas==0.24.2在有网络电脑上下载列表中的包到空文件夹pip download -d C:\data -r C:\1.txt在无网络服务器上安装将文件夹...

2019-12-06 13:32:31 1233

原创 python笔记

windows下的py文件复制到linux中时每行换行符处都多一个^M，平时无影响，但使用#！标注解释器时会报错，应使用sudo apt install dos2unix和dos2unix pymail.py来转化文件格式。python3.5 进入python3命令行模式quit() 退出命令行模式sys.path[0]获取py文件当前所处的目录，sys.argv[0]获取py文件绝对路径...

2019-11-05 10:27:01 94

原创 greenplum笔记

列出数据库：psql -l退出psql：\q使用psql登入：psql -U gpadmin tutorial切换数据库：\c tutorial显示表结构：\d faa.sample执行sql文件：\i create_table.sql打开执行时间显示：\timing onvalues用法values(1,2),(2,3); -- 单独使用时不用加表名列名select b,a ...

2019-10-30 18:19:27 898

原创 Idea自动生成注释、创建javadoc

1、类注释setting-editor-file and code templates-file-class作如下设置，新建类时即会生成，scala class、scala object也在file下对应模块中设置#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != "")package ${PACKAGE_NAME};#end#parse("...

2019-10-25 14:34:57 1197

原创 Markdown笔记

windows下.md转.pdf：安装typora，打开文档后，file-export-pdftypora取消表头加粗效果：file-preference-appearance-open theme folder-github.css文件中修改font-weight，由bold改为normaltable tr th { font-weight: normal; borde...

2019-10-23 14:45:23 760

原创使用python统计高频词，模糊匹配不规范公司名称

原理：1、使用jieba分词，取出不重要的高频词（'股份','有限','公司'等），简化待查公司名，防止影响相似度。2、使用FuzzyWuzzy计算待处理公司与标准公司名的相似度，取出最相似的（基于编辑距离Levenshtein Distance）import jiebaimport pandas as pdtokenizer = jieba.dtdata=pd.read_ex...

2019-10-10 18:24:02 2596 8

原创 docker编译环境搭建

基于centos搭建容器docker run -d -it --net=host -v /F/docker-data/datax:/data --name centos centos:latest安装vim、python3yum install epel-release openssh* vim python36 wget iotop tree telnet netstat安装java...

2019-07-26 19:21:37 518

原创 PowerDesigner表结构迁移流程及VBS代码示例

根据源数据库导出的SQL文件生成物理模型：file-reverse engineer-database，DBMS选择SQL文件的来源数据库类型，确定，use script files可以添加多个sql文件。读取SQLServer导出的SQL文件应特别注意：SQLServer导出的SQL可能包含alter table add column的语句，此类语句默认不会以go分割，在导入时PowerDesi...

2019-06-21 18:59:15 656 2

原创 Docker命令笔记

查看linux版本：cat /etc/issue下载镜像docker pullmysql:5.6查看下载的镜像：docker images创建并首次启动mysql容器：docker run --name "mysql" -p 3308:3306 -v /f/docker-data/mysql/docker-var-lib-mysql:/var/lib/mysql -e MYSQL_R...

2019-06-12 18:37:59 268

原创 Docker笔记

下载docker for win：https://hub.docker.com/docker for windows配置阿里云：https://www.cnblogs.com/atliwen/p/6102414.html使用简介：https://www.cnblogs.com/daxnet/p/5788972.htmldocker命令笔记：https://blog.csdn.net/u...

2019-06-12 17:34:49 239

原创 oracle存储过程

创建有输入参数无输出存储过程CREATE OR REPLACE Procedure ODS_IDCINFO.Ps_Etl_Logs-- 外部输入参数( v_Begin_Time In Date, v_Run_Status In Number) As-- 内部自定义参数 v_End_Time Date;Begin-- 直接赋值 v_End_Time := Sys...

2019-06-03 17:31:36 281

原创 informatica笔记

创建新存储库需要在元数据库中创建新用户，该用户的schema将用来保存存储库的内容，创建存储库服务时要勾选上创建新内容，否则以后存储库只能为独占模式，无法修改为普通模式，另外不要勾选版本控制。创建集成服务时数据移动模式为unicode，代码页要选择与操作系统一致的字符集（simple chinese），否则启动服务时会报SF34004错误；用户名密码为web端管理员的用户名密码，用户名为Adm...

2019-06-03 17:29:50 1754 2

原创 oracle笔记

普通用户连接oraclesqlplus scott/[email protected]/orclsys用户登录oraclesqlplus sysdba/[email protected]/orcl as sysdba用户-- 创建公有的普通用户，用户名必须以c##开头,应该优先创建公有用户，因为PDB下创建的用户需要修改数据库配置文件才能连接到数据库create user c##t...

2019-05-31 18:08:36 955 1

原创常用教程连接

docker：docker+oraclehttps://www.cnblogs.com/maoxianfei/p/9083426.html https://www.cnblogs.com/liboBlog/p/8018613.htmlinformatica-- sys用户登录oraclesqlplus sysdba/[email protected]/orcl as sysdba...

2019-05-31 11:32:35 119