首页 / MYSQL / ODI知识模块

ODI知识模块

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了ODI知识模块，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2746字，纯文字阅读大概需要4分钟。

内容图文

ODI知识模块 KM是通用的，它们不引用具体的物理对象。 KM可用来对影响进行分析 KM不能像过程一样被执行，他们需要从接口、数据存储和模型中得到元数据 IKM SQL Incremental Update 在sql兼容的目标表在增量更新模式下整合数据，这个知识模型创建临时中间区来

ODI知识模块

·KM是通用的，它们不引用具体的物理对象。

·KM可用来对影响进行分析

·KM不能像过程一样被执行，他们需要从接口、数据存储和模型中得到元数据

IKM SQL Incremental Update

在sql兼容的目标表在增量更新模式下整合数据，这个知识模型创建临时中间区来存储数据流。不适合于大数据量。使用这个知识模型的时候中转区要与目标数据服务器在同一个地方。

IKM SQL to SQL Append

使用这个模型的时候，中转区与目标区必须不同在一个服务器上。

IKM Oracle Incremental Update

在oracle目标表中按照增量模式整合数据。这个知识模型创建一个临时区表来存储数据流。它与目标表中的内容对比，来判断哪些记录需要插入、哪些需要更新。这个知识模型适合大量数据处理。使用这个知识模型的时候中转区要与目标数据服务器在同一个地方。

Reverse-engineering Knowledge Modules (RKM)

RKM最主要的功能为对一个模型进行反向操作。RKM负责连接应用系统并把结果传送到ODI资料库。这些元数据被暂时写入SNP_REV_xx表，然后RKM调用ODI的API从这些表中读取并写到ODI的工作资料库中。典型RKM的工作步骤：

1.使用OdiReverseResetTable命令对上次执行中在SNP_REV_xx表中的数据进行清除

2.从SNP_REV_SUB_MODEL, SNP_REV_TABLE, SNP_REV_COL,SNP_REV_KEY, SNP_REV_KEY_COL, SNP_REV_JOIN, SNP_REV_JOIN_COL,

SNP_REV_COND 表中.检索子模型、数据存储、列、外键、主键等。

3.通过OdiReverseSetMetaData命令更新工作资料库中的模型。

Check Knowledge Modules (CKM)

CKM负责使用定义好的一致约束来对一组数据集做检查。CKM用来保持数据质量的完整性，有下列两种使用方式：

1.检查已有数据的一致性。设置STATIC_CONTROL为"YES"；①检查目前在数据存储中的数据，对转换过程不关心；②接口中的目标数据存储在加载流数据后被检查；

2.在数据写入目标表前对数据做检查。FLOW_CONTROL；记录读取目标表的约束，检查I$表把违反约束的记录删掉。

CKM将错误信息存放在E$开头的表中。典型步骤：

1.在中转区创建以E$开头的错误表；

2.把检查出的错误记录放到E$表中；

Loading Knowledge Modules (LKM)

ODI知识模块 - 文章图片

LKM负责从远端服务器装载数据到中转区。接口中使用，把加载的数据放到C$表中。步骤：

1.创建以C$开头的表，用来存放从源服务器加载的记录；

2.LKM保持一组在源端经过适当转换后的记录；

3.LKM把记录加载到C$表中。

如果数据存储和中转区在相同的数据服务器上时，不需要LKM。

Integration Knowledge Modules (IKM)

ODI知识模块 - 文章图片

IKM负责把最终数据写入目标表中，每个接口只使用一个IKM。做这一步的时候假定源数据已经通过LKM被加载到中转区的临时表（C$）中了。IKM把数据装载到以I$开头的临时表。

当中转区与目标服务器在一起时：

1.从C$表中检索数据；

2.如果需要flow check，IKM调用CKM来隔离错误记录，清理I$表；

3.从I$表把记录写到目标表；

4.把I$表中记录删除

这种KM只工作在目标服务器上，对大数据量的处理效率高。

Journalizing Knowledge Modules (JKM)

ODI知识模块 - 文章图片

内容总结

以上是互联网集市为您收集整理的ODI知识模块全部内容，希望文章能够帮你解决ODI知识模块所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/529988.html

来源：【匿名】

【上一篇】示例演示直方图的重要性【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【ODI知识模块】教程文章相关的互联网学习教程文章

python mysql 简单总结（MySQLdb模块需另外下载）

python 通过DB-API规范了它所支持的不同的数据库，使得不同的数据库可以使用统一的接口来访问和操作。满足DB-API规范的的模块必须提供以下属性：属性名　　　　　　描述apilevel 　　　　DB-API 模块兼容的DB-API 版本号threadsafety　　线程安全级别paramstyle　　　该模块支持的SQL语句参数风格connect()　　　　连接函数（最常用）其中 threadsafety是一个整数，取值如下：0：不支持线程安全，多个线程不能共享此模块1：初级线程...

mysql的日志模块【图】

一条sql执行的过程：连接器-------->分析器------->优化器--------->执行器-------->存储引擎 #如下图不建议使用查询缓存的原因：如果表有数据更新的话，这张表的缓存都会被清空 redo log日志（重做日志）：特性： innodb的引擎层日志，redo log日志大小时固定的（可通过参数设置），可配置日志个数，可重复写，存储的是脏页，写满后会读入到磁盘（读入的过程称之为刷脏）一家商店有一个记账板，当赊账顾客多的时候，...

用户管理模块之mysql.user【代码】

不使用-h参数来指定登录host，默认会连接localhost，仅当mysql.user表中有一条对应的localhost访问授权(username@%不对任何主机做限制也不行)时登录才成功，否则登录会被拒绝。虚拟机VMUest上安装两个MySQL实例，两个实例搭建了Master(端口3306)-Slave(端口3307)，主从数据完全一致。mysql>select Host,User,Password from mysql.user; +-----------------------+--------+-------------------------------------------+| Host ...

[Mac]Python 安装MySQLdb模块

今天我需要用python操作Mysql数据库，需要安装第三方MySQLdb模块（下载地址：http://mysql-python.sourceforge.net），但是执行sudo python setup.py install时，提示缺少“mysql_config”文件,解决这个问题需要安装mysql，具体步骤如下：1、brew install mysql　　这个方式安装完mysql，默认没有密码，用户名root　　终端输入mysql.server start启动mysql服务2、安装完成后可以解压“MySQL-python-1.2.5.zip”（这个文件是在官网下...

可视化工具Navicat的使用/pymysql模块的使用【代码】【图】

一.可视化工具Navicat的使用1.官网下载:http://www.navicat.com/en/products/navicat-for-mysql2.网盘下载:http://pan.baidu.com/s/1bpo5maj3.需要掌握的基本操作: View CodePS:在生产环境中操作MySQL数据库还是推荐使用命令工具mysql,但我们自己开发测试时,可以使用可视化工具Navicat,以图形界面的形式操作MySQL数据库二.pymysql模块的使用1.pymysql的下载和使用之前我们都是通过MySQL自带的命令行客户端mysql来操作数据库,那如何...

基于Servlet、JSP、JDBC、MySQL的一个简单的用户注冊模块(附完整源代码)【图】

近期看老罗视频，做了一个简单的用户注冊系统。用户通过网页(JSP)输入用户名、真名和password，Servlet接收后通过JDBC将信息保存到MySQL中。尽管是个简单的不能再简单的东西，但麻雀虽小，五脏俱全，在此做一归纳和整理。以下先上源代码:一、index.jsp<%@ page language="java" import="java.util.*" pageEncoding="utf-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+"://"+request.get...

mysql连接模块【代码】

Python3.7.1学习（七）mysql中pymysql模块详解(一)【代码】【图】

pymysql是纯用Python操作MySQL的模块，其使用方法和MySQLdb几乎相同。此次介绍mysql以及在python中如何用pymysql操作数据库, 以及在mysql中存储过程, 触发器以及事务的实现, 对应到pymysql中应该如何操作。　　一、创建连接　　　　1.准备工作，想要使用Python操作MySQL，可以使用pip方式安装：pip install PyMySQL 2.Python使用MySQL的流程： 3.Python中使用MySQL导入方法： import pymysql 4...

mysql python pymysql模块获取插入的最后一条数据的自增ID lastrowid()方法【代码】

调用游标下的lastrowid 可以获取插入之前的表里id字段存放到哪个自增idcursor.lastrowidmysql> select * from userinfo; +----+-------+-----+ | id | name | pwd | +----+-------+-----+ | 1 | mike | 123 | | 2 | jack | 456 | | 3 | alex | 555 | | 4 | peter | 989 | | 5 | app | 123 | | 6 | tom | 556 | +----+-------+-----+ 6 rows in set (0.03 sec)我再用脚本插入三条记录自增id就是从 7开始，获取我插入...

pymysql模块【代码】

安装pymsql模块pip install pymysql使用前准备在进行本文以下内容之前需要注意： 1.你有一个MySQL数据库，并且已经启动。 2.你有可以连接该数据库的用户名和密码 3.你有一个有权限操作的database基于pymsql模块的数据库操作类（单例）from conf import setting import pymysqlclass Mysql:__instance = Nonedef __init__(self):self.conn = pymysql.connect(host=setting.host, # 数据库主机user=setting.user, # 数据库用户pas...

【转】Python中操作mysql的pymysql模块详解

Python中操作mysql的pymysql模块详解前言pymsql是Python中操作MySQL的模块，其使用方法和MySQLdb几乎相同。但目前pymysql支持python3.x而后者不支持3.x版本。本文测试python版本：2.7.11。mysql版本：5.6.24一、安装1pip3 install pymysql二、使用操作1、执行SQL1234567891011121314151617181920212223242526#!/usr/bin/env pytho# -*- coding:utf-8 -*-importpymysql # 创建连接conn =pymysql.connect(host=‘127.0.0.1‘, port=...

python 学习_第四模块 mysql 库表操作【代码】

python 学习_第四模块 mysql 库表操作数据类型一查看支持引擎 -- 数据库支持的存储引擎show engines\G-- 正在使用的存储引擎 show variables like "storage_engine%"; 二修改表结构 -- 修改表名altertable t2 rename t2_new;-- 删除字段iALTERTABLE table_1 DROP i; -- 添加字段 iALTERTABLE table_1 ADD i INT;-- 添加字段 i 设定位第一列ALTERTABLE table_1 ADD i INT FIRST;-- 添加字段设定位于c个字段之后AL...

Python 的 MySQLdb 模块

import MySQLdbtry: conn = MySQLdb.connect(host=‘‘,user=‘‘,passwd=‘‘,db=‘‘,port=) cur = conn.cursor() conn.select_db(‘db_name‘) value = [1,‘colben‘] cur.execute(‘insert into test values(%s,%s)‘,value) values = [(1,‘colben‘),(2,‘shelly‘)] cur.executemany(‘insert into test values(%s,%s)‘,values) cur.fetchall() cur.fetchmany(size) cur.fetchone() con...

MySQLdb模块操作【代码】

Linux安装mysql： apt-get install mysql-server安装python-mysql模块：apt-get install python-mysqldbWindows下载安装mysqlpython操作mysql模块：MySQL-python-1.2.3.win32-py2.7.exe 或 MySQL-python-1.2.3.win-amd64-py2.7.exemysql图形界面：Navicat_for_MySQL安装完成后，导入MySQLdb测试是否安装成功#!/usr/bin/env python #coding:utf-8import MySQLdb‘‘‘ conn = MySQLdb.connect(host=‘127.0.0.1‘,user=‘root‘,pas...

pip安装psutil模块时候报错：yum install python-devel mysql-devel zlib-devel openssl-devel【代码】

yum install python-devel mysql-devel zlib-devel openssl-devel [root@localhost software]# pip install psutil Collecting psutilUsing cached psutil-2.2.1.tar.gz Installing collected packages: psutilRunning setup.py install for psutil Successfully installed psutil-2.2.1 pip如何安装请参考上篇博客：http://www.cnblogs.com/xiaoit/p/4547171.html原文：http://www.cnblogs.com/xiaoit/p/4547364.html

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / ODI知识模块

ODI知识模块

内容导读

内容图文

内容总结

内容备注

内容手机端

【ODI知识模块】教程文章相关的互联网学习教程文章

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程