如何使用OGG同步ORACLE ACTIVE DATAGUARD数据到CLOUDERA HBASE测试

环境介绍：

测试目的：

使用ORACLE ACTIVE DATAGUARD作为数据提取Source，使用ORACLE GOLDENGATE将ORACLE数据库中变化的数据同步到HBASE 集群。

1.部署ORACLE RAC的ACTIVE DATAGUARD

请参阅之前的ADG示例文档

2.主数据库RAC上的准备工作

1．创建GoldenGate表空间

2.创造一个GoldenGate用户并授权

3.启动强制日志记录（在执行 Active Datagurad 时已配置）

4.启用附加日志

更改数据库添加补充日志数据；

更改系统切换日志文件；

p>

从 v$database 中选择supplemental_log_data_min；

p>

5。启用enable_goldengate_replication

修改系统设置enable_goldengate_replication=true;

三． 在 ADG 上部署 Goldengate 12.2

1.创建黄金操作系统用户

2.创建ogg软件安装目录/goldengate/gg12c

3.编辑黄金用户配置文件

Vi .bash_profile，添加以下内容：

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app /oracle/product/11.2.0/dbhome_1

导出 ORACLE_SID=uatracdg --ACTIVE DATAGUARD ORACLE SID

导出 LD_LIBRARY_PATH=/goldengate/gg12c: $ORACLE_HOME/lib:$ORACLE_HOME/ lib32

导出 OGG_HOME=/goldengate/gg12c

PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:/goldengate/gg12c: .

导出路径

cd $OGG_HOME

4.下载goldengate 12.2 for linux 64位版本

最新软件包名称V100692-01.zip

5.解压安装包

解压V100692-01.zip，得到以下文件：

fbo_ggs_Linux_x64_shiphome

OGG-12.2。 0.1.1-ReleaseNotes.pdf

OGG-12.2.0.1-README.txt

6.编辑静默安装参数文件

cd /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1/response

编辑响应文件并更改以下参数

INSTALL_OPTION=ORA11g

INSTALL_OPTION=ORA11g

p>

SOFTWARE_LOCATION=/goldengate/gg12c

START_MANAGER=true

MANAGER_PORT=7801

DATABASE_LOCATION=/u01/app/oracle/product/11.2 .0/dbhome_1

INVENTORY_LOCATION=/goldengate/gg12c/oraInventory

UNIX_GROUP_NAME=oinstall

7.静默安装 OGG

cd /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1

./runInstaller -silent -responseFile /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp

8.为表添加附加日志

因为ADG是只读模式，添加附加日志需要更改数据字典，所以这个操作需要通过连接主库RAC中来完成ggsci 命令行

ggsci dblogin userid Goldengate@uatrac passowrd

添加 trandata HADP.OGGT1

添加 trandata HADP.OGGT2

9.添加配置提取流程

添加提取ext01，tranlog，开始yyyy-MM-dd HH:mm:ss

EXTRACT ext01

setenv ( NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK" )

setenv ( ORACLE_SID=uatracdg )

exttrail ./dirdat/et

gettruncates

discardfile ./dirrpt/ Discardext01.txt，追加，兆字节 50

--DBOPTIONS ALLOWUNUSEDCOLUMN

--TRANLOGOPTIONS CONVERTUCS2CLOBS

EOFDELAY 3

getupdatebefores

我的转录选项 MINEFROMACTIVEDG --FOR ADG

TABLE HADP.OGGT2;

表HADP.OGGT1;

10。添加并配置PUMP进程

添加提取pup1，exttrailsource ./dirdat/et

添加rmttrail ./dirdat/rt，提取pup1

编辑参数pup1

提取pup1

setenv ( NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK" )

用户ID Goldengate 密码golden123

rmthost 172.16.49.35, mgrport 7809，TCPBUFSIZE 5000000

rmttrail ./dirdat/rt

动态分辨率

NUMFILES 3000

ALLOCFILES 200

passthru

表 HADP.OGGT2;

表 HADP.OGGT1;

IV. 在CDH上部署goldengate for big data 12.2

1.创建黄金操作系统用户

2.创建ogg软件安装目录/goldengate/gg12c

3.编辑黄金用户配置文件

导出JAVA_HOME=/usr/local/jdk1.7.0_80

PATH=$PATH:$HOME/bin

导出PATH

导出 NLS_LANG=AMERICAN_AMERICA.ZHS16BGK

导出 PATH=$JAVA_HOME/bin:$PATH:/goldengate/gg12c:/usr/local/apache-maven-3.1.1/bin:。

经验值ort LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/goldengate/gg12c:/goldengate/gg12c/ggjava/resources/ggplugins /hdfs:.

export CLASSPATH=/goldengate/gg12c/ggjava/ *:/goldengate/gg12c/dirprm/*:/goldengate/gg12c/lib/*:/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml:/opt/cloudera /parcels/

CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop -hdfs/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6 .6.0.p0.45/lib/hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-5.6.0 -1.cdh6.6.0.p0.45/lib/hadoop/*:/

opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop /client/*:/goldengate/gg12c/dirprm/*:/opt/cloudera/parcels/ CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/lib/*:.

导出 OGG_HOME=/goldengate/gg12c

4.下载大数据ogg

最新软件包V100447-01.zip

5.安装大数据ogg

解压到安装目录即可

6.创建子目录

Ggsci>创建子目录

7.配置管理流程MGR

Edit 参数管理器

端口 7809

动态端口列表 7820-7850

8.添加配置复制流程

将/goldengate/gg12c/AdapterExamples/big-data/hbase下的文件复制到$OGG_HOME/dirprm，

编辑hbase.props

更改以下参数

gg.handler.hbase.hBaseColumnFamilyName=ID

gg.classpath=/etc/hbase/conf.cloudera.hbase:/opt/cloudera/parcels/ CDH-5.6。 0-1.cdh6.6.0.p0.45/lib/hbase/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hbase/lib/*:/选择/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45 /lib/hadoop/client/*:/goldengate/gg12c/dirprm/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/lib/*:.

ggsci>添加复制 rhbase、nodbcheckpoint、exttrail ./dirdat/rt

ggsci>编辑参数 rhbase

REPLICAT rhbase

SOURCEDEFS ./dirsql/hdfs.sql

-- 本示例的 Trail 文件位于“AdapterExamples/trail”目录

-- 添加 R 的命令EPLICAT

-- 添加复制 rhbase、exttrail AdapterExamples/trail/tr

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

TARGETDBLIBFILE /goldengate/gg12c/libggjava。因此 SET property=/goldengate/gg12c/dirprm/hbase.props

每 1 分钟报告一次，速率

GROUPTRANSOPS 10000

MAP HADP.OGGT2，目标 HADP .OGGTEST，

RESOLVECONFLICT(INSERTROWEXISTS，(默认，覆盖))，

COLMAP(ID=ID，COL1=COL1，COL2=COL2);

映射 HADP.OGGT1，目标 HADP.OGGTEST，

RESOLVECOFLICT(INSERTROWEXISTS, (默认，覆盖))，

COLMAP (ID=ID, COLA =COLA, COLB=COLB);

9.登录HBASE创建测试表

创建命名空间HADP：

hbase shell

创建命名空间'HADP'

list_namespace< /p>

describe_namespace 'HADP'

创建表：

create 'HADP:OGGTEST','ID' ,'COL1','COL2','COLA', 'COLB'

查看表数据：

扫描'HADP:OGGTEST'

10.查看 OGG FOR BIG DATA 日志

cd /goldengate/gg12c/dirrpt

more *hbase*.log

感谢您仔细阅读。本文希望小编分享的文章《如何使用OGG同步ORACLE ACTIVE DATAGUARD数据到CLOUDERA HBASE测试》对大家有所帮助。也希望大家支持、关注行业信息频道。更多相关知识等待您。快来学习吧！