Oracle 一体机X4平台集群节点2异常宕机问题分析

1.概要

        以下是针对某客户Oracle一体机 X4平台上，Oracle集群第二节点xdm01dbadm01宕机的故障简要分析说明。 

2.故障现象

        某日13:54 客户x4平台Oracle两节点集群第二节点宕机，导致部分业务中断，银行部分核心业务中断五分钟左右，此次中断为异常中断，现对此情况进行分析如下：

3.故障分析

        本次故障发生在在14：00，开始分析：

        收集数据库日志，crs日志，css日志，还有系统日志

3.1 Crsd日志如下

        2019-09-24 13:47:42.225:

      [crsd(30143)]CRS-2769:Unable to failover resource 'ora.odsdb.db'.

      2019-09-24 13:53:08.262:

      [cssd(22505)]CRS-1662:Member kill requested by node xdm01dbadm01 for member number 1, group DBXDM

        在此期间主中心x4平台主库和备中心x4平台做数据库adg的switchover，切换之前主中心X4上运行的数据库为主库，备中心X4平台上运行的数据库备物理备库。日志中显示切换过程中报错，但是切换界面并无报错切换失败。

3.2 alert日志

        节点二宕机时的报错在数据库alert日志中有体现出来，数据库日志中发现主中心X4平台集群二节点宕机时有磁盘io错误，日志如下：

        进一步分析下面的日志中可以发现有部分磁盘在DATAC1磁盘组中离线，故导致io报错

下面日志中可以发现，控制文件错误，集群两个节点的数据不一致，数据库集群节点二被驱逐

4.故障总结

        由以上日志分析，此次故障为adg切换失败，导致io隔离切断了存储链路，存储链路异常导致二节点磁盘io错误，磁盘io失败之后，不能进行集群之间的数据同步，进而二节点被驱逐随后宕机。