一客户报RAC一节点的CRS无法启动，通过VPN远端连过去检查crs，如下：
# crsctl check crs
Failure 1 contacting CSS daemon
Cannot communicate with CRS
Cannot communicate with EVM 
检查crs进程：
# ps -ef | grep css
root      6929     1  0 19:56 ?        00:00:00 /bin/sh /etc/init.d/init.cssd fatal
root      6960  6928  0 19:56 ?        00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root      6963  6929  0 19:56 [...]

oracle RAC出问题时我们往往需要查看其log和trace文件，那么这些log及trace存在哪里呢？下图就是一个log目录结构示意图，较直观的显示了log存放的地方：

在将 oracle RAC从10.2.0.1升级到10.2.0.2时遇到两个问题：
 1.在apply到remote node做relink时出现warning信息：
In function `lcdprm’:: warning: the `gets’ function is dangerous and should not be used.
经查，该warning信息是 oracle 的一个bug：4762656，可忽略，在11g中修复。
可查看Metalink Note: 356363.1 获得更详细信息。
2.起第二节点时，ASM启动正常，但instance报如下错误：
SQL> startup
ORA-01078: failure in processing system parameters
ORA-01565: error in identifying file ‘+RAC_DISK/RACDB/spfileRACDB.ora’
ORA-17503: ksfdopn:2 Failed to open file +RAC_DISK/RACDB/spfileRACDB.ora
ORA-03113: end-of-file on communication channel
这个错误的原因是 oracle 在打第二节点时没有正确更新libknlopt.a。