5.1.3 Event Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 5.1.4 Event Recovery and Retry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 5.1.5 Notes on Customizing Event Processing . . . . . . . . . . . . . . . . . 123 5.1.6 Event Emulator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 5.2 Error Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 5.3 Network Modules/Topology Services and Group Services . . . . . . . . 124 5.4 NFS considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 5.4.1 Creating Shared Volume Groups . . . . . . . . . . . . . . . . . . . . . . . 125 5.4.2 Exporting NFS File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 5.4.3 NFS Mounting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 5.4.4 Cascading Takeover with Cross Mounted NFS File Systems . . 126
5.4.5Cross Mounted NFS File Systems and the Network Lock Manager.
128
Chapter 6. Cluster Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1 Node Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1.1 Device State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1.2 System Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.3 Process State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.4 Network State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.5 LVM State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.1.6 Cluster State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.2 Simulate Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.1 Adapter Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.2 Node Failure / Reintegration . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.2.3 Network Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.2.4 Disk Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.5 Application Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Chapter 7. Cluster Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . 143 7.1 Cluster Log Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 7.2 config_too_long . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 7.3 Deadman Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 7.3.1 Tuning the System Using I/O Pacing . . . . . . . . . . . . . . . . . . . . 146 7.3.2 Extending the syncd Frequency . . . . . . . . . . . . . . . . . . . . . . . . 146 7.3.3 Increase Amount of Memory for Communications Subsystem. . 146 7.3.4 Changing the Failure Detection Rate . . . . . . . . . . . . . . . . . . . . 147 7.4 Node Isolation and Partitioned Clusters . . . . . . . . . . . . . . . . . . . . . . 147 7.5 The DGSP Message. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 7.6 User ID Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 7.7 Troubleshooting Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Chapter 8. Cluster Management and Administration . . . . . . . . . . . . . 151 8.1 Monitoring the Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
v
