R/Evolution 2000 Series Manual de usuario

2000 Series

Troubleshooting Guide

P/N 83-00004287-12

Revision A

May 2008

Hill Systems Corp. All other trademarks and registered trademarks are proprietary to their respective owners.

The material in this document is for information only and is subject to change without notice. While reasonable efforts have

been made in the preparation of this document to assure its accuracy, changes in the product design can be made without

reservation and without notification to its users.

Contents

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

1. System Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Architecture Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Enclosure Chassis and Midplane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Midplane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Enclosure ID Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Drive Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Controller Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Drive Expansion Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Power-and-Cooling Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Power Supply Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Cooling Fans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Airflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2. Fault Isolation Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Gather Fault Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Determine Where the Fault Is Occurring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Review the Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Isolate the Fault . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4R/Evolution 2000 Series Troubleshooting Guide • May 2008

3. Troubleshooting Using System LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

LED Names and Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Using LEDs to Check System Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Using Enclosure Status LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Using Drive Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Using Controller Module Host Port LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Using the Controller Module Expansion Port LED . . . . . . . . . . . . . . . . . . . . . . 30

Using Ethernet Management Port LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Using Controller Module Status LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Using Power-and-Cooling Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Using Expansion Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4. Troubleshooting Using RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Problems Using RAIDar to Access a Storage System . . . . . . . . . . . . . . . . . . . . . . . 36

Determining Storage System Status and Verifying Faults . . . . . . . . . . . . . . . . . . . . 37

Stopping I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Clearing Metadata From Leftover Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Isolating Faulty Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Identifying a Faulty Disk Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Reviewing Disk Drive Error Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Reviewing the Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Reconstructing a Virtual Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Isolating Data Path Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Isolating Internal Data Path Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Isolating External Data Path Faults on an FC Storage System . . . . . . . . . . . . . 51

Isolating External Data Path Faults on an iSCSI Storage System . . . . . . . . . . . 52

Isolating External Data Path Faults on a SAS Storage System . . . . . . . . . . . . . 53

Resetting a Host Channel on an FC Storage System . . . . . . . . . . . . . . . . . . . . . 54

Changing PHY Fault Isolation Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Contents 5

Resetting Expander Error Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Disabling or Enabling a PHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Disabling or Enabling PHY Isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Using Recovery Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Removing a Virtual Disk From Quarantine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Trusting a Virtual Disk for Disaster Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Problems Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Affect of Changing the Date and Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

Deleting Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

Errors Associated with Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Selecting Individual Events for Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Selecting or Clearing All Events for Notification . . . . . . . . . . . . . . . . . . . . . . . . . . .62

Correcting Enclosure IDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Problems After Power-On or Restart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

5. Troubleshooting Using Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Event Severities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Viewing the Event Log in RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Viewing an Event Log Saved From RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Reviewing Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Saving Log Information to a File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70

Configuring the Debug Log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

6. Voltage and Temperature Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Resolving Voltage and Temperature Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . .73

Sensor Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Power Supply Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

6R/Evolution 2000 Series Troubleshooting Guide • May 2008

Cooling Fan Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Temperature Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Power-and-Cooling Module Voltage Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . 77

7. Troubleshooting and Replacing FRUs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Static Electricity Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Identifying Controller or Expansion Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . 80

Removing and Replacing a Controller or Expansion Module . . . . . . . . . . . . . . . . . 82

Saving Configuration Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Shutting Down a Controller Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Removing a Controller Module or Expansion Module . . . . . . . . . . . . . . . . . . . 85

Replacing a Controller Module or Expansion Module . . . . . . . . . . . . . . . . . . . 87

Moving a Set of Expansion Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Updating Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Updating Firmware During Controller Replacement . . . . . . . . . . . . . . . . . . . . 90

Updating Firmware Using RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Identifying SFP Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

Removing and Replacing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Removing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Installing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Identifying Cable Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Cable Faults on the Host Side . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Cable Faults on the Drive Enclosure Side . . . . . . . . . . . . . . . . . . . 95

Disconnecting and Reconnecting SAS Cables . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Drive Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Understanding Disk-Related Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Disk Drive Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

Disk Channel Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Identifying Faulty Drive Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Contents 7

Updating Disk Drive Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Removing and Replacing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Replacing a Drive Module When the Virtual Disk Is Rebuilding . . . . . . . . . . 104

Identifying the Location of a Faulty Drive Module . . . . . . . . . . . . . . . . . . . . . 105

Removing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

Installing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Verify That the Correct Power-On Sequence Was Performed . . . . . . . . . . . . . 109

Installing an Air Management Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Identifying Virtual Disk Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Clearing Metadata From a Disk Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Identifying Power-and-Cooling Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Removing and Replacing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . 114

Removing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

Installing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Replacing an Enclosure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

A. Troubleshooting Using the CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Viewing Command Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

clear cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

clear expander-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

ping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

rescan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

reset host-channel-link . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

restart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

restore defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

set debug-log-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

set expander-fault-isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

set expander-phy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

set led . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

8R/Evolution 2000 Series Troubleshooting Guide • May 2008

set protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

show debug-log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show debug-log-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show enclosure-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show expander-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show frus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show redundancy-mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

trust . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Problems Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Create the Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Schedule the Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Errors Associated with Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Missing Parameter Data Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

Preface

This guide describes how to diagnose and troubleshoot a R/Evolution™ storage

system, and how to identify, remove, and replace field-replaceable units (FRUs). It

also describes critical, warning, and informational events that can occur during

system operation. This guide applies to the following enclosures:

■2730 FC Controller Enclosure

■2530 SAS Controller Enclosure

■2330 iSCSI Controller Enclosure

■SAS Expansion Enclosure

This book is written for system administrators and service personnel who are

familiar with Fibre Channel (FC), Internet SCSI (iSCSI), and Serial Attached SCSI

(SAS) configurations, network administration, and RAID technology.

Before You Read This Book

Before you begin to follow procedures in this book, you must have already installed

enclosures and learned of any late-breaking information related to system operation,

as described in the getting started guide and release notes.

10 R/Evolution 2000 Series Troubleshooting Guide • May 2008

Typographic Conventions

Manuales populares de Servidor de otras marcas

HP AlphaServer ES47 Manual de usuario

Dell

Dell PowerEdge R410 Manual de usuario

PowerNAS

PowerNAS CMA Manual de usuario

Supero

Supero FatTwin F617R3-FT Manual de usuario

MSI

MSI P1-109N-L70 Manual de usuario

Dell

Dell PowerEdge XE9640 Manual

Dell

Dell PS4100 Instrucciones de montaje

EtroVISION

EtroVISION EV3151 Manual de usuario

NEC

NEC Express5800/T110j Manual de usuario

HP ProLiant Gen9 Manual de usuario

Compaq

Compaq ProLiant 3000 Manual

Dell

Dell PowerEdge 3YPMN Manual de usuario

iRobo

iRobo IPC2U Manual de usuario

Nortel

Nortel 1000 Con?guration guide Manual de usuario

Asus

Asus AP7500 Manual de operación y mantenimiento

Avid Technology

Avid Technology AirSpeed 5000 Manual de usuario

HP Integrity rx2600 Guía de instalación

Milestone

Milestone Husky IVO 350T Manual de usuario