Bewertung des Aufbaus von Speichernetzwerken am Beispiel von internet Small Computer System Interface, Fibre Channel und Fibre Channel over Ethernet

Aus Winfwiki

Wechseln zu: Navigation, Suche

Hausarbeit

Hochschule: Hochschule für Oekonomie & Management
Standort: Düsseldorf
Studiengang: Bachelor Wirtschaftsinformatik
Veranstaltung: IT-Infrastruktur
Betreuer: Dipl-Inf. (FH) Christian Schäfer
Typ: Hausarbeit
Themengebiet: Speichernetzwerke
Autor(en): Michael Wahlers
Studienzeitmodell: Abendstudium
Semesterbezeichnung:
Studiensemester: 3
Bearbeitungsstatus: in Arbeit
Prüfungstermin: 31.01.2010
Abgabetermin: 30.01.2010


Inhaltsverzeichnis


1 Einleitung

Das Wachstum des Internets ist seit Jahren ungebremst und täglich gelangen neue Informationen ins Netz, die auf Festplatten gespeichert werden müssen. Es ist deshalb wichtig, vorhandene und neue Speicherkapazitäten effizient und flexibel einzusetzen. Allerdings sind nicht alle Festplatten im (Web-) Server eingebaut, sondern befinden sich zu großen Teilen in NAS-Umgebungen (Network Attached Storage). Beide Lösungen bieten aber nicht die notwendige Bandbreite und Flexibilität, weswegen SAN-Systeme (Storage Area Network) eingesetzt werden. Der Zugriff auf diese Systeme kann mit verschiedenen Protokollen erfolgen.

Im Rahmen dieser Hausarbeit sollen die drei Protokolle iSCSI (internet Small Computer System Interface), FC (Fibre Channel) und FCoE (Fibre Channel over Ethernet) untersucht werden. Im Kapitel 2 erfolgt die Festlegung von Kriterien, anhand derer die Untersuchung der Protokolle im Kapitel 3 erfolgt. In Kapitel 4 wird ein Vergleich durchgeführt. Ziel dieser Ausarbeitung ist dabei, einen Überblick über die Protokolle zu erhalten und die Eignung für verschiedene Speichernetzwerke zu ermitteln.

2 Kriterien

2.1 Benötige Infrastruktur

2.1.1 Medium

Die Datenübertragung zwischen Servern und den SAN-Ressourcen kann über verschiedene Medien erfolgen. Diese unterscheiden sich in ihrer Beschaffenheit, dem maximalen Datendurchsatz und Grenzwerten bzgl. der Kabellänge.

Bei FCoE, sowie iSCSI wird auf die Ethernet-Technologie gesetzt, wobei die Verbindung mittels Kupferkabeln realisiert wird. Bei dieser Technologie differenziert man die Kabel in einzelne Kategorien. Die Klassifizierung erfolgt dabei nach Art und Anzahl der Schirmungen und der Adern sowie der physikalischen Leistungsfähigkeit. Um akzeptable Datenraten zu erreichen, setzt man bei heutigen strukturierten Verkabelungen mindestens auf CAT (Category) 5e Kabeln, welche Gigabit Ethernet unterstützen. Häufig werden diese Kabel an den entsprechenden Verteilern (bspw. Switche) gebündelt angebunden, so dass, beispielsweise bei einer Aggregation von vier Cat. 5e Kabel mit entsprechenden Netzwerkadaptern eine Leistung von 4GBit/s erreicht werden kann.

FC, im ursprünglichen Sinne, setzt im Gegensatz zu FCoE oder iSCSI auf Glasfaser (auch als Lichtwellenleiter bekannt). Glasfaserkabel bestehen, wie der Name schon sagt, aus einzelnen Fasern welche jeweils nicht dicker sind als ein einzelnes menschliches Haar. Im Gegensatz zu Kupferkabeln werden bei Glasfaser keine elektrischen Signale sondern optische Signale in Form von Licht übertragen. Diese Lichtsignale werden im Kern (im englischen als "Core" bezeichnet) des Glasfaserkabels übertragen. Um den Kern vor äußerlichen Störungen sowie vor Reflektionen zu schützen ist dieser von einem speziellen Stoff ummanteln, welcher als Cladding bezeichnet wird. Eine Plastikummantelung sorgt für Stabilität, um den Kern und den Stoff zu schützen. Glasfaser werden in zwei Medientypen unterteilt: Singlemode und Multimode Faser. Am Namen lässt sich bereits ableiten, dass bei Single-Mode Fasern nur ein Signal gleichzeitig übertragen werden kann. Der Durchmesser des Kerns ist deutlich geringer, wodurch eine höhere Geschwindigkeit und höhere Kabellänge erzielt werden kann. Dies resultiert aus der geringeren Dämpfung des Lichtssignals, da die Anzahl an Außenwand Reflektionen innerhalb des Kerns geringer ist als bei Multimode. Weiterhin hat dieser einen deutlich größeren Durchmesser, wodurch mehrere Signale gleichzeitig eine Faser passieren können. Allerdings haben diese Signale eine längere Laufzeit da der Abstand zwischen den Wänden größer ist und das Lichtsignal öfter gebrochen wird[1][2][3].

2.1.2 Verteiler

Beide Techniken (Kupfer und Glasfaser) bringen ihre eigene Verteiler mit sich. Der Unterschied liegt hierbei in der Technik sowie der Logik, mit denen sie arbeiten.

2.1.2.1 Fibre Channel

FC Switches bilden das Zentrum eines jeden SAN. Die Topologie ist meist sternförmig und basiert auf einem FC Switch. Jedoch teilen sich mehrere Geräte nicht die Bandbreite, sondern es wird klar definiert, welchem Switchport wie viel Bandbreite zur Verfügung steht. Um FC Switches für mehrere Applikationen bzw. getrennte Systeme zu verwenden existiert ein sogenanntes Zoning. Beim Zoning wird festgelegt welches (End-)Gerät mit welchen anderen Geräten kommunizieren darf. Dies kann per Software vom Switch aus gesteuert werden (Softzoning). Der Switch sendet an das (End-) Gerät die Zoneninformationen und teilt diesem dadurch mit, in welcher Zone das Gerät arbeiten soll. Das Softzoning beinhaltet allerdings keine Verpflichtung für die Geräte, weswegen diese in der Lage sind, auch in fremden Zonen zu aggregieren. Alternativ kann dies per Hardware gesteuert werden (Hardzoning). Hierbei werden Verbindungen nur noch erlaubt, sofern diese vorab entsprechend konfiguriert wurden. Um diese Zugriffsregeln zu konfigurieren, muss entschieden werden, ob dies auf Portbasis (z.B. Port 1 darf mit Port 4 kommunizieren) oder auf Adressbasis durchgeführt werden soll. Entscheidet man sich für letzteres, spielt hier der WWN (World Wide Name) eine wichtige Rolle. Dieser ist vergleichbar mit einer MAC-Adresse eines Netzwerkgerätes. Man kann dieses Verfahren soweit definieren, dass spezielle Geräte nur noch mit bestimmten LU (Logical Units) einer Speichereinheit kommunizieren dürfen. Solch eine Konfiguration erfolgt in der Regel über die Kommandozeile eines FC Switches, wobei dies herstellerabhängig ist und auch zur Vereinfachung durch Managementoberflächen oder ähnliches gesteuert werden kann[4].

Diese Switche werden in verschiedenen Größen von vier bis hin zu 32 Ports angeboten. Sollte dies nicht ausreichen, kann zu Direktoren (Core-Switche mit mehr Performance und intelligenterer Steuerung) gegriffen werden. Sie sind modular aufgebaut und bieten eine höhere Redundanz. Weiterhin können sie maximal 140 Ports bedienen, wobei durch Stacking (mehrere vernetzte Direktoren) eine Erhöhung der Portanzahl möglich ist.

2.1.2.2 Ethernet

Ethernet Switche können in den verschiedensten Topologien je nach Anwendungsgebiet aufgebaut werden. Sie repräsentieren einen Knoten mit mehreren Anschlussmöglichkeiten. Dadurch benötigen die Endgeräte kein dediziertes Kabel zu jedem anderen Endgerät, sondern kommen mit einer Verbindung zum Switch aus. Der Traffic kann bei diesem Verteiler mittels QoS (Quality of Service) oder durch den Einsatz von VLANs (virtual local area network) priorisiert bearbeitet werden. Dabei ist ein VLAN eine logische Trennung zwischen den Netzwerken.

2.1.3 Erweiterungskarten

Durch die Auswahl des Mediums wird neben den Verteilern auch die Art der Adapterkarten beeinflusst. Sie bilden eine Hardwareschnittstelle, für die Anbindung von internen und externen Komponenten miteinander. Generell spricht man bei diesen Adaptern von HBA (Host Bus Adapter), welche am gängigsten für mehrere Adapter in Verbindung mit FC und SCSI genutzt werden. Solch eine Karte kann je nach Preisklasse die Effizienz der Datenübertragung stark verbessern. Zur Nutzung von SCSI wird bei der Verwendung von Glasfaser Kabeln ein spezieller Netzwerk Adapter benötigt, welcher die Datenpakete mit Hilfe einer Laser- oder starken Leuchtdiode in Lichtsignale umwandelt und diese über die Glasfaser als Lichtimpulse verschickt. Eine zweite Glasfaser Leitung wird für die Rückpakete benötigt, welche von einem anderen HBA oder FC Switch verschickt werden.

Für FCoE oder iSCSI wird ein Netzwerkadapter benötigt, welcher Ethernet Pakete von einem System zum anderen überträgt. Diese Karten sind meist auf den Hauptplatinen direkt als Teil des Chipsatzes wiederzufinden, da diese der heutige Standard der Kommunikation über Netzwerke ist. Speziell für iSCSI gibt es eine verbesserte Version des gewöhnlichen Netzwerkadapters. Diese verbesserten Versionen unterstützen die TOE (TCP Offload Engine), welche die CPU des Systems stark entlastet. Allerdings macht sich dies erst bei Gigabit oder 10 Gigabits Ethernet wirklich deutlich bemerkbar.

2.2 Protokollspezifische Anpassungen

2.2.1 Qualtiy of Services

QoS oder auch Dienstgüte genannt, bezeichnet Verfahren mit denen der Datenverkehr in Netzwerken beeinflusst wird. Ziel ist hierbei, dass diese Daten, wenn sie beim Empfänger ankommen, vorgegebenen Qualitätsparametern entsprechen. Die typischen Parameter sind hierbei die Latenzzeit, der Datendurchsatz, die Paketverlustrate sowie der Jitterwert. Beim Jitter handelt es sich um die Differenz der Latenzzeit vom Mittelwert[5].

Dies wird beeinflusst durch:

  • Verbesserung der Verlusteigenschaften
  • Vergabe von Prioritäten innerhalb des Netzwerks
  • Abstufung von Bandbreiten

2.2.2 Jumbo Frames

Nach IEEE (Institute of Electrical and Electronics Engineers)802.3 ist die maximale Größe eines einzelnen Frames im Ethernet 1518 Byte. Dies unterteilt sich in 1500 Byte Nutzinformationen und 18 Byte protokoll-spezifische Inhalte wie z.B. die Sender- und Empfängeradresse. Jeder einzelne Frame wird im TCP (verbindungsorientiert) vom Sender vorher bearbeitet und vom Empfänger bestätigt. Dies hat zur Folge, dass der Sender durch das Bestätigen seinen eigentlichen Aufgaben kurz nicht nachkommen kann. Bei geringen Bandbreiten wie z.B. bei 10 MBit/s Netzwerken benötigt ein Frame ca. 1,2 ms. Bei höheren Geschwindigkeiten wie 1 GBit/s benötigt der selbe Frame nur noch 12 μs um vom Sender zum Empfänger zu gelangen. Dadurch sinkt bei verbindungsorientieren Netzwerken die eigentliche Nutzlast, da viel mehr Pakete bestätigt werden müssen. Als Jumbo Frames bezeichnet man Frames, die größer als der nach IEEE vorgegeben Standard sind. Diese Abweichung muss von allen Komponenten (Sender, Empfänger, Perimeter Komponenten) unterstützt und konfiguriert werden. Der Vorteil liegt dann darin, dass nun weniger Frames bestätigt werden müssen und somit die CPU und NIC (network interface card) Last sinkt. Generell erhöht es die mögliche Bandbreite in Netzwerken[6].

2.2.3 Flow-Control

Um den Worst-Case-Fall zu vermeiden, nämlich einen Buffer Overflow, steht im Standard IEEE 802.3x das Flow-Control zur Verfügung. Dieses Verfahren funktioniert grundsätzlich nur im Vollduplexmodus von Fast-Ethernet und Gigabit-Ethernet. Der Empfänger von Daten schickt zum Switch, an dem er angeschlossen ist, ein Pause-Frame. Durch Deaktivieren der Flusssteuerung wird den am iSCSI Netzwerk beteiligten Geräten eine feste Geschwindigkeit für die Datenübertragung zugewiesen, wodurch in manchen Umgebungen ein Performance-Gewinn erzielt werden kann[7].

2.3 Eingesetzte Topologien

Speichernetzwerke können in drei verschiedenen Topolgien aufgebaut werden:

  • Point-to-point topology
  • Fabric topology
  • Arbitrated Loop topology

2.3.1 Point-to-Point

Bei Point-to-Point Verbindungen sind zwei Schnittstellen über zwei unidirektionale Links verbunden. Beiden Geräten steht immer die volle Bandbreite zur Verfügung[8].

2.3.2 Arbitrated loop

FC-AL (Arbitrated Loop) hat einen vergleichbaren Aufbau wie Token-Ring. Es wird ein Kreis über alle im SAN zur erreichenden Geräte gebildet. Jede Änderung am Ring (Entfernen, Hinzufügen, Ausfall eines Gerätes) führt dazu, dass keine Kommunikation mehr im FC-AL gegeben ist. Aus diesem Grund wird in professionellen Umgebungen ein FC-AL nicht eingesetzt. Diese Form tritt innerhalb von Serversystemen bei lokalen Festplatten auf. Hier ist trotzdem innerhalb der Backplane ein HUB integriert, damit die Verbindung beim Austausch einer Festplatte nicht verloren geht. Der kleinste FC-AL ist gleichzeitig ein FC-P2P. Die aktuell schnellste Verbindung in einem FC-AL sind 8GBit/s[9].

2.3.3 Switched fabric

Eine FC-SW (Switched Fabric) Topologie ist vergleichbar mit einer Stern-Topologie im Netzwerk. Alle Komponenten sind direkt an einem Switch angeschlossen. Die Vorteile dieser Topologie liegen darin, dass die Switche die Logik, also das Paketrouting, zwischen den Geräte übernehmen und so den Traffic optimiert verteilen können. Jeder Port erhält nur die Daten, die für ihn relevant sind (vergleichbar mit einem Ethernet Switch). Sobald es Fehler auf einem Anschluss gibt wird dieser isoliert und hat keinen Einfluss auf den Traffic der anderen Ports. Weiterhin ist es mit FC-SW einfach möglich, mehrere Ports zu bündeln und somit einen höheren Durchsatz zu erreichen. Natürlich ist eine Kaskadierung von FC Switchen kein Problem. Weiterhin wird in HA (Availability) Umgebung häufig eine zweite separierte FC-SW Umgebung aufgebaut um möglichen Fehler komplett zu umgehen[10].

2.3.4 Redundante Netzwerke/Multi-Pathing

In Anlehnung an Runge u.A. (2008), S. 355  Abbildung 1: Aufbau einer Mutli-Pathing Infrastruktur
In Anlehnung an Runge u.A. (2008), S. 355
Abbildung 1: Aufbau einer Mutli-Pathing Infrastruktur

In HA (Availability) Umgebung gilt diese Anforderung natürlich auch für Netzwerke bzw. Speichernetzwerke. Allerdings können in solchen Umgebungen auch autarke Server arbeiten, die für ihre Kernaufgaben keine Netzwerkanbindung benötigen.

Durch die Abgrenzung von Servern zueinander wird die Kommunikation mit diesen erschwert. Es werden alternative Pfade benötigt, wodurch ein komplexerer Netzaufbau entsteht und ein höheres Risiko für Fehler im administrativen Bereich entstehen. Es ist fast unmöglich, Fehler auszuschließen, weshalb auch die Hochverfügbarkeit gefährdet sein kann. Bei Speichernetzwerken wird der angeschlossene Speicher als Teil des Servers gesehen. Dies bedeutet, dass ein doppelter Aufbau, wie in Abbildung 1 zu sehen,(dual fabric) erfolgt. Somit können menschliche als auch Hard- und Software Fehler zwar nicht verhindert werden, aber bei Ausfall einer Komponenten wird automatisch der Backup Pfad über die völlig getrennte Infrastruktur verwendet (Multi-Pathing)[11].

2.4 Geschwindigkeit

FC sowie Ethernet Netzwerke bestehen aus verschiedensten Komponenten bei dem jedes Gerät eine definierte Leistungsobergrenze hat. Dazu kommt, dass zeitlich parallele Datenströme unterschiedlichster Kommunikationspartner dafür sorgen, dass Pakete nicht immer den bestmöglichen Weg in einem Netzwerk nehmen, da die eingesetzten Protokolle dafür sorgen, dass eine Lastverteilung geschieht. In der Regel sind solche Prozesse dynamisch. Dabei sind die wesentlichen Parameter:

  • geringe Verweilzeit der Pakete im Netzwerk
  • Gleichbehandlung aller Teilnehmer im Netzwerk (QoS)
  • Vermeidung von Überlastsituationen
  • Vermeiden von Fehlersituationen (frühzeitige Erkennung von Fehlern, Jittern)

Die 10 GBit/s Technologie, welche aktuell führend im Ethernet Umfeld ist, setzt auf ein verbessertes Kodierungsverfahren mit mehr Zuständen pro Übertragung Schritt auf. Die Technologie lässt sich vergleichen mit der eines analogen Modems. Statt des einfachen Binärverfahrens werden mehrere Bit pro Übertragung Schritttransportiert. 10Gbase-T setzt auf das Puls Amplituden Modulationsverfahren PAM16 auf. Hierbei werden 4 Bit pro Übertragungsschritt übertragen[12].

3 Protokolle

3.1 iSCSI

In Anlehnung an ixbtlabs.com (2011)  Abbildung 2: iSCSI Zusammensetzung
In Anlehnung an ixbtlabs.com (2011)
Abbildung 2: iSCSI Zusammensetzung

iSCSI hat seinen Ursprung im SCSI und ist die Übertragung von SCSI-Befehlen im Netzwerk durch den Einsatz des IP-Protokolls. Anhand der Abbildung 2 werden die Komponenten von iSCSI beschrieben: iSCSI-Target stellt die Festplattenkapazität zur Verfügung auf welche der iSCSI-Initiator eine Verbindung aufbaut. Die logische Festplatte kann vom Betriebssystem des iSCSI-Initiator wie eine lokale Festplatte behandelt werden. Aufgrund des Versandes der Kommandos über das gewöhnliche LAN (Local Area Netzwork) via IP ist eine weltweite Vernetzung theoretisch möglich.

iSCSI sorgt dafür, dass die zu übermittelnden Daten in entsprechende Pakete umgesetzt werden. Für die Realisierung über iSCSI stehen verschiedene Mechnismen zur Verfügung:


  • Bei der Verwendung einer normalen Netzwerkkarte als iSCSI-HBA: Hierbei muss das Betriebssystem mit Hilfe der iSCSI Software den gesamten diese Zusatzlast auffangen.
  • Verwendung einer TOE: Hier wird nochmals zwischen Data-Path Offload und Full Offload (auch als iSCSI HBA bezeichnet) unterschieden. Beim Full Offload wird die Kontrolle über den gesamten Verkehr bestehend aus Daten- und Netzverarbeitung auf den Adapter ausgelagert. Der Vorteil darin liegt, dass nun nicht mehr der OS Netzwerkstack verwendet wird, sondern auf speziell für iSCSI ausgelegte Treiber wie den Storport Treiber zurück gegriffen werden kann. Dies erhöht nochmals die IOPS (Input-Output-Operations-per-Second). Der Nachteil liegt allerdings darin, dass das Betriebssystem keine Kontrolle mehr über Funktionen wie Lastverteilung, Routing und Failover hat. Hingegen wird beim Data-Path nur die Datenübertragung abgegeben[13].


iSCSI Targets gibt es als Hardware und Software. Ein iSCSI Storage Array ist zum Beispiel die EMC CLARiiONs. Software Targets bezeichnen Produkte welche unter normalen Servern (Linux, Windows) zu installieren sind.

Wie bereits geschildert kommunizieren ein Initiator und ein Target miteinander. Dabei baut immer der Initiator die Verbindung auf. Eine iSCSI Session kann dabei aus einer oder mehrerer iSCSI Connections (gleichzusetzen mit TCP Verbindungen) entstehen[14].

3.2 FC

In Anlehnung an Dwivdi (2007)  Abbildung 3: Fibre Channel Schichten
In Anlehnung an Dwivdi (2007)
Abbildung 3: Fibre Channel Schichten

Um die Arbeitsweise von FC verstehen zu können ist es wichtig zu wissen, dass hier nicht das normale OSI (Open Systems Interconnect) Model verwendet wird. FC verwendet einen eigenen Aufbau und unterteilt sich in fünf Layer (siehe Abbildung 3). Dieser Aufbau kann für Upper Layer Protokolle wie FC-Protocoll aber auch IP verwendet werden. Besonderes Augenmerk bei der Beschreibung der einzelnen Layer wird auf die Verbindungs- und Übertragungsschicht gesetzt, die wichtige Differenzierungen zum OSI-Modell beinhalten.

FC-0: Die unterste Schicht bezeichnet die physikalischen Schnittstellen. Hier werden die physikalischen Verbindungen beschrieben wie z.B. mögliche Geschwindigkeiten, das Medium und die Entfernung[15]. Im FC-0 befindet sich weiterhin noch ein Sicherheitssystem genannt OFC (Open Fibre Control) system, welches dafür sorgt das dem Menschen und hier insbesondere dem menschlichem Auge keinen Schaden geschieht. FC zielt auf Netze ab die eine große Reichweite haben, weswegen für die Übertragung von Lichtsignalen besonders starke Laser benötigt werden. Alle Signale werden dauerhaft quittiert. Sobald die Signale nicht mehr quittiert werden, schaltet OFC die Impulsrate des Lasers herunter, sodass keine Gefahr von dem Laserstrahl ausgeht[16].

FC-1: FC wendet das 8B/10B Kodierungsverfahren an. Das heißt es werden immer 8 Bit Nutzdaten in 10Bit-Blöcke codiert und versendet. Jedes Symbol, welches übertragen werden kann, hat zwei, meist unterschiedliche Transmission Codes. Bevor das Signal übertragen wird, wird aus den ersten 6 Bit und zweiten 4 Bit ein Running Disparity (RD) erstellt und übertragen. Wenn das Signal von der RD abweicht wird dies sofort erkannt und eine erneute Übertragung angefordert[17].


FC-2: Die FC-2 Schicht stellt sozusagen die Transportschicht bereit. Hier wird unterteilt in Frames, Sequenzen, Exchange, Protocol[18]:

In einem Frame stehen die Source, Destination Ports, Kategorisierung (Data oder Link Control Frame) sowie die Sequenz ID. Link controll frames dienen dazu, Ack, Reject und Busy Antworten zu geben, während Data Frames Nutzdaten enthalten. Die maximale Länge für so einen Frame ist 2112 Byte (Nutzlast). Sequenzen werden benötigt um größere Daten als 2112 Byte zu übertragen. Hier werden mehrere Frames aneinander gehangen und eine Sequenznummer erzeugt, welche im Frame Header mitgegeben wird. Exchanges sind der eigentliche Austausch von Informationen. Ein Exchange kann aus mehrere Sequenzen bestehen die parallel verlaufen können (siehe Abbildung 4)[19].

In Anlehnung Dwivdi (2007)  Abbildung 4: Fibre Channel Paket
In Anlehnung Dwivdi (2007)
Abbildung 4: Fibre Channel Paket

FC-3: Hier werden Services beschrieben wie Striping. Dies ermöglicht es, Verbindungen über mehrere Ports gleichzeitig zu benutzen. Weiterhin gibt es sogenannte Hunt Groups. Dies bezeichnet ein Alias unter dem mehrere physikalische Ports logisch zusammen gefasset werden[20].

FC-4: Die Unterstützung der höheren Protokolle (IP oder SCSI) wird schließlich in der FC-4-Schicht geregelt. Insgesamt können in dieser Schicht bis zu 255 verschiedene höhere Protokolle definiert werden wie z.B. SCSI, HIPPI oder IP[21].

3.3 FCoE

In Anlehnung Miniman Minute 6 (2008)  Abbildung 5: FCoE Aufbau
In Anlehnung Miniman Minute 6 (2008)
Abbildung 5: FCoE Aufbau

Im Zuge der immer größeren Anforderungen an Speichernetzwerke sucht man bessere, skalierbare, günstigere und ausfallsichere Netze mit geringeren Laufzeiten sowie größeren Übertragungsraten. Diese Elemente müssen dabei auf die LAN- und SAN-Komponenten abgestimmt sein, damit ein optimales Ergebnis erzielt werden kann.

Das Protokoll FCoE versucht diese Punkte aufzunehmen und setzt auf die vorhandene LAN Struktur in Rechenzentren auf. Wie in Abbildung 5 zu sehen, kommt dieses Protokoll nur zwischen dem CNA (Converged Ethernet Adapters) eines Clients und den Switchen zum Einsatz, wobei diese FCoE unterstützen müssen. Sowohl dem Operating System als auch den Kommunikationspartnern wird ganz normaler FC bzw. IP Traffic weitergeleitet.

3.3.1 Voraussetzung

Damit FCoE in die bestehende Infrastruktur eingebunden werden kann, muss diese LAN Struktur DCE (Data Center Ethernet) fähig sein. Die Unterstützung ist gegeben, wenn die vorhandene Ethernet-Struktur folgende Punkte unterstützt:

  • Pause Mechanismus: Hiermit soll sichergestellt werden, dass das Ethernet zuverlässig arbeitet. Die Umsetzung erfolgt mit einem Pause Frame, welches der Empfänger verschickt, wenn sein Buffer voll ist. Sobald der Datensender den Pause Frame erhält, hört dieser auf Pakete zu schicken. Damit wird verhindert, dass ein Buffer Overflow entsteht.
  • Jumbo Frames: Die Komponenten müssen Frames mit mehr als 2 kBytes Größe unterstützen, da ansonsten eine Stückelung in kleinere Pakete stattfindet. Die Jumbo Frames verringern auch die Anzahl benötigter Retransmissions[22].
  • Priorisierung: Es muss möglich sein, Pakete mit einer Prorität zu kennzeichnen. Dadurch wird bei der Paketvermittlung in den Knotenelementen sichergestellt, dass hoch priorisierte Pakete bevorzugt abgearbeitet werden[23].
  • Flusssteuerung: Dieses Element unterstützt die Priorisierung von Paketen und ermöglicht die Bereitstellung von dedizierter Bandbreite[24].
In Anlehnung an Channelparnter S.8 (2008)  Abbildung 6: FCoE Schichten
In Anlehnung an Channelparnter S.8 (2008)
Abbildung 6: FCoE Schichten

3.3.2 Schichtenmodel

Die unteren Schichten "Physikal" und "Data Link" stammen aus dem OSI-7-Schichten-Modell und ersetzen die FC-Schichten FC-0 sowie FC-1 (siehe Abbildung 6). Sie sind zum Converged Enhanced Ethernet erweitert und unterstützen eine verlustfreie Übertragung durch den Einsatz von vier von der IEEE entwickelten Protokolle. Diese regeln den Datenfluss und die Prioritäten. Es handelt sich dabei im Einzelnen um Priority Flow Control (PFC), das Enhanced Transmission Selection (ETS), das Data Center Bridging Exchange Protocol (DCBX) und das Congestion Notification[25] [26][27] [28].

Auf den unteren Schichten setzt die Verkapselungsschicht auf, wo das FCoE-Protokoll eingesetzt wird. Es trennt die unteren Schichten von den FC-Services FC-2, FC-3 und FC-4.

3.3.3 Funktionsprinzip

In Anlehnung Dey (2009)  Abbildung 7: Funktionsprinzip der Kapselung von FC-Daten
In Anlehnung Dey (2009)
Abbildung 7: Funktionsprinzip der Kapselung von FC-Daten

FCoE besteht aus zwei Ebenen. Die Datenebene wird üblicherweise FCoE genannt, während die Kontrollebene FIP (FCoE Initialisation Protocoll) genannt wird. FIP ermittelt die FC-Entitäten die an die FCoE Wolke angeschlossen sind. Weiterhin ist es für den benötigen FC-Login und -Logout verantwortlich. Auf der Datenebene erfolgt der vollständige SCSI-Verkehr, sowie ein Großteil des FC-Rahmen-Transports[29].

Der Datentransport wird dabei wie nachfolgend beschrieben abgehandelt. Die FC-Pakete werden vom originalen FC-Switch zum FCoE-Switch geschickt. Dieser ummantelt das ursprüngliche FC-Frame mit einem Ethernet-Frame (siehe Abbildung 7) und leitet es an die FCoE-Umgebung weiter. Die CNA des Servers entfernt den Ethernet Mantel und übergibt die ursprünglichen FC-Frames. Um Datenverlust während der Übertragung zu vermeiden, muss den Latenzzeiten von Ethernet mittels Ethernet-QoS entgegen gewirkt werden[30].

4 Vergleich der Technologien

4.1 Infrastruktur

FCoE bietet gegenüber allen anderen beschriebenen Verfahren einige Vorteile. Durch die weitere Nutzung der bestehenden Ethernet- und Fibre-Channel-Struktur müssen die aktuellen Geräte nicht ausgetauscht werden. Jegliche neuen Server bzw. neuen Racks müssen nur noch mit einem einzigen Netzwerkkabel bzw. zwei Netzwerkkabel (Redundanz) bestückt werden. Die FCoE Switche bieten immer eine Schnittstelle ins vorhandene FC- bzw. Netzwerk-Umfeld. FCoE selbst existiert nur im FCoE Switchring und bietet eine neue Transportplattform für vorhandene Protokolle wie IP und FC. Dadurch kann der Platz im Rack von ehemals vier Switchen (zwei FC und zwei Ethernet Switche) auf zwei reduziert werden. Zudem wirkt die Verkabelung in den einzelnen Racks strukturiert und lässt sich leichter nachvollziehen. Als Beispiel hat ein gewöhnlicher ESX Server vier Netzwerk- (zwei Mananagment, zwei virtuelle Maschinen) und zwei Fibre Channel-Schnittstellen. Im FCoE könnte so ein ESX-Server mit nur zwei Ethernet Interfaces (Redundanz) angebunden werden.

Auch der Faktor Kosten spielt bei der benötigen Infrastruktur eine Rolle. Die benötigten Koppelelemente sowie die entsprechenden Leitungen für ein FC Netzwerk sind wesentlich teurer als in einem Ethernet. Dies hängt vor allem damit zusammen, dass FC eine sehr komplexe Technologie ist. Die Umwandlung der optischen Signale in elektrische Impulse benötigt spezielle Hardware. Dazu kommt, dass für die Installation zum einen geschultes Fachpersonal sowie sehr kostspieliges Werkzeug benötigt. Ethernet besitzt im Gegensatz zu FC eine günstigere Ausgangssituation.

4.2 benötige Anpassungen

Für den Einsatz von iSCSI und FC sind keine Anpassungen notwendig. Es kann allerdings eine erhöhte Effektivität durch Optimierungsmaßnahmen erreicht werden. Natürlich existieren auch dort einige Optimierungsmöglichkeiten. iSCSI funktioniert in einigen Fällen besser, wenn das Flow Control im Ethernet deaktiviert ist. Ein iSCSI HBA sorgt dafür, dass das Betriebssystem entlastet wird und das die gesamte Netzwerkkommunikation auf dem HBA stattfindet. Ein NIC mit TOE ist hierbei eine günstige Alternative. Hierbei werden aber die iSCSI Kommandos weiterhin vom Betriebssystem bearbeitet und nur die OSI Schichten 1-4 von der Netzwerkkarte übernommmen. Weiterhin lässt sich mit der Hilfe von QoS das gesamte Netzwerk anpassen. Zudem ist es für große Übertragungsmengen notwendig, die Framesize zu erhöhen und Jumbo Frames einzusetzen. iSCSI basiert auf IP und ist somit auch als einziges der verglichenen Protokolle im WAN einsetzbar. Für den Versand von Daten an Empfänger außerhalb des Rechenzentrums muss mit den zuständigen Partnern, bspw. dem Internetprovider, kommuniziert werden, damit diese die erforderlichen Anpassungen an der Infrastruktur vornehmen.

FC basiert auf einem komplett eigenen Protokollaufbau und einer optimierten Hardware für die Datenübertragung. Hier sind keine Anpassung notwendig. Lediglich das Zoning und damit die verfügbare Bandbreite müssen auf den Switchen konfiguriert werden. Aber auch ohne ein Zoning funktioniert ein FC Netzwerk.

Die neue Technologie FCoE vereint IP und FC wieder. Es ermöglicht somit die Kaskadierung von Komponenten und bietet gleichzeitig Schnittstellen zu den vorhandenen Technologien. Dadurch bringt es auch einige Anforderungen an die bestehenden Komponenten mit sich und erweitert gleichzeitig die Basisprotokoll im Ethernet. DCE ist eine von mehreren Anforderungen an das Netzwerk. Je nach Hersteller wie z.B. Cisco oder Brocade müssen weitere Anforderungen erfüllt werden. Zusätzlich wurden neue Protokoll wie

  • Congestion-Notification (IEEE 802.1Qau)
  • Shortest-Path-Bridging (IEEE 802.1Qaq)
  • ETS (Priority-Groups)(IEEE 802.1Qaz)
  • DCB Capability-Exchange-Protocol: DCBX
  • Priority-based Flow-Control (IEE 802.1Qbb)

implementiert.

4.3 Topologien

FC bietet als einzige Technologie einen Dual Fabric Aufbau an. Dieser sorgt dafür, dass bei administrativen Fehlern ein Ausfall nahezu ausgeschlossen werden kann. Ansonsten gibt es große Übereinstimmungen in den verschiedenen Topologien. Dennoch gibt es folgende wichtige Faktoren, sobald man ein FC Netz mit einem FCoE Netz vergleicht. Das gängige FC ist eine Punkt zu Punkt Verbindung zwischen den einzelnen Geräten und somit eine dedizierte Leitung und besitzt damit feste Bandbreiten. Bei FCoE ist die CNA eine Schnittstelle in ein Multi-Access-Netzwerk. Hier wird mit Hilfe von verschiedenen Kontroll- und Priorisierungsmechanismen darauf geachtet, dass der Datenverkehr von z.B. FC entsprechend hoch priorisiert ist [31].

5 Zusammenfassung und Bewertung

Preislich ist eine 10-Gbit Ethernet Struktur günstiger als eine 8-Gbit/s FC. Im Punkt Geschwindigkeit liegen die Technologien in etwa gleich auf, was sich dadurch erklären lässt, dass der Overhead bei iSCSI deutlich höher ist als der bei FC. iSCSI ist aber sehr stark von einer korrekten Konfiguration abhängig, was die eingesetzte Topologie betrifft. Die iSCSI Übertragungsrate ist stark abhängig von den eingesetzten Geräten bzw. der Konfiguration. Für die benötigten Einstellungen bedarf es aufgrund von starken Abweichungen zum (Ethernet-) Standard einen erheblichen Aufwand und gut geschulte Mitarbeiter. Die Vorteile von iSCSI sind zum einen die höhere maximale Bandbreite und der damit verbundene größere Input- sowie Output Operations. FC hingegen ist auch ohne große Detailkonfiguration sehr zuverlässig und liefert hohe Geschwindigkeiten. Anders als ein LAN gibt es bei FC dank der Punkt- zu Punkt- Verbindung sehr niedrige Latenzzeiten und der Datentransfer erfolgt immer sequenziell. Dies hat den Vorteil, dass der Empfänger die Daten in der richtigen Reihenfolge erhält und diese nach dem Empfang nicht mehr sortieren muss. FC besitzt eine völlig isolierte Infrastruktur, die in der Regel Dual-Fabric aufgebaut wird. Dadurch bleibt der Zugriff von Serverdaten im SAN erhalten, auch wenn Wartungsarbeiten im LAN durchgeführt werden, welche die Netzwerkfunktionalität einschränken könnten. Auch können am FC dank der Dual-Fabric Methode nahezu unterbrechungsfrei, Wartungsarbeiten an der Infrastruktur durchgeführt werden. FCoE ist eine sehr neue Methode der Datenübertragung und ersetzt die OSI Schichten 1-3 durch ein eigenes Protokoll. Aus meiner Sicht ist diese Technologie noch nicht völlig ausgereift und es wird aktuell noch an vielen Protokollen gearbeitet. Die Konsolidierung von LAN und SAN Komponenten führt auch dazu, das Fehler direkt Auswirkungen auf die LAN und SAN Verfügbarkeit haben. Aus meiner Sicht ist eine Einführung von FCoE nur mit partnerschaftlicher Zusammenarbeit mit dem favorisierten Hersteller möglich, da jeder Hersteller noch weitere Anforderungen bringt. Eine Vereinheitlichung wie bei FC und Ethernet ist aktuell noch nicht gegeben. Der wesentliche Unterschied zwischen FC und iSCSI ist, dass FC blockbasiert und SCSI (und damit auch iSCSI) filebasiert arbeitet. Hiermit ist aus meiner Sicht klar, welches Protokoll jeweils einzusetzen ist und welche Vorraussetzungen man benötigt. Sofern man eine Datenbank auslagern möchte sollte man FC als Protokoll wählen, da dieses auch blockbasiert arbeitet.

6 Fußnoten

  1. Vgl. Puaschitz (2011)
  2. Vgl. Servswitch (2011)
  3. Vgl. Froehlich (2011)
  4. IT-Wissen (2011)
  5. IEEE 802.11e-2005 (2005)
  6. Vgl. Bauke, Mertens S. 96 (2005)
  7. Vgl. Lapukhov (2011)
  8. Vgl. ANSI S. 20 (1994)
  9. Vgl. ANSI S. 20 (1994)
  10. Vgl. ANSI S. 20f (1994)
  11. Vgl. ANSI S. 22 (1994)
  12. Vgl. IEEE P802.3an (2009)
  13. RFC 3720 Kapitel 3.2. iSCSI Concepts and Functional Overview (2004)
  14. RFC 3720 Kapitel 3.3 iSCSI Session Types (2004)
  15. Vgl. ANSI S. 33 (1994)
  16. Vgl. ANSI S. 34 (1994)
  17. Vgl. S.ANSI S. 63ff (1994)
  18. Vgl. ANSI S. 25 (1994 )
  19. Vgl. S.ANSI S. 96ff (1994)
  20. Vgl. S.ANSI S. 50 (1994)
  21. Vgl. ANSI S.xxxiii (1994)
  22. TANEJA (2007)
  23. TANEJA (2007)
  24. TANEJA (2007)
  25. IEEE 802.1Qbb (2009)
  26. IEEE 802.1Qaz (2009)
  27. IEEE 802.1QAB (2009)
  28. IEEE 802.1Qau (2009)
  29. Cisco (2010)
  30. Cisco 2010
  31. IEEE 802.1Qbb (2009)


7 Abkürzungsverzeichnis

Abkürzung Beschreibung
AL Arbitrated Loop
cat Category
CNA Converged Ethernet Adapters
DCBX Bridging Exchange Protocol
DCE Data Center Ethernet
ETS Enhanced Transmission Selection
FC Fibre Channel
FCoE Fibre Channel over Ethernet
FIP FCoE Initialisation Protocoll
HA Availability
HBA Host Bus Adapter
HIPPI High Performance Parallel Interface
IEEE Institute of Electrical and Electronics Engineers
IOPS Input/Output Operations Per Second
iSCSI internet Small Computer System Interface
LAN local area network
LU Logical Unit
MAC Media-Access-Control-Adresse
NAS Network Attached Storage
NIC Network Interface Card
OFC Open Fibre Control
OS Operating System
OSI Open Systems Interconnect
P2P Point-to-Point
PAM Puls Amplituden Modulationsverfahren
PFC Priority Flow Control (PFC)
QoS Quality of Service
RD Running Disparity
SAN Storage Area Network
SCSI Small Computer System Interface
SW Switched Fabric
TOE TCP/IP Offload Engine
VLAN virtual local area network
WWN World Wide Name

8 Abbildungsverzeichnis

Nr. Beschreibung
1
Aufbau einer Mutli-Pathing Infrastruktur
2
iSCSI Zusammensetzung
3
Fibre Channel Schichten
4
Fibre Channel Paket
5
FCoE Aufbau
6
FCoE Schichten
7
Funktionsprinzip der Kapselung von FC-Daten

9 Literatur- und Quellenverzeichnis

Verweis Literatur / Quelle
ANSI (1994) American National Standard for Information Systems (Hrsg.): FIBRE CHANNEL PHYSICAL AND SIGNALING INTERFACE (FC-PH) REV 4.3, dpANS X3.230-199x, 1994
Bauke, Mertens(2005) Bauke, Mertens: Cluster Computing Springer, Berlin, 2005
Channelpartner (2008) Channelpartner (Hrsg.): Fibre Channel over Ethernet – ein neuer Ansatz, http://www.channelpartner.de/technik/253156/index8.html (29.01.2011 16:12)
Cisco (2010) CISCO(Hrsg.): Fibre Channel over Ethernet Storage Networking Evolution, (whitepaper), 2010
Dey (2009) Dey: SNIA: »Fibre Channel over Ethernet«, http://www.speicherguide.de/Datenspeicherung/SAN/tabid/206/articleType/ArticleView/articleId/8736/SNIA-Fibre-Channel-over-Ethernet.aspx, (29.01.2011 16:12)
Dwivdi (2007) Dwivedi: Fibre Channel Risks, 2007 http://searchstoragechannel.techtarget.com/generic/0,295582,sid98_gci1250205,00.html ,(29.01.2011 16:12)
EMC (2010) EMC (Hrsg.): Introduction to Fibre Chanel oveter Ethernet (FCoE), (whitepaper) , 2010
Froehlich (2011) Froehlich: Grundlagen: Fibre-Channel-Switches http://www.tecchannel.de/storage/san/429772/grundlagen_fibre_channel_switches/index7.html, (29.01.2011 16:12)
IEEE 802.11e-2005 (2005) IEEE 802 LAN/MAN Standards Committee: 802.11e-2005 - IEEE Standard for Local and Metropolitan Area Networks - Specific Requirements - Part 11: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications - Amendment: Medium Access Method (MAC) Quality of Service Enhancements, 2005
IEEE 802.1QAB (2009) IEEE 802 LAN/MAN Standards Committee: 802.1AB - Station and Media Access Control Connectivity Discovery, 2009
IEEE 802.1Qau (2009)IEEE 802 LAN/MAN Standards Committee 802.1Qau - Congestion Notification, 2009
IEEE 802.1Qaz(2009) IEEE 802 LAN/MAN Standards Committee: 802.1Qaz - Enhanced Transmission Selection, 2009
IEEE 802.1Qbb(2009)IEEE 802 LAN/MAN Standards Committee: 802.1Qbb - Priority-based Flow Control, 2009
IEEE 802.3an (2006)IEEE 802 LAN/MAN Standards Committee: 10GBASE-T, 20006
IT-Wissen (2011) IT-Wissen(Hrsg.): fibre channel switch, http://www.itwissen.info/definition/lexikon/FC-Switch-fibre-channel-switch.html, (29.01.2011 16:12)
ixbtlabs.com(2011) ixbtlabs.com(Hrsg.): iSCSI Review, http://ixbtlabs.com/articles2/iscsi/, (29.01.2011 16:12)
Lapukhov (2011) Lapukhov: 802.3x Flow-Control, http://blog.ine.com/2008/07/08/802-3x-flow-control/, (29.01.2011 16:12)
Miniman (2008) Miniman: Intro to FCoE by EMC, http://www.youtube.com/watch?v=EZWaOda8mVY&feature=player_embedded, (29.01.2011 16:12)
Puaschitz (2011) Puaschitz: Was ist Glasfaser, http://www.it-academy.cc/article/236/Was+ist+Glasfaser.html, (29.01.2011 16:12)
RFC 3720 (2004) Satran, Meth, IBM, Sapuntzakiks, CISCO, HP, Zeidner: RFC 3720, 2004
Runge et. al (2008) Roland Runge, Christian Sturm, Nadin Ebel, Joachim Groh, Stefan Wißkirchen, Oliver Höller: VMware Infrastructure 3 im Business-Umfeld, Pearson Education, München, 2008
Servswitch (2011) servswitch.at(Hrsg.): Unterschied zwischen Singlemode- und Multimode Glasleiter, http://www.servswitch.at/bb_explains.html#FO_1, (29.01.2011 16:12)
TANEJA (2007) The TANEJA Group(Hrsg.): Fibre Channel Over Ethernet: A Unified Fabric in Sight, 2007
Persönliche Werkzeuge