NVMe über TCP: die neueste Begeisterung eines Oracle-Ingenieurs

Allan Adamson ist der Name des Oracle-Ingenieurs, der dieses Projekt in Auftrag gegeben hat. Er arbeitet an der Linux-Kernel-Entwicklung für die Distribution dieses Unternehmens und hat nun eine Einführung in die Verbindung von NVMe-Flash-Speicher über TCP erhalten.

Oracle Linux UEK5 Es ist die Version, die NVMe in Fabrics eingeführt hat, sodass NVMe-Speicherbefehle mithilfe von RDMA über Netzwerke wie Infiniband oder Ethernet übertragen werden können, die sowohl in HPC- als auch in Rechenzentren weit verbreitet sind. In der UEK5U1-Version wurde diese Unterstützung erweitert, um auch Glasfaserkanäle zu unterstützen.

Jetzt in der UEK6 diese neue NVMe über TCPDies erweitert das oben Gesagte erneut, um Standard-Ethernet zu unterstützen, ohne RDMA-kompatible räumliche Netzwerkhardware erwerben zu müssen.

Nun, wenn Sie sich fragen Was ist das mit NVME über TCP?Sie sollten wissen, dass das Multi-Queuing-Modell von NVMe bis zu 64.000 E / A-Sende- und Abschlusswarteschlangen sowie eine Verwaltungssendewarteschlange und eine Abschlusswarteschlange in jedem NVMe-Controller implementiert. Bei einem an PCIe angeschlossenen NVMe-Controller werden diese Warteschlangen vom Hostspeicher implementiert und sowohl von den Host-CPUs als auch vom NVMe-Controller gemeinsam genutzt.

Die E / A wird an a gesendet NVMe-Gerät Wenn der Gerätetreiber einen Befehl in eine Sendewarteschlange schreibt und dann ein Protokoll schreibt, um das Gerät über dieses Ereignis zu benachrichtigen. Wenn der Befehl ausgeführt wird, schreibt das Gerät in eine E / A-Abschlusswarteschlange und generiert einen Interrupt, um den Gerätetreiber über den Abschluss zu informieren.

Quelle: Oracle

Mit NVMe over Fabrics wird dieses grundlegende Schema für das Senden und Beenden von Warteschlangen im Hostspeicher erweitert, sodass sie auch in a dupliziert werden können Fernbedienung, so dass ein hostbasiertes Warteschlangenpaar einem Controller-basierten Warteschlangenpaar zugeordnet wird. Etwas, das für einen PC absurd ist, das aber für HPC-Geräte und -Server für die Fernkommunikation zwischen Knoten sehr interessant sein kann ...