Steam in-home Streaming-Server (virtualisiert @ Linux KVM)

Mein Ziel
- keinen lauten Desktop mehr unter dem Schreibtisch der im schlimmsten Fall noch Hitze wirft
- Alle meine Spiele auf jeden Gerät (auch am TV im Wohnzimmer via ShildTV) auf maximalen Details spielen können
- ein Zentraler Server für viele VMs zum testen, probieren ...
- zentraler Storage-Server für meine großen HDDs
- möglichst kompakt in einem Gerät
- leise!

Ich habe lange überlegt und mich darüber belesen, was heutzutage schon alles möglich ist mit Virtualisierung.
Dank des tollen CPU-Features vt-d (intel) kann man heutzutage PCI(e) Devices in eine VM direkt durchreichen und das Gerät somit direkt ansprechen.

Kommen wir hier gleich schon zu einem brenzligen "Knackpunkt". VT-D ist aus Intels (und vieler Mainboardhersteller) Sicht leider ein "Professionelles" Feature, was im Consumer-Desktop Bereich nicht so große Beachtung findet. Wodurch mein erster Feldversuch mit meinem noch vorhandenen Desktop nicht funktionierte. Laut ark.intel unterstützt meine CPU ab Rev.2 zwar vt-d aber mein Mainboard erkennt das trotz Bios-Update nicht so wirklich. Auch sind einige Angaben im Bios selber widersprüchlich.
Auf der einen Seite wird es zwar als aktiv angezeigt aber auf der anderen Seite im Betriebssystem (Windows und Linux) taucht es nicht auf.
In unterschiedlichen Foren wird man irgendwann auf ein paar Listen stoßen die zeigen mit welcher CPU/Mainboard-Kombinationen es schon erfolge gab aber sein wir mal ehrlich ... ... letztlich ist sowas wieder nichts halbes und nichts ganzes und ich möchte am Ende ja ein funktionierendes System!

Also steht erst einmal ein HW-Kauf an:
Da das ganze System sowieso ein Headless-Server (kein Monitor/Maus/Tasta usw.) werden soll, benötigen wir hier also richtige Server-Hardware.

Hier kann man natürlich selber je nach Budget entscheiden. Ich möchte hier lediglich meine Konfiguration vorstellen, die ich nach meinen Anforderungen ausgesucht habe.

Board:
Supermicro X10SRA-F
https://www.supermicro.nl/products/motherboard/Xeon/C600/X10SRA-F.cfm

Ich kenne SuperMicro schon aus der Firma und habe damit eigentlich schon immer sehr gute Erfahrungen gemacht. Das non-plus-ultra für einen Headless-Server ist hier das sogenannte IPMI ... das ist sozusagen eine super-mini Rechner auf dem Mainboard der unabhängig vom Hauptsystem
ein Webinterface zur Verfügung stellt, was man über den Browser/ip aufrufen kann. Hier kann man den Server an/ab schalten, ein Java-Basiertes VNC starten, Sensordaten checken,
Errorlogs vom Bios/System auslesen, virtuelle Laufwerke mounten und vieles mehr.

CPU:
Xeon E5-2640 v4
http://ark.intel.com/de/products/92984/Intel-Xeon-Processor-E5-2640-v4-25M-Cache-2_40-GHz

Kommen wir zum Herzstück unseres Systemes. Neben "zocken" soll das System auch einige VMs unterschiedlicher Leistungsklasse hosten (compute, render VMS usw.).
Aus diesem Grund entschloss ich mich für eine 10 Core CPU.

RAM:
4 x 16GB (1x 16384MB) Samsung M393A2G40DB0-CPB DDR4-2133 regECC DIMM CL15 Single (64 GB gesamt)

Dieser Punkt ist ein wenig das Ärgernis ... leider (hier habe ich bei Supermicro direkt nachgefragt) benötigt das Board mit einem Xeon regECC RAM, was sich im Preis deutlich bemerkbar macht. Die einen schwören auf ECC ... ich könnte bei mir @home darauf aber auch verzichten.

CPU Lüfter:
EKL Alpenföhn Brocken ECO Tower Kühler

Hält die CPU selbst unter Last auf unter 53 °C und ist flüster-leise zu einem unschlagbaren Preis!

Netzteil:
650 Watt Corsair RMi Series RM650i Modula 80+ Gold

Leise (lüfterlos bis 60 % Last), Guter Wirkungsgrad, Kabel-Management

Gehäuse:
Fractal Define R5 gedämmt schwarz

Schlicht, Elegant, super verarbeitet, Lüftersteuerung, gedämmt, viel Platz

GPU
aus meinem ehemaligen Desktop eine GTX 970

SSDs/HDDs
1 x 512 GB SSD für Hypervisor und boot(system) vdisks der VMs
1 x 1 TB SSD für die Daten vdisks der VMS

NAS-Speicher
2 x 2 TB HDD @ Soft-RAID 1
2 x 4 TB HDD @ Soft-RAID 1

Software-Aufbau
HyperVisor: Debian Jessie mit Proxmox v4 @ 4.4.13 Kernel


Wichtig!!!!
Das ist keine Schritt für Schritt Abtipp-Anleitung. Ich gehe davon aus, dass jeder der das machen möchte fundierte Linux-Kenntnisse besitzt und weis wie man mit ProxmoxVE umgeht.


Am Hypervisor selber werden wir nicht viel mehr machen als die VMs verwalten. Für alle anderen Tätigkeiten erstellen wir eine eigene VM!
Dank Proxmox können wir das meiste direkt über das Webinterface bequem steuern.

Kommen wir zum Erstellen der eigentlichen WindowsVM
1.)
Als erstes benötigen wir eine Windows 10 64 Bit ISO und natürlich einen gültigen Key.
Diese laden wir (von mir aus auch über das ProxmoxUI) auf den Server
2.)
Für die Installation benötigen später auch noch Treiber für Windows
https://fedoraproject.org/wiki/Windows_Virtio_Drivers
ladet einfach die "Latest virtio-win iso" auf den Hypervisor (nicht vergessen diese ISO mit als zusätzliches Laufwerk in die VM mit einzubinden!)
3.)
Eine VM über das ProxMox UI erstellen mit 16 GB RAM und 6 Cores (vom Typ HOST)
Beim erstellen der HardDisk als Bus/Device Type "SCSI" nutzen!
Netzwerkkarte Type: VirtIO

Dann erstmal alles bestätigen und die VM erstellen lassen.
So und nun geht es ab auf die Shell .... mit Putty oder einem anderen SSH-Client auf dem Hypervisor einloggen.
Das ConfigFile eurer VM öffnen
nano /etc/pve/qemu-server/VMID.conf

Den Punkt Bios auf ovmf stellen
bios: ovmf

und falls nicht vorhanden
machine: q35

Dann speichern.

Nun könnt Ihr die VM starten und Windows installieren.

Kommen wir nun zum eigentlich spannenden Punkt.
Richtet euch in Windows die RemoteDesktop Unterstützung ein. Wir nehmen gleich Änderungen vor die das Proxmox VNC deaktivieren (das müssen wir leider machen).

Jetzt reichen wir unsere Grafikkarte direkt zu unserer VM durch (diese erscheint wie bei einem normalen Rechner dann im Gerätemanager!).
Die nun folgenden Aktionen werden alle auf dem Hypervisor gemacht (im idealfall seid ihr sowieso noch eingeloggt)
Im Proxmox Wiki gibt es hierfür eigentlich einen sehr detailierten Eintrag
https://pve.proxmox.com/wiki/Pci_passthrough

Für uns sind folgende Schritte wichtig.

mit "lspci" suchen wir nach der pci card-Adresse unserer Grafikkarte

bei mir wären das nun folgende
02:00.0 VGA compatible controller: NVIDIA Corporation Device 13c2 (rev a1)
02:00.1 Audio device: NVIDIA Corporation Device 0fbb (rev a1)

also 02:00.0 für die gpu an sich und 02:00.1 für den HDMI-Soundchip der auf der GPU ist ... können wir beides durchreichen!

HINWEIS ... diese Adressen sind NICHT FIX! Wenn ihr karten umsteckt können die sich ändern und ihr müsst das in der config anpassen!

weiter möchte ich aber auch noch gleich die onboardSoundkarte in die VM mit durchreichen.
in meinem Fall ist das
00:1b.0 Audio device: Intel Corporation Wellsburg HD Audio Controller (rev 05)

Jetzt brauchen wir die vendor-ID von der Grafikkarte

mit "lspci -n -s card-Adresse"
in meinem Fall für GPU+Soundchip

lspci -n -s 02:00
02:00.0 0300: 10de:13c2 (rev a1)
02:00.1 0403: 10de:0fbb (rev a1)

jetzt das ganze noch in ein File schreiben
echo "options vfio-pci ids=10de:13c2,10de:0fbb" > /etc/modprobe.d/vfio.conf

jetzt die Treiber auf die "Blacklist" vom Hypervisor setzen, damit dieser die Geräte sich nicht schnappen kann

echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf
echo "blacklist wellsburg" >> /etc/modprobe.d/blacklist.conf

jetzt öffnen wir wieder das configfile unserer VM
nano /etc/pve/qemu-server/VMID.conf

und schreiben folgendes hinzu

vga: none
hostpci0: 02:00.0,pcie=1,x-vga=on # gpu
hostpci1: 02:00.1,pcie=1 # soundchip von gpu
hostpci2: 00:1b.0 # onboard soundchip

im Wiki steht, dass man GPU + GPU-sound kombiniert eintragen kann
hostpci0: 02:00 ,pcie=1,x-vga=on
allerdings hat das bei mir nicht funktioniert und in Windows nur Fehler verursacht.

nun das ConfigFile abspeichern und Hypervisor + VM neu starten.

Jetzt wird es etwas .... naja bäähh ... wir benötigen einen Monitor + Maus + Tasta ... das schließen wir jetzt an den Server an.
USB Tasta + Maus reichen wir an die windows VM durch.

Die Frage ... wieso?! ... naja jetzt müssen wir den Treiber für die Graka installieren. RemoteDesktop macht uns da allerdings einen Strich durch die Rechnung, da das ganze
alle Features der GPU deaktivert oder dergleiuchen. Jedenfalls habe ich es so nicht geschafft den Treiber ordentlich zu installieren.
Mit Maus/Tasta + Monitor funktionierte das aber einwandfrei. Keine Angst ... das müssen wir nur einmalig machen und am Ende kann alles wieder abgezogen werden.

Haben wir alles richtig gemacht, und die GPU wurde vom Treiber erkannt und richtig installiert, können wir Moni + Tasta usw. wieder vom Server abziehen.

Jetzt loggen wir uns via RemoteDesktop ein und installieren Steam. Haben wir Steam installiert, können wir nun unsere Spiele installieren.

Noch etwas zu windows ... deaktiviert in den Energiesparoptionen den Standby und sorgt dafür, dass euer User in Windows kein PW hat ... sprich sich automatisch nach dem boot einloggt.

Das war jetzt mal so eine grobe Anleitung. die Individuelle Einrichtung kann dann jeder selber vornehmen.

Bei mir läuft unter Windows nun Steam+Battle.net + openvpn
Meine Spiele (wie z.B. das aktuele DOOM oder Unreal Tournament "4") laufen auf mximalen Details @ 1080p @ 30 Mbit Stream konstant bei 60 FPS

Wie sieht es mit dem inputlag aus?
Meine Geräte sind via Gbit LAN im Netzwerk verkabelt. Einen Unterschied merke ich überhaupt nicht.

Wie ist das mit der Grafik-Qualität?
Es gibt ein paar Schwachstellen wie z.B. Rote Schrift auf schwarzen Hintergrund. Bei genauem hinschauen sieht man einen kleinen grauen Rand oder wie man das nennen soll.
Allerdings fällt das wirklich nur dann auf, wenn man wirklich genau darauf achtet. Im normalen Spiel wird man den Unterschied fast garnicht bemerken.

Ich glaube das mit der Latenz nicht!
Ist aber so :P nein Spaß bei Seite. Ich habe sogar einen Extremtest gemacht und ein Spiel auf Arbeit von zuhause gestreamt ... das Spiel .. Unreal Tournament ( ein wirklich gemeiner Test)
Leider leidet natürlich die Qualität aufgrund meines begrenzten 10 Mbit DSL uploads ... aber von der Latenz bzgl. der Tasta/Mauseingaben war ich sprachlos. Das ganze konnte
man ohne Probleme als "spielbar" betrachten.

Läuft das ganze nun stabil?
Absolut ... kein Problem bis jetzt aufgetreten.

Was hast du nu davon?
Freiheit
Also im Ernst ... nun ist es egals mit welchen OS ich arbeite (solange darauf Steam läuft). Ich kann nun jedes Spiel spielen ... wo, wann und wie ich möchte.
Nebenbei hatte es mir natürlich auch Spaß gemacht so ein System mal aufzusetzen und ich würde es auch immer wieder so machen!

Wieso nochmal nun ein Xeon?
Erst die richtigen (Achtung bestimmte E3 Modelle haben das auch nicht) Xeons mit dem richtigen Board garantieren das VT-D wirklich so problemlos läuft wie es soll. Alles andere ist Glückssache und herumprobieren.
Naja es fehlt einfach eine richtige Konkurrenz für Intel aber solange es die nicht gibt, muss man in den sauren Apfel beißen und den Preis bezahlen.

Vielen Dank für das lesen und eventuell konnte ich den ein oder anderen inspirieren.