Wir bemerken den technischen Fortschritt bei den grossen Sprachmodellen meist an deren Präzision und Eloquenz. Doch weit eindrücklicher sind die Optimierungen auf technischer Seite: Heute gibt es Sprachmodelle, die man auf einem leistungsfähigen PC zu Hause laufen lassen kann. Sie kommen zwar nicht ganz an chatGPT heran, doch für viele Aufgaben reicht ihre Leistung völlig aus.
Der grösste Vorteil liegt klar an der Datenhoheit: Nun gelangen keine Daten mehr ins Internet, oder werden für das Training von neuen Modellen verwendet. Die meisten Programme sind gratis und open-source. Die Modelle müssen separat heruntergeladen werden, doch funktioniert das oft sehr einfach. Es gibt eine Vielzahl an Modellen mit unterschiedlichen Spezialisierungen, auch deren Einsatz (nur privat, oder auch kommerziell) ist verschieden.
chat-KIs
Eines der ersten Programme war gpt4all. Es kann auf Windows, MacOS oder Linux installiert werden. Im Programm selbst werden dann die gewünschten Modelle heruntergeladen und die Chats geführt.
Sehr ähnlich funktioniert LM Studio. Das Programm bietet 3 Ansichten, sodass Anfänger wie auch Experten passend viele Einstellungen sehen. Man kann alle Modelle von HuggingFace direkt im Programm herunterladen, was einer riesige Auswahl an Modellen entspricht.
Dieser Post von t3n stellt einige lokale KI-Modelle vor und erklärt deren Funktionsweise.
Bilder erstellen
Wer lokal Bilder generieren möchte, kann dies mit stable diffusion machen:
NMKD Stable Diffusion GUI ist ein Windows-Programm mit dem man ganz ohne Code KI-Bilder generieren lassen kann.
In der Installation etwas komplizierter ist AUTOMATIC1111 stable-diffusion-webui. Die Bedienung läuft über eine lokale Website, welche dann aber intuitiv ist. Das Programm unterstützt viele Zusätze, so auch ControlNet.
Immer populärer wird ComfyUI: Einmal installiert, können KI-Abläufe mit Nodes (Kästchen mit verbindbaren Linien) konfiguriert und gestartet werden. Viele Abläufe sind bereits vordefiniert und können heruntergeladen und einfach in das Fenster gezogen werden. Die allermeisten Bild-KIs wie auch Video-KIs sind bereits vorhanden und im Web gut dokumentiert. Besonders einfach ist die Installation von ComfyUI mittels Pinokio.
Text, Bild, Video, … – Plattformen für sämtliche Modelle
Pinokio ist ein Browser, den man auf dem eigenen PC installiert. Mit einem Mausklick können dann unterschiedliche KI-Modelle samt den dazugehörigen Python-Libraries und allen Zusätzen automatisch installiert werden. Dabei bleiben die Installationen voneinander getrennt – und noch wichtiger: auch vom normalem Betriebssystem sauber getrennt. Wer also unterschiedliche Modell ausprobieren möchte ohne sein Arbeits-System zu beeinträchtigen, wird hier fündig.
Ähnlich wie Pinokio funktionert Ollama. Der Unterschied ist für manche ein Nachteil, für andere ein Vorteil: Ollama gibt es nur im Textzeilenmodus. Wer auf eine grafische Oberfläche verzichten kann, findet aber eine einfache und sehr vielseitig einsetzbare Plattform für die Installation und den Betrieb von lokalen KI-Modellen.