Kurs 2: Lokale KI mit LLM, Bild-KI & live Wetter-API

In diesem Kurs 2 erweitern wir gemeinsam unseren lokalen KI-Agenten aus Kurs 1 um zwei große Bausteine: eine leistungsfähige Bild-KI und einen flexiblen Wetter-Skill. Wir bleiben bei der gleichen technischen Basis wie bisher – Ubuntu, NVIDIA-GPU, FastAPI und das vorhandene Web-Frontend – und bauen Schritt für Schritt darauf auf. Dabei konzentrieren wir uns darauf, die Struktur und die Einbaupunkte zu verstehen, nicht darauf, jede einzelne Codezeile auswendig zu können.

Zuerst richten wir eine lokale Bild-KI mit Stable Diffusion 1.5 ein. Wir legen das Modell an der richtigen Stelle ab, installieren die notwendigen Python-Bibliotheken und testen die Bildgenerierung direkt auf dem Server. Anschließend integrieren wir ein Bild-Tool in unser Backend, das Textanfragen erkennt, gewünschte Auflösungen und Modi (Padding, Cropping, Strecken) aus der Eingabe liest und daraus fertige PNG-Bilder erzeugt.

Diese Bilder werden im bestehenden Web-Frontend angezeigt und können bequem heruntergeladen werden. Danach bauen wir einen Wetter-Skill, der natürliche Fragen wie „Wie wird das Wetter morgen in xyz?“ versteht und aktuelle Daten sowie Vorhersagen über eine Wetter-API abruft. Wir kümmern uns um den API-Schlüssel, die Abfrage von aktueller Lage, nächster Stunden und mehrerer Tage und formulieren daraus gut lesbare Antworten für den Chat.

Zum Schluss verbinden wir alles im zentralen Chat-Endpunkt und im JavaScript-Frontend, sodass unser Agent automatisch erkennt, ob er chatten, ein Bild erzeugen oder Wetterdaten liefern soll. So entsteht ein vielseitiger, lokaler KI-Agent, den wir später mit Hilfe einer KI-Assistenz sehr leicht um weitere Skills erweitern können.