Wie konfiguriere ich LM Studio für die Verwendung mehrerer KIs auf einem Offline-PC?

LM Studioist ein Tool, das Ihnen dies ermöglichtFühren Sie lokale Large Language Models (LLMs) aus.auf Ihrem Computer. Das Beste an diesem Dienstprogramm ist, dass Sie die Modelle lokal ausführen können, um maximale Privatsphäre zu gewährleisten. In diesem Leitfaden werden wir Folgendes tunKonfigurieren Sie LM Studio für die Verwendung mehrerer KIs auf einem Offline-PC.Wenn Sie also interessiert sind, lesen Sie weiter.

LM Studioermöglicht es Ihnen, große Sprachmodelle herunterzuladen und auf Ihrem Computer auszuführen, ohne das Internet zu benötigen. Es hilft, Ihre Daten privat zu halten, indem alles lokal verarbeitet wird. Damit können Sie mehrere KI-Modelle für Aufgaben wie die Erstellung von Inhalten und die Datenanalyse verwenden. Wenn Sie LM Studio für die Verwendung mehrerer KIs auf einem Offline-PC konfigurieren möchten, befolgen Sie die unten aufgeführten Schritte.

1. Installieren Sie LM Studio
2. Installieren Sie mehrere Modelle
3. Beginnen Sie mit der Verwendung des Modells

Lassen Sie uns diese im Detail besprechen.

1] Installieren Sie LM Studio

Zunächst müssen wir das LM Studio-Tool von der offiziellen Website herunterladen. Dafür müssen Sie also gehenlmstudio.ai. Da ich Windows verwende, werde ich auswählenLaden Sie LM Studio für Windows herunter,aber abhängig von Ihrer Plattform müssen Sie die LM Studio-Version herunterladen. Sobald dies erledigt ist, wird der Download der entsprechenden Exe-Datei ausgelöst.

Doppelklicken Sie nach dem Herunterladen des LM Studio-Installationsmediums darauf und wählen Sie dann den Benutzer aus, für den Sie die Anwendung installieren möchten. Wenn Sie es für alle Benutzer installieren möchten, benötigen Sie Administratorzugriff, da eine UAC-Eingabeaufforderung angezeigt wird. Da ich Zugriff habe, habe ich das getan, dann den Ordner ausgewählt und schließlich die Anwendung gestartet.

2] Installieren Sie mehrere Modelle

Sobald Sie das LM Studio starten, werden Sie aufgefordert, Ihre ersten LLM-Modelle herunterzuladen. Klicken Sie aufHolen Sie sich Ihren ersten LLM,und laden Sie dann das vorgeschlagene Modell herunter. Wenn Sie Ihr eigenes Modell auswählen möchten, klicken Sie aufÜberspringen Sie das Einsteigen.

Um ein LLM-Modell herunterzuladen, müssen Sie auf klickenSymbol „Entdecken“ (Lupe).Suchen Sie nun nach dem Modell, das Sie herunterladen möchten. Eines der besten Dinge an LM Studio ist die Tatsache, dass es Ihre Systemdetails überprüft und Ihnen mitteilt, ob das Modell zu groß für Ihre Maschine ist. Zum Beispiel dieDeepSeek Coder V2 Liteist zu groß für mein Gerät, wohingegenFlamme 3.2 1Bwird reibungslos laufen.

Sobald Sie wissen, welches Modell auf Ihrer Maschine funktioniert, klicken Sie aufHerunterladenSymbol und lassen Sie es das Modell herunterladen. Abhängig von Ihrer Netzwerkbandbreite kann es einige Zeit dauern.

Dadurch wird das LLM-Modell zusammen mit der Laufzeit heruntergeladen. Wenn Sie jedoch auf ein anderes Modell upgraden möchten, sagen wir in meinem Fall, ich wollte CPU llama.cpp installieren, da ich keine leistungsstarke GPU habe und GPU-Beschleunigung nicht für meine Maschine geeignet ist, bin ich zu der gegangenLaufzeitRegisterkarte und klickte aufAktualisierenSchaltfläche neben Runtime-Modell.

Zum Herunterladenein anderes Modell,Du musst zum gehenEntdeckenKlicken Sie erneut auf die Schaltfläche und suchen Sie nach dem Modell, das Sie herunterladen möchten. Klicken Sie dann aufHerunterladendie damit verbundene Schaltfläche. Warten Sie einige Minuten, während Ihr Modell heruntergeladen wird. Sobald es heruntergeladen ist, können Sie zum gehenLaufzeitLaden Sie alle Updates herunter, sofern verfügbar und bei Bedarf, und dann müssen Sie nur noch auf klickenModelle laden.Dadurch wird der Server dieses Modells lokal auf Ihrem Computer gestartet.

Hinweis: Wenn Sie die Discover-Eingabeaufforderung geschlossen haben, ohne das Modell zu starten, gehen Sie zum Download-Symbol in der unteren linken Ecke des Bildschirms und wählen Sie dann „Modell laden“, das Ihrem Modell zugeordnet ist.

3] Beginnen Sie mit der Verwendung des Modells

Nachdem Sie die Modelle heruntergeladen haben, müssen Sie nur noch auf das Chat-Symbol gehen. Schauen Sie dann oben im Fenster nach und Sie sehen alle Ihre Modelle. Klicken Sie aufModelldas Sie auswählen möchten.

Sie können sogar die Einstellungen des Modells ändern, bevor Sie es verwenden. Klicken Sie dazu auf den Seitenpfeil neben dem Modell und ändern Sie dann Einstellungen wie zGPU-Offload, CPU-Thread-Pool-Größe, Kontextlänge,und andere Optionen. Wenn Sie fertig sind, klicken Sie einfach aufModell laden.

Sobald das Modell geladen ist, gehen Sie zum Chatbot und beginnen Sie mit dem KI-Modell zu chatten. Achten Sie darauf, die RAM- und CPU-Anzahl in der unteren rechten Ecke des Fensters zu notieren.

Hoffentlich können Sie mit Hilfe dieser Anleitung mehrere LLM-Modelle in LM Studio ausführen. Es gibt jedoch noch andereSie sollten sie sich auch ansehen.

Lesen:

Funktioniert LM Studio offline?

Ja,LM StudioFunktioniert offline. Sobald Sie die notwendigen Modelle und Laufzeiten heruntergeladen haben, können Sie es komplett ohne Internetverbindung nutzen. Die gesamte Verarbeitung erfolgt lokal auf Ihrem Computer, sodass Ihre Daten vertraulich bleiben.

Lesen:

Wie viel RAM benötige ich für LM Studio?

Jedes Modell in LM Studio hat unterschiedliche RAM-Anforderungen. Wir empfehlen Ihnen jedoch, über mindestens 16 GB RAM zu verfügen, wenn Sie jedes Modell ohne Probleme ausführen möchten. Wenn Sie außerdem die Möglichkeit haben, eine GPU hinzuzufügen, tun Sie dies auch.

Lesen Sie auch:.