So starten Sie mit Foundry Local AI

Mit Microsofts Foundry Local AI können Nutzer kostenlos KI-Modelle lokal auf Windows-PCs ausführen, ohne Internetzugang. Ideal für Entwickler und KI-Enthusiasten, einfach zu installieren und auszuprobieren.

Die Ausführung eines LLM (Language Learning Model) auf Ihrem Windows-PC ist dank des Foundry Local AI-Tools von Microsoft jetzt erheblich einfacher. Es ist völlig kostenlos und bietet eine Vielzahl von KI-Modellen zur Auswahl.

Was ist Foundry Local AI

Microsoft hat kürzlich Foundry Local angekündigt, das hauptsächlich für Entwickler konzipiert ist. Das kostenlose Tool ermöglicht es Ihnen, LLMs lokal auf Ihrem PC auszuführen, ohne Internetverbindung. Sie werden zwar nicht die gleichen Ergebnisse wie bei den beliebten cloudbasierten KI-Tools wie ChatGPT, Gemini oder Copilot erzielen, aber es ist eine unterhaltsame Möglichkeit, mit KI-Modellen zu experimentieren.

Da es sich noch in der öffentlichen Vorschau befindet, ist es noch recht basic, also erwarten Sie nicht viel. Mit der Zeit wird Foundry Local wahrscheinlich besser und umfangreicher.

Foundry Local Voraussetzungen

Bevor Sie etwas installieren, stellen Sie sicher, dass Ihr PC in der Lage ist, Foundry Local AI-Modelle auszuführen. Ja, idealerweise möchte Microsoft, dass Sie einen leistungsstarken Copilot+-PC haben, aber das ist nicht zwingend erforderlich.

Sie benötigen:

• 64-Bit-Version von Windows 10 oder 11, Windows Server 2025 oder macOS
• 3 GB Speicherplatz auf der Festplatte, jedoch werden 15 GB empfohlen, insbesondere wenn mehrere Modelle verwendet werden
• 8 GB RAM, wobei 16 GB für die besten Ergebnisse empfohlen werden
• Obwohl nicht erforderlich, empfiehlt Microsoft die Verwendung einer NVIDIA-GPU (Serie 2000 oder neuer), Qualcomm Snapdragon X Elite (8 GB oder mehr Speicher), AMD-GPU (Serie 6000 oder neuer) oder Apple-Silizium

Sie benötigen Internetzugang nur während der Installation und wenn Sie ein neues KI-Modell installieren. Danach können Sie die Verbindung gerne trennen. Stellen Sie außerdem sicher, dass Sie über Administratorrechte verfügen, um Foundry Local zu installieren.

So installieren Sie Foundry Local AI

Anders als bei vielen Apps müssen Sie nicht auf eine Website oder den Microsoft Store gehen, um Foundry Local zu installieren. Stattdessen verwenden Sie ein „winget“, welches Ihnen erlaubt, Software über eine Eingabeaufforderung zu installieren. Keine Sorge, Sie müssen kein Entwickler oder Profi in der Eingabeaufforderung sein.

Wenn Sie eine traditionellere Installation bevorzugen, laden Sie es von GitHub herunter.

Öffnen Sie bei Windows ein Terminalfenster. Drücken Sie Win + X und klicken Sie auf Terminal (Admin). Geben Sie den folgenden Befehl ein:

winget install Microsoft.FoundryLocal

Stimmen Sie den Bedingungen zu und warten Sie, bis die Installation abgeschlossen ist. Dies kann einige Minuten dauern.

Für macOS öffnen Sie ein Terminalfenster und geben Folgendes ein:

brew tap microsoft/foundrylocal
brew install foundrylocal

Wenn Sie ein LLM auf einem Raspberry Pi herunterladen möchten, versuchen Sie diese Schritte.

Ihr erstes KI-Modell installieren

Für den ersten Einsatz empfiehlt Microsoft ein leichtgewichtiges Modell – das Phi-3.5-mini. Sie müssen nicht damit beginnen, aber wenn der Speicher knapp ist, ist es eine gute Möglichkeit, Dinge auszuprobieren, ohne wertvollen Speicherplatz zu opfern.

Öffnen Sie ein Terminalfenster und geben Sie den folgenden Befehl ein:

foundry model run phi-3.5-mini

Es kann einige Minuten oder länger dauern, je nach dem gewählten Modell. Bei mir hat dieses spezielle Modell nur zwei Minuten gedauert. Das Beste daran ist, dass Foundry Local AI die optimale Version des Modells für Ihre Hardwarekonfiguration installiert, sodass Sie nicht selbst herausfinden müssen, was genau installiert werden soll.

Wenn Sie andere Modelle ausprobieren möchten, sehen Sie sich die vollständige Liste mit folgendem Befehl an:

foundry model list

Jedes Modell in der Liste zeigt, wie viel Speicherplatz es benötigt und wofür es verwendet wird. Derzeit dienen alle Modelle nur der Chat-Vervollständigung.

Interaktion mit lokalen KI-Modellen

Es gibt keine praktische grafische Oberfläche für die Interaktion mit den KI-Modellen, die Sie installiert haben. Stattdessen erledigen Sie alles über die Eingabeaufforderung. Aber es ist nicht viel anders, als mit einem anderen KI-Chatbot zu chatten. Geben Sie einfach Ihren Text ein, wenn Sie die Eingabeaufforderung Interaktiver Modus, bitte geben Sie Ihren Text ein sehen.

Jedes KI-Modell hat seine eigenen Einschränkungen. Zum Beispiel habe ich eine Eingabeaufforderung für das Phi-3.5-mini eingegeben, in der ich fragte: „Was ist Foundry Local?“ Ich habe dies speziell getan, um zu verdeutlichen, dass dieses Modell über begrenztes Wissen verfügt.

Frühjahr 2023 und früher. Das Ergebnis erwähnt diese Einschränkung, versucht jedoch, die Frage so gut wie möglich zu beantworten. Spoiler-Alarm – die Frage wurde nicht korrekt beantwortet, aber das habe ich erwartet.

Für die besten Ergebnisse bleiben Sie bei einfachen Fragen, die nicht viel Recherche oder aktuelles/brisanteres Wissen erfordern.

Wenn Sie zwischen den bereits installierten Modellen wechseln möchten, verwenden Sie den folgenden Befehl:

foundry model run modelname

Ersetzen Sie einfach "modelname" durch Ihr bevorzugtes Modell.

Wenn Sie im interaktiven Modus sind, auch bekannt als Chat-Modus, müssen Sie das Terminalfenster schließen und eine neue Sitzung starten. Derzeit gibt es keinen Exit-Befehl, was definitiv eine benötigte Funktion ist.

Wichtige Foundry Local AI-Befehle

Während es eine Liste gibt, die Sie überprüfen können, müssen Sie wirklich nur eine Handvoll Befehle kennen, um Foundry Local zu nutzen. Diese Befehle zeigen Ihnen alle verfügbaren Befehle innerhalb der drei Hauptkategorien – Modell, Dienst und Cache.

Sehen Sie alle allgemeinen Foundry Local-Befehle mit:

foundry --help

Für Modellsbefehle verwenden Sie:

foundry model --help

Für Dienstbefehle verwenden Sie:

foundry service --help

Für Cache-Befehle verwenden Sie:

foundry cache --help

Solange Sie sich an diese erinnern, benötigen Sie nicht wirklich die vollständige Liste. Aber denken Sie daran, dass im Laufe der Zeit wahrscheinlich neue Befehle hinzugefügt werden, während Microsoft den Dienst weiterentwickelt. Betrachten Sie es vorerst eher als Beta-Test als als voll funktionsfähiges Tool.

Wenn Sie mehr benötigen, als Foundry Local bieten kann, bleiben Sie bei ChatGPT oder diesen Alternativen. Oder probieren Sie diese KI-Tools aus, um Ihr Leben und Ihre Produktivität zu verbessern.