Jak używać lokalnych modeli w agentach AI

Lokalne modele w agentach AI przydają się, gdy model na Twoim komputerze lepiej pasuje do zadania niż model hostowany. Prostir Worker łączy ten komputer z Prostir. Może wykonać wskazane zadanie lub dostarczyć model dla istniejącego Agent. Inną możliwością są obsługiwane narzędzia do programowania, takie jak Claude Code, Codex, Gemini i GitHub Copilot, jeśli są zainstalowane, zalogowane i spełniają wymagania danego zadania. Nadal mogą korzystać z chmury dostawcy: uruchomienie narzędzia na własnym komputerze nie oznacza, że każdy model działa lokalnie.

Otwórz Workers w Prostir i postępuj według instrukcji instalacji. Uruchom dotnet prostir w folderze, w którym chcesz pracować. Przy pierwszym uruchomieniu zalogujesz się w przeglądarce, wybierzesz lub utworzysz Worker i połączysz komputer. Kolejne uruchomienia wykorzystują połączenie zapisane w systemowym magazynie poświadczeń. Folder roboczy to miejsce uruchomienia polecenia; jeśli zadanie potrzebuje osobnego folderu, wybierz go świadomie. Komputer i narzędzie wiersza poleceń muszą pozostać uruchomione, aby przyjmować pracę.

Prostir pokazuje dostawców i modele rzeczywiście zgłoszone przez komputer. Włącz wybranego dostawcę i sprawdź jego gotowość. Zainstalowane, obsługiwane narzędzia do programowania mogą zostać wykryte, ale nadal wymagają zgodnej wersji i działającego konta. Usługi lokalne, takie jak Ollama, llama.cpp i MLX, oraz obsługiwane foldery modeli ONNX wymagają własnej konfiguracji lokalnej. Wybór modelu nie pobiera jego wag, nie uruchamia brakującego silnika ani nie przyznaje dodatkowych możliwości korzystania z narzędzi. Dostępność zależy od platformy, instalacji i modelu.

W ustawieniach modelu Agent wybierz Worker, a potem dokładny komputer, dostawcę i model. To wybór źródła modelu obok kredytu AI Prostir i własnego klucza dostawcy. Instrukcje Agent, kontekst rozmowy, dostęp do wiedzy i dozwolone działania narzędzi pozostają pod kontrolą Prostir. Worker otrzymuje tylko ograniczone wywołanie modelu potrzebne do obsługi prośby. Flow może wywołać ten Agent albo użyć osobnego kroku zadania Worker. Nadal steruje kolejnością i stanem wykonania w Prostir. Worker jest infrastrukturą wykonawczą, a nie siódmym produktem na rynku Prostir.

Łącz wyłącznie komputer, nad którym masz kontrolę, i włączaj tylko wybranych dostawców. Lokalne pliki robocze, dane uwierzytelniające i uprawnienia systemowe nadal mają znaczenie. Obowiązują też prawa dostępu do produktu i narzędzi w Prostir. Wybór modelu lokalnego nie oznacza, że wszystkie dane produktu pozostają na komputerze: Agent nadal działa w Prostir, a prośba może zawierać dozwolony kontekst. Sprawdzaj postęp, wynik i błędy. Zerwane połączenie lub niepewne zakończenie procesu nie oznaczają powodzenia. Ponowne połączenie nie powtarza zadania po cichu.

Lokalny model korzysta z Twojego sprzętu, miejsca na dysku i prądu. Narzędzie do programowania lub dostawca modelu hostowanego może wymagać własnego abonamentu albo opłat za użycie; sprawdź jego warunki. Gdy wybrany model jest niedostępny, wykonanie przez Worker nie przełącza się po cichu na model hostowany przez Prostir ani innego dostawcę. Nadal obowiązują zwykłe limity planu Agent i Flow. Obsługiwane modele różnią się długością kontekstu, obsługą narzędzi i możliwościami odpowiedzi. Komputer bez połączenia lub niezgodny model może zatrzymać pracę. To słaby wybór dla usługi dostępnej stale, jeśli nie możesz utrzymać tego komputera w gotowości.

Zacznij od prośby, której wynik możesz ocenić. Połącz Worker, potwierdź gotowość dostawcy i modelu, a potem wyślij niewielkie zadanie. Obejrzyj postęp na żywo i wynik końcowy przed wyborem modelu dla Agent. Sprawdź jego rzeczywistą wiedzę i narzędzia, a następnie Flow, jeśli proces go potrzebuje. Funkcja Workers jest dostępna tylko wtedy, gdy pozwalają na to Twoje konto i konfiguracja funkcji. Obsługa zależy od dostawcy i platformy; samo połączenie komputera nie dowodzi, że każdy model lub działanie zadziała. Rozszerzaj użycie na podstawie sprawdzonego zachowania.