Model językowy nie musi działać na serwerach zewnętrznej firmy. Możesz pobrać go na własny komputer i korzystać z niego nawet bez połączenia z internetem. W tym poradniku pokazujemy, jak uruchomić model AI bez wysyłania danych do chmury, jak dobrać model do posiadanego sprzętu oraz jak sprawdzić, czy cała konfiguracja rzeczywiście działa lokalnie.
- Lokalny model AI wykonuje obliczenia na procesorze, karcie graficznej lub układzie Apple Silicon znajdującym się w komputerze.
- Do pierwszej instalacji i pobrania modelu zwykle potrzebny jest internet, ale późniejsze rozmowy mogą odbywać się całkowicie offline.
- Jednym z najprostszych narzędzi do uruchamiania lokalnych modeli jest Ollama, dostępna na Windowsie, macOS i Linuxie.
- Nie należy wybierać modeli oznaczonych jako chmurowe, na przykład nazw kończących się dopiskiem :cloud.
- Prywatność zależy również od używanego interfejsu, wtyczek, agentów i programów podłączonych do lokalnego modelu.
Co właściwie oznacza lokalny model AI?
W usługach chmurowych wpisane polecenie jest przesyłane przez internet na serwer operatora. Tam model przygotowuje odpowiedź, która następnie wraca do przeglądarki lub aplikacji.
W konfiguracji lokalnej pliki modelu znajdują się na dysku użytkownika, a generowanie odpowiedzi odbywa się na jego komputerze. Ollama udostępnia lokalny interfejs API domyślnie pod adresem localhost:11434, dlatego programy działające na tym samym urządzeniu mogą korzystać z modelu bez łączenia się z zewnętrzną usługą. Producent deklaruje również, że podczas korzystania z modeli lokalnych nie otrzymuje treści pytań ani odpowiedzi użytkownika.
Trzeba jednak rozróżnić model lokalny od aplikacji, która jedynie wygląda jak lokalna. Niektóre programy mogą łączyć lokalny model z wyszukiwarką internetową, zewnętrznym API, usługą synchronizacji albo agentem wykonującym zadania w sieci. W takiej konfiguracji sam model działa na komputerze, ale część danych nadal może opuszczać urządzenie.
Krok 1. Sprawdź, czy komputer poradzi sobie z lokalnym modelem
Do uruchomienia małego modelu językowego nie jest konieczny komputer przeznaczony do zastosowań profesjonalnych. Trzeba jednak dopasować wielkość modelu do dostępnej pamięci.
Orientacyjnie można przyjąć następujące punkty startowe:
- przy 8 GB RAM najlepiej wybierać modele mające około 1–2 miliardów parametrów;
- przy 16 GB RAM można zacząć od modelu 4B;
- przy 32 GB RAM lub więcej można próbować modeli 8B, 12B i większych;
- dedykowana karta graficzna nie jest niezbędna, ale może znacznie przyspieszyć generowanie;
- komputery Mac z układami Apple Silicon mogą wykorzystywać akcelerację przez Metal.
Są to wartości orientacyjne. Rzeczywiste zużycie pamięci zależy między innymi od kwantyzacji, długości kontekstu, systemu operacyjnego oraz liczby uruchomionych aplikacji. Zwiększenie długości kontekstu podnosi zapotrzebowanie na RAM lub VRAM.
Na początek dobrze pozostawić przynajmniej 10–15 GB wolnego miejsca na dysku. Przykładowy model Gemma 3 4B dostępny w bibliotece Ollama zajmuje około 3,3 GB, ale dodatkowego miejsca potrzebują aplikacja, pamięć podręczna i kolejne modele.
Krok 2. Zainstaluj Ollamę
Ollama jest narzędziem pozwalającym pobierać i uruchamiać modele językowe z poziomu terminala. Działa na Windowsie, macOS oraz Linuxie.
Instalacja na Windowsie
Pobierz plik OllamaSetup.exe z oficjalnej strony projektu i uruchom instalator. Standardowa instalacja odbywa się w obrębie konta użytkownika i nie powinna wymagać uprawnień administratora. Po zakończeniu instalacji uruchom ponownie Terminal Windows lub PowerShell.
Instalacja na macOS
Pobierz obraz instalacyjny DMG, otwórz go, a następnie przeciągnij aplikację Ollama do katalogu Programy. Podczas pierwszego uruchomienia program może poprosić o utworzenie odnośnika umożliwiającego korzystanie z polecenia ollama w terminalu.
Instalacja na Linuxie
W terminalu można skorzystać z oficjalnego skryptu instalacyjnego:
curl -fsSL https://ollama.com/install.sh | sh
Skrypt powinien być pobierany wyłącznie z oficjalnej domeny projektu. Po instalacji usługę można sprawdzić poleceniami:
sudo systemctl status ollama
Jeżeli usługa nie jest uruchomiona:
sudo systemctl start ollama
Oficjalna dokumentacja opisuje również dodatkową konfigurację sterowników dla wybranych kart AMD i środowisk linuksowych.
Krok 3. Sprawdź, czy Ollama działa
Otwórz PowerShell, Terminal Windows albo terminal systemowy i wpisz:
ollama –version
Jeżeli instalacja przebiegła prawidłowo, zobaczysz numer zainstalowanej wersji.
Możesz również uruchomić menu programu poleceniem:
ollama
Aktualne wersje Ollamy udostępniają interaktywne menu umożliwiające uruchamianie modeli i integracji. Do podstawowej konfiguracji wystarczy jednak klasyczny interfejs wiersza poleceń.
Gdy terminal zwraca komunikat, że polecenie nie zostało znalezione, zamknij wszystkie okna terminala i uruchom je ponownie. Jeśli problem nie zniknie, wykonaj ponowną instalację aplikacji.
Krok 4. Pobierz odpowiedni model lokalny
Na komputerze z 16 GB pamięci RAM dobrym modelem testowym będzie Gemma 3 4B. Aby go pobrać, wpisz:
ollama pull gemma3:4b
Możesz też od razu użyć polecenia:
ollama run gemma3:4b
Jeżeli modelu nie ma jeszcze na dysku, Ollama najpierw go pobierze, a następnie uruchomi. Gemma 3 4B obsługuje tekst i obrazy, ma wielojęzyczny charakter oraz występuje w skwantyzowanym wariancie zajmującym około 3,3 GB.
Na komputerze z mniejszą ilością pamięci można wybrać lżejszy wariant, na przykład:
ollama run gemma3:1b
Aktualną listę modeli i dostępnych wariantów należy sprawdzać w oficjalnej bibliotece Ollama, ponieważ ich nazwy, rozmiary i dostępność mogą się zmieniać.
Uważaj na modele działające w chmurze
Ollama obsługuje obecnie zarówno modele lokalne, jak i chmurowe. Modele chmurowe wykonują obliczenia na serwerach Ollamy i wymagają zalogowania na konto. W ich nazwach może występować oznaczenie :cloud, na przykład:
nazwa-modelu:cloud
Aby pytania nie były wysyłane do chmury:
- nie wybieraj modeli z dopiskiem :cloud;
- nie wykonuj polecenia ollama signin, jeśli nie potrzebujesz usług sieciowych;
- pobieraj model, którego pliki są przechowywane lokalnie;
- po pobraniu sprawdź działanie programu przy wyłączonym internecie.
Krok 5. Rozpocznij rozmowę z modelem
Po wpisaniu:
ollama run gemma3:4b
pojawi się pole umożliwiające zadawanie pytań. Na początek można użyć prostego polecenia:
Wyjaśnij prostym językiem, czym jest szyfrowanie dysku.
Model powinien przygotować odpowiedź bez otwierania przeglądarki i bez konieczności korzystania z konta internetowego.
Aby zakończyć sesję, użyj skrótu:
Ctrl+D
lub wpisz:
/bye
Listę modeli zapisanych na komputerze można sprawdzić poleceniem:
ollama list
Dzięki temu łatwo zweryfikować, czy używany model został rzeczywiście pobrany na dysk.
Krok 6. Sprawdź działanie bez połączenia z internetem
Po zakończeniu pobierania modelu:
- Zamknij aktywną rozmowę.
- Wyłącz Wi-Fi albo odłącz kabel sieciowy.
- Ponownie uruchom terminal.
- Wpisz:
ollama run gemma3:4b
- Zadaj kilka pytań i sprawdź, czy odpowiedzi są generowane.
Jeżeli model działa po odłączeniu internetu, oznacza to, że jego podstawowe obliczenia są wykonywane lokalnie. Taki test nie zastępuje audytu ruchu sieciowego, ale pozwala szybko potwierdzić, że program nie potrzebuje chmury do generowania odpowiedzi.
W przypadku Ollamy połączenie z internetem jest nadal potrzebne między innymi do pobierania nowych modeli i aktualizacji. Dokumentacja wskazuje, że pobieranie modeli odbywa się przez połączenie HTTPS.
Krok 7. Zadbaj o prywatność całej konfiguracji
Samo uruchomienie lokalnego modelu nie zabezpiecza automatycznie wszystkich danych znajdujących się na komputerze. Szczególną uwagę należy zwrócić na programy pośredniczące między użytkownikiem a modelem.
Nie podłączaj nieznanych wtyczek i agentów
Rozszerzenia, agenci oraz serwery MCP mogą otrzymać dostęp do plików, terminala lub sieci. Niektóre z nich potrafią uruchamiać kod i przesyłać informacje do usług zewnętrznych. Instaluj wyłącznie elementy pochodzące z zaufanych źródeł i dokładnie sprawdzaj przyznawane uprawnienia. Oficjalna dokumentacja LM Studio ostrzega, że serwery MCP mogą uzyskać dostęp do lokalnych plików, wykonywać kod i korzystać z połączenia sieciowego.
Nie wystawiaj lokalnego serwera do internetu
Domyślne API Ollamy działa pod adresem:
http://localhost:11434
Adres localhost oznacza, że usługa jest dostępna na tym samym komputerze. Nie zmieniaj konfiguracji na nasłuchiwanie na wszystkich interfejsach sieciowych, jeśli nie wiesz, jak zabezpieczyć serwer zaporą i uwierzytelnianiem.
Uważaj na synchronizowane foldery
Nie zapisuj poufnych dokumentów, historii rozmów ani eksportów w katalogach automatycznie synchronizowanych z dyskiem chmurowym. Lokalny model może nie wysyłać danych, ale zrobi to klient synchronizujący cały folder.
W przypadku szczególnie wrażliwych materiałów warto dodatkowo:
- włączyć szyfrowanie całego dysku;
- korzystać z osobnego konta systemowego;
- blokować komputer silnym hasłem;
- aktualizować system i aplikację;
- nie udostępniać lokalnego API w sieci;
- usuwać niepotrzebne historie rozmów i pliki tymczasowe.
Jak korzystać z lokalnego AI bez terminala?
Osoby, które wolą interfejs graficzny, mogą skorzystać z LM Studio. Program pozwala wyszukiwać, pobierać i uruchamiać kompatybilne modele, a następnie rozmawiać z nimi w klasycznym oknie czatu.
Podstawowa konfiguracja wygląda następująco:
- Zainstaluj LM Studio.
- Otwórz zakładkę służącą do wyszukiwania modeli.
- Pobierz model dopasowany do dostępnej pamięci.
- Przejdź do zakładki czatu.
- Załaduj pobrany model do pamięci.
- Rozpocznij rozmowę.
- Po pobraniu modelu odłącz internet i sprawdź, czy czat nadal działa.
LM Studio deklaruje, że podstawowe funkcje, takie jak rozmowa z pobranym modelem, praca z dokumentami i lokalny serwer, mogą działać całkowicie offline. Wyszukiwanie oraz pobieranie nowych modeli, środowisk uruchomieniowych i aktualizacji wymaga natomiast połączenia z internetem.
Ollama będzie wygodniejsza dla osób korzystających z terminala, skryptów i integracji programistycznych. LM Studio lepiej sprawdzi się u użytkowników oczekujących gotowego interfejsu graficznego.
Najczęstsze problemy z lokalnym modelem AI
Poniżej prezentujemy najczęstsze problemy oraz rozwiązania związane z lokalnym modelem AI.
Model generuje odpowiedzi bardzo wolno
Najczęściej oznacza to, że wybrany model jest zbyt duży w stosunku do dostępnej pamięci lub działa głównie na procesorze. Zatrzymaj programy zużywające dużo RAM-u i uruchom mniejszy wariant, na przykład 1B zamiast 4B.
Warto również ograniczyć długość kontekstu. Bardzo duże okno kontekstowe pozwala analizować więcej tekstu, ale zwiększa zapotrzebowanie na pamięć.
Program zamyka się podczas ładowania modelu
Przyczyną może być brak wolnej pamięci RAM lub VRAM. Uruchom ponownie komputer, zamknij inne aplikacje i wybierz mniejszy model. Sam rozmiar pliku na dysku nie odpowiada dokładnie ilości pamięci potrzebnej podczas działania.
Model odpowiada słabiej niż usługa w chmurze
Małe modele lokalne mają zwykle mniejsze możliwości niż największe modele uruchamiane w centrach danych. Nadal mogą dobrze sprawdzać się podczas streszczania tekstów, redagowania prostych materiałów, klasyfikowania danych, generowania pomysłów czy pomocy przy krótszym kodzie.
Do trudnego rozumowania, analizy bardzo długich dokumentów albo specjalistycznych zadań może być potrzebny większy model, a więc również mocniejszy komputer.
Model nie działa po odłączeniu internetu
Najpierw sprawdź poleceniem ollama list, czy został rzeczywiście pobrany. Upewnij się również, że jego nazwa nie kończy się dopiskiem :cloud. Modele chmurowe nie będą działały bez połączenia z serwerem.
Prywatność zależy od całego łańcucha, nie tylko od modelu
Uruchomienie modelu na własnym komputerze pozwala zachować większą kontrolę nad pytaniami, odpowiedziami i analizowanymi plikami. Najprostsza konfiguracja składa się z Ollamy, pobranego modelu lokalnego oraz terminala albo z aplikacji LM Studio działającej offline.
Najważniejsze jest jednak sprawdzenie całego środowiska. Lokalny model nie zapewni pełnej prywatności, jeżeli podłączona aplikacja wysyła dane do zewnętrznego API, synchronizuje historię albo korzysta z sieciowych wtyczek. Najbezpieczniejszy test polega na pobraniu modelu, odłączeniu internetu i potwierdzeniu, że rozmowa nadal działa.
