Od czasu pojawienia się ChatGPT pojawiło się wiele narzędzi, których poszanowanie prywatności użytkowników jest wątpliwe. Na szczęście pojawiło się kilka projektów open source, które rozwiązały ten problem. Ollama AI to narzędzie wykorzystujące sztuczną inteligencję w terminalu
Aplikacja będzie umożliwia korzystanie z listy LLM na terminalu komputerowym lub urządzeniu jednopłytkowym, o ile sprzęt jest wystarczająco wydajny. Dobrą rzeczą jest to, że ich biblioteka ma opcje dla wszystkich rozmiarów.
LLM (modele językowe o dużej skali) służą do zrozumienia generowania i tłumaczenia języka na poziomie zbliżonym do języka naturalnego. Są szkoleni z ogromnymi ilościami danych tekstowych. Modele te można wykorzystać do różnorodnych zadań językowych, takich jak odpowiadanie na pytania, streszczanie tekstu, tłumaczenie na inne języki, tworzenie spójnych i kreatywnych treści, kończenie zdań i znajdowanie wzorców językowych.
Wyrażenie „na dużą skalę” odnosi się zarówno do ogromnej ilości danych (miliardy), jak i parametrów używanych przez model do ustalania relacji i znajdowania wzorców między danymi.
Parametry są czynnikiem, który należy wziąć pod uwagę. Chociaż są tacy, którzy zgłaszają, że używali Ollama AI na Raspberry Pi 4, nie ze wszystkich modeli można korzystać, jeśli nie masz wystarczającej ilości pamięci. Używałem modeli z 7 miliardami parametrów z 6 GB RAM-u i bez karty graficznej bez większego wpływu na wydajność systemu, ale z 13 nie dał sobie rady.
Modele z mniejszą liczbą parametrów mówią po hiszpańsku na poziomie parodii turystycznej Yankee i nie są zbyt precyzyjne w swoich reakcjach, dlatego należy zachować ostrożność podczas ich używania.
Ollama AI: Użyj sztucznej inteligencji w terminalu
Zanim przejdziemy dalej, zacznijmy od krótkiego wyjaśnienia. LlaMa to algorytm uczenia maszynowego, który pozwala sztucznej inteligencji nauczyć się rozpoznawać i klasyfikować obrazy obiektów.
Do tego typu modeli Są szkoleni z użyciem oznaczonych obrazów, dzięki czemu uczą się rozpoznawać określone cechy, takie jak tekstura, kształt i kolor, które pozwalają na ich identyfikację w innych kontekstach.
Ponieważ nazwę algorytmu wymawia się tak samo jak nazwę zwierzęcia, niektóre biblioteki nazwano na cześć podobnych gatunków, takich jak wigonia (wikunia w językach, w których nie używa się ń) czy alpaka.
Wracając do Ollama AI, Pozwala nam pobierać i uruchamiać różne modele open source z terminala naszej dystrybucji Linuksa. Jest instalowany za pomocą polecenia:
curl https://ollama.ai/install.sh | sh
Aby uruchomić model piszemy polecenie:
ollama run nombre_del_modelo
Widzimy listę modeli tutaj
Na przykład, aby zainstalować TinyLlaama, model z nieco ponad terabajtem parametrów, używamy polecenia:
ollama run tinyllama
Przy pierwszym wykonaniu tego polecenia model jest pobierany na komputer. Należy pamiętać, że niektóre zajmują kilka gigabajtów miejsca na dysku.
Możesz usunąć model za pomocą polecenia:
ollama rm nombre_del modelo
Aby zobaczyć listę zainstalowanych modeli użyj polecenia:
lista ollamów
Informacje o każdym z zainstalowanych modeli można wyświetlić za pomocą:
ollama show
Ciekawą opcją z biblioteki modeli Ollama są tzw. „nieocenzurowane”.. Najbardziej znane modele sztucznej inteligencji nakładają ograniczenia na określone rodzaje pytań, aby zachować zgodność nie tylko z prawem, ale także z presją społeczną poprawności politycznej.
Pamiętam, że dawno temu poprosiłem Copilota, asystenta Microsoftu opartego na ChatGPT, o opowiedzenie mi dowcipów o górach lodowych i powiedział mi, że katastrofy ekologiczne to zbyt poważny temat, żeby żartować.
Modele bez cenzury Identyfikują sytuacje, w których sztuczna inteligencja odmawia odpowiedzi lub podaje stronnicze odpowiedzi w oparciu o modele podstawowe, usuwają je i szkolą system, aby reagował prawidłowo.
Musiałbym przeprowadzić więcej testów, żeby wiedzieć, jak przydatna może być Ollama AI na komputerach z ograniczoną ilością RAM-u i bez dedykowanej karty graficznej. W każdym razie dobrze jest wiedzieć, że alternatywy typu open source zyskują na popularności i umożliwiają eliminację cenzury.