Lepsze modele niż DeepSeek i jak je zainstalować lokalnie

Niektóre modele AI można zainstalować lokalnie

Kilka dni temu mój partner Pablinux powiedziałem im jak lokalnie zainstalować modny model sztucznej inteligencji. W tym poście wymienię modele, które uważam za lepsze od DeepSeek, a także podam wskazówki, jak je zainstalować i uruchomić na naszym komputerze.

Pomijając wszelkie sympatie i antypatie polityczne, posunięcie chińskiego rządu było majstersztykiem marketingu dyplomatycznego godnym Sun Tzu. W przeciwieństwie do stylu Donalda Trumpa, który nawiązuje do „Słonia w porcelanie”, zapowiedzieli model, który oferuje te same funkcje co ChatGPT, ale jest darmowy i zużywa mniej zasobów. Tylko ci z nas, którzy śledzą temat, wiedzą, że Od dłuższego czasu istnieje wiele innych modeli open source (niektóre z nich pochodzą od firm północnoamerykańskich, takich jak Meta), ale wydajność DeepSeek jest porównywalna z wydajnością ChatGPT jedynie w przypadku 5% najczęstszych zastosowań.

Modele językowe na dużą skalę

ChatGPT, DeepSeek i inne są nazywane modelami języka dużej skali. Zasadniczo Umożliwiają użytkownikowi interakcję z komputerem w języku podobnym do tego, którego używa się do porozumiewania się z innym człowiekiem. Aby to osiągnąć, uczy się je dużej ilości tekstu i reguł, które pozwalają im tworzyć nowe informacje na podstawie tego, co już posiadają.
Służy głównie do udzielania odpowiedzi na pytania, streszczania tekstów, wykonywania tłumaczeń i odtwarzania treści.

Lepsze modele niż DeepSeek i jak je zainstalować lokalnie

Podobnie jak Pablinux, będziemy używać Ollama. Jest to narzędzie umożliwiające instalowanie, odinstalowywanie i korzystanie z różnych modeli open source z poziomu terminala Linux. W niektórych przypadkach przeglądarkę można wykorzystać jako interfejs graficzny, ale nie będziemy tego omawiać w tym artykule.

Aby Ollama zapewniała właściwe wrażenia użytkownika, najlepiej jest mieć dedykowany procesor graficzny.Szczególnie w modelach z większą liczbą parametrów. Mniej wydajne wersje można jednak stosować na Raspberry Pi, a gdy testowałem modele z 7 miliardami parametrów na komputerze z 6 gigabajtami i bez dedykowanego procesora graficznego, komputer działał bez żadnych zacięć. To samo nie wydarzyło się w przypadku jednego z 13 miliardów.

Parametry to reguły, których model używa do budowania relacji i konstruowania wzorców pomiędzy danymi. Im więcej parametrów i danych, tym skuteczniejszy będzie model; te z mniejszą liczbą parametrów mówią po hiszpańsku jak Tarzan.

Możemy zainstalować Ollamę za pomocą poleceń
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

Możemy zainstalować model za pomocą polecenia:
ollama pull nombre_del modelo
I uruchom go za pomocą:
ollama run nombre_del_modelo
Odinstalowujemy go za pomocą:
ollama rm nombre_del_modelo
Zainstalowane modele możemy zobaczyć wpisując:
ollama list

Poniżej znajduje się krótka lista modeli, które uważam za najciekawsze: Pełną listę dostępnych modeli można znaleźć tutaj tutaj:

llama2-bez cenzury

Llama jest uniwersalnym modelem stworzonym przez Meta. W tej wersji usunięto wszelkie ograniczenia wprowadzone przez twórców oryginalnego projektu ze względów prawnych lub politycznych.. Ma dwie wersje: lekką, która obsługuje 8 GB i pełną, która potrzebuje 64 GB. Można jej używać do odpowiadania na pytania, pisania tekstów lub w zadaniach kodowania.
Instaluje z:
ollama pull llama2-uncensored
I działa z:
ollama run llama2-uncensored

kodemma

CodeGemma to zbiór lekkich, ale wydajnych szablonów, które umożliwiają wykonywanie różnorodnych zadań programistycznych jak ukończyć kod lub napisać go od podstaw. Rozumie język naturalny, potrafi wykonywać polecenia i rozumować matematycznie.

Dostępny jest w 3 wariantach:

  • Pouczać: Przekształca język naturalny w kod i potrafi wykonywać instrukcje:
  • Kod:  Uzupełnij i wygeneruj kod na podstawie fragmentów istniejącego kodu.
  • 2b: Szybsze uzupełnianie kodu.

Tynillama

Jak wskazuje nazwa, jest to mniejsza wersja oryginalnego modelu Meta.. Nie da to tak dobrych rezultatów, ale jeśli chcesz zobaczyć, jak model sztucznej inteligencji działa na przeciętnym sprzęcie, warto spróbować. Ma tylko 1100 miliarda parametrów.

Korzystanie z modeli lokalnie ma tę zaletę, że zapewnia prywatność i dostęp do nieocenzurowanych i obiektywnych wersji, które w niektórych przypadkach mogą wydawać się wręcz śmieszne. Sztuczna inteligencja Microsoftu odmówiła stworzenia dla mnie obrazu jamnika, ponieważ uznała określenie „suka” za obraźliwe. Największą wadą są wymagania sprzętowe. Będzie to kwestia wypróbowania modeli i znalezienia takiego, który będzie wystarczająco dobry, aby spełnić Twoje potrzeby i będzie mógł działać na sprzęcie, który posiadasz.


Zostaw swój komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

*

*

  1. Odpowiedzialny za dane: Miguel Ángel Gatón
  2. Cel danych: kontrola spamu, zarządzanie komentarzami.
  3. Legitymacja: Twoja zgoda
  4. Przekazywanie danych: Dane nie będą przekazywane stronom trzecim, z wyjątkiem obowiązku prawnego.
  5. Przechowywanie danych: baza danych hostowana przez Occentus Networks (UE)
  6. Prawa: w dowolnym momencie możesz ograniczyć, odzyskać i usunąć swoje dane.