Vil du have, at dine data forbliver private og aldrig forlader din enhed? Cloud LLM-tjenester kommer ofte med løbende abonnementsgebyrer baseret på API-kald. Selv brugere i fjerntliggende områder eller dem med upålidelige internetforbindelser foretrækker ikke specifikt skytjenester. Så hvad er løsningen?

Heldigvis kan lokale LLM-værktøjer eliminere disse omkostninger og give brugerne mulighed for at køre modeller på deres hardware. Værktøjerne behandler også data offline, så ingen eksterne servere kan få adgang til dine oplysninger. Du får også mere kontrol over den grænseflade, der er specifik for din arbejdsgang.

I denne guide har vi samletgratis lokale LLM-værktøjerat opfylde alle dine betingelser og samtidig opfylde dine privatlivs-, omkostninger- og ydeevnebehov.

Gratis værktøjer til at køre LLM lokalt på Windows 11 pc

Her er nogle gratis lokale LLM-værktøjer, der er blevet håndplukket og personligt testet.

1. Jan
2. LM Studio
3. GPT4ALL
4. Hvad som helst LLM
5. At være

1] Jan

Er du bekendt med ChatGPT? Hvis ja, er Jan en version, der fungerer offline. Du kan køre det på din personlige enhed uden internet. Det lader dig generere, analysere og behandle tekstdata privat på dit lokale netværk.

Den kommer med topmodeller som Mistral, Nvidia eller OpenAI, som du kan bruge uden at sende data til en anden server. Dette værktøj er velegnet, hvis du prioritererog ønsker et robust alternativ til cloud-baserede LLM'er.

Funktioner

• Forudbyggede modeller:Det giver installerede AI-modeller, der er klar til brug uden yderligere procedurer.
• Tilpasning:Skift dashboardets farve, og gør temaet solidt eller gennemskinnelig.
• Stavekontrol:Brug denne mulighed til at rette stavefejlene.

Fordele

• Importer dine modeller ved hjælp af Hugging Face-kilden.
• Det understøtter udvidelser til tilpasning.
• Gratis

Ulemper

• Mindre fællesskabsstøtte Jan mangler fællesskabsstøtte, og brugerne kan finde færre tutorials og ressourcer.

Se LLM her

2] LM Studio

LM Studio er et andet værktøj til at bruge sprogmodeller, som ChatGPT lokalt. Det tilbyder store, forbedrede modeller til at forstå og reagere på dine anmodninger. Men i modsætning til skybaserede modeller bliver du på din enhed. Med andre ord er der mere privatliv og kontrol over brugen.

LM Studio kan opsummere tekster, generere indhold, besvare dine ønskede spørgsmål eller endda hjælpe med kodning, alt sammen fra din maskine. Inden du kører en model, kan du få en rapport om, hvorvidt dit system kan klare det. Dette lader dig kun bruge din tid og dine ressourcer på kompatible modeller.

Funktioner

• Vedhæftede filer og RAG:Du kan uploade PDF-, docx-, txt- og CSV-filer under chatboksen og få svar i overensstemmelse hermed.
• Udvalg af tilpasning:Det tilbyder flere farvetemaer og lader dig vælge kompleksitetsniveauet for grænsefladen.
• Ressourcetæt:Det tilbyder gratis dokumentation og måder at lære og bruge værktøjet på.

Fordele

• Du kan bruge det på Linux, Mac eller Windows.
• Lokal server opsætning for udviklere.
• Det tilbyder en kureret afspilningsliste med modeller

Ulemper

• Det kan være komplekst at begynde at arbejde, specielt for nytilkomne.

Se LLM her

3] GPT4ALL

GPT4ALL er et andet LLM-værktøj, der kan køre modeller på dine enheder uden en internetforbindelse eller endda API-integration. Dette program kører uden GPU'er, selvom det kan udnytte dem, hvis det er tilgængeligt, hvilket gør det velegnet til mange brugere. Det understøtter også en række LLM-arkitekturer, hvilket gør det kompatibelt med open source-modeller og rammer.

Den bruger også llama.cpp som sin backend til LLM'er, hvilket forbedrer modelydelsen på CPU'er og GPU'er uden avanceret infrastruktur. GPT4ALL er kompatibel med både Intel- og AMD-processorer; den bruger GPU'er til hurtigere behandling.

Funktioner

• Lokal filinteraktion:Modeller kan forespørge og interagere med lokale filer. Som PDF'er eller tekstdokumenter, ved hjælp af lokale dokumenter.
• Effektiv:Mange modeller fås i 4-bit versioner, som bruger mindre hukommelse og behandling.
• Omfattende modelbibliotek:GPT4ALL har over 1000 open source-modeller fra repositories som Hugging Face.

Fordele

• Open source og gennemsigtig
• Det tilbyder en specifik pakke for virksomheder til at bruge AI lokalt.
• GPT4ALL fokuserer stærkt på privatlivets fred

Ulemper

• Begrænset support til ARM-processorer såsom Chromebooks

Se LLM her

4] Alt LLM

AnythingLLM er en open source LLM, der tilbyder høj tilpasning og en privat AI-oplevelse. Det lader brugere implementere og køre LLM'er offline på deres lokale enheder, såsom Mac, Windows eller Linux, hvilket sikrer fuldstændig

Desuden vil værktøjet bedst passe enkeltbrugere, der ønsker en nem at installere løsning med minimal opsætning. Du kan behandle det som et privat CharGPT-lignende system, som virksomheder eller enkeltpersoner kan køre.

Funktioner

• Udviklervenlig:Det har en komplet API til tilpasset integration.
• Værktøjsintegration:Du kan integrere yderligere værktøjer og generere API-nøgler.
• Nem opsætning:Det har en enkelt-klik installationsproces.

Fordele

• Fleksibilitet i LLM-brug
• Dokument centreret
• Platformen har AI-agenter til at automatisere opgaver

Ulemper

• Mangler Multi-user support
• Kompleksitet i avancerede funktioner

Se LLM her

5] At være

Ollama giver fuld kontrol over at skabe lokale chatbots uden API. I øjeblikket har det de mest betydningsfulde bidragydere, som leverer hyppige opdateringer og forbedrer den overordnede funktionalitet af GitHub. Dette opdaterer dette værktøj og giver bedre ydeevne end andre. I modsætning til de andre værktøjer, der er diskuteret ovenfor, åbner den en terminalgrænseflade for at installere og starte en model.

Hver model, du installerer, har sine egne konfigurationer og vægte, så du undgår konflikter med anden software på din maskine. Sammen med sin kommandolinjegrænseflade har Ollama en API, der er kompatibel med OpenAI. Du kan nemt integrere dette værktøj med et, der bruger OpenAI-modeller.

Funktioner

• Lokal implementering:Ollama lader dig køre store sprogmodeller offline, såsom Llama, Mistral eller andre.
• Modeltilpasning:Avancerede brugere kan indstille adfærd i modeller ved hjælp af en Modefile.
• OpenAI API-kompatibilitet:Den har en REST API, der er kompatibel med OpenAI's API.
• Ressourcestyring:Det optimerer CPU- og GPU-brug og overbelaster ikke systemet.

Fordele

• Du kan få en samling af modeller.
• Det kan importere modeller fra open source-biblioteker som PyTorch.
• Ollama kan integreres med en enorm biblioteksstøtte

Ulemper

• Det giver ikke en grafisk brugergrænseflade
• Kræver store krav til opbevaring

Se LLM her

Konklusion

Sammenfattende tilbyder lokale LLM-værktøjer et værdigt alternativ til cloud-baserede modeller. De tilbyder privatliv og kontrol på næste niveau uden omkostninger. Uanset om du sigter efter brugervenlighed eller tilpasning, tilbyder de anførte værktøjer en række forskellige behov og ekspertiseniveauer.

Afhængigt af dine behov, såsom processorkraft og kompatibilitet, kan enhver af disse udnytte AI's potentiale uden at gå på kompromis med privatlivets fred eller kræve abonnementsgebyrer.