Як налаштувати LocalGPT на Windows для початківців

Якщо ви не хочете платити за LLM або хочете зберегти свої дані в безпеці, вислід налаштувати LocalGPT. Це дозволяє вам мати повний контроль над тим, як AI працює та обробляє дані. Це також забезпечує конфіденційність, оскільки всі дані залишаються у вашій локальній системі, а не надсилаються на зовнішні сервери.

Налаштуйте локальний GPT на ПК з Windows

LocalGPT — це інструмент із відкритим вихідним кодом, натхненнийprivateGPT, розроблений для запуску великих мовних моделей (LLM) локально на пристроях користувачів для приватного використання. На відміну від privateGPT, який покладається виключно на виконання ЦП, LocalGPT підтримує апаратне прискорення через графічні процесори для кращої продуктивності та зменшення затримки. Замість моделі GPT-4ALL і LlamaEmbeddings, які є досить потужними, LocalGPT використовує Vicuna-7B LLM і InstructorEmbeddings. Він працює з такими моделями, як Blenderbot і WizardLM-7B, що дозволяє нам міняти моделі на основі конкретних потреб. Весь конвеєр працює локально, забезпечуючи конфіденційність даних, одночасно надаючи розширені можливості NLP без зовнішнього використання API, що робить його ідеальним кандидатом для режиму штучного інтелекту з локальним керуванням.

У цьому посібнику ми налаштуємо локальний GPT у Windows. Ви можете виконати наведені нижче дії.

1. Завантажте та встановіть Miniconda
2. Встановіть репозиторій LocalGPT
3. Встановити залежності
4. Запустіть LocalGPT

Давайте обговоримо їх детально.

1] Завантажте та встановіть Miniconda

Miniconda — це полегшений дистрибутив менеджера пакетів Conda, призначений для швидкого налаштування середовища Python. Він надає лише найнеобхідніше, дозволяючи користувачам налаштовувати свої інсталяції, додаючи певні пакети за потреби. Щоб завантажити його, перейдіть на anaconda.com, прокрутіть вниз, перейдіть доІнсталятори Miniconda,а потім завантажте його для Windows, оскільки цей посібник призначено для Windows.

Тепер запустіть інсталятор і дотримуйтеся вказівок на екрані, щоб завершити процес інсталяції, проте переконайтеся, що коли ви перебуваєте наРозширені параметри встановлення,поставте галочки в усіх галочках і завершіть інсталяцію.

Щоб перевірити, чи він встановлений чи ні, виконайте пошук«Підказка анаконди»у меню «Пуск» і відкрийте CLI. Тепер ви можете запуститисписок кондапросто щоб підтвердити, що він встановлений.

2] Встановіть репозиторій LocalGPT

Тепер нам потрібно встановити LocalGPT Repository, розміщене на GitHub Prompt Engineer. Ми можемо отримати це звідти. Для цього перейдіть доgithub.com. Ви можете перейти по сторінці, щоб дізнатися більше про LocalGPT і встановити його, вам потрібно натиснутиКод > Завантажити ZIP.Після завантаження ZIP-файлу перейдіть доЗавантажитипапку, клацніть правою кнопкою миші на файлі ZIP, виберіть «Витягнути», вкажіть місце, куди потрібно витягнути файл, і завершіть процес. Відкрийте витягнуту папку, всередині якої ви побачите папку під назвоюЛокальний GPT-основний.Просто для простоти ми вставляємо папку на робочий стіл і називаємо її«LGPT».

3] Встановити залежності

Тепер нам потрібно створити віртуальне середовище, де ми збираємося встановити всі залежності. Для цього відкрийте«Підказка анаконди»з меню «Пуск» і виконайте наступні команди.

conda create -n environment_name python=3.10

conda activate environment_name

Примітка: замініть змінну “environment_name” на будь-яке ім’я на ваш вибір.

Якщо вам буде запропоновано завантажити будь-який пакет, будь ласка, дайте свою згоду та продовжуйте.

Тепер нам потрібно інсталювати пакунок, який ми завантажили, розпакували раніше. Для цього вам потрібно спочатку перейти до каталогу за допомогою наступних команд.

cd Desktop

cd LGPT

Замість того, щоб інсталювати всі компоненти по одному, ми можемо використати наступну команду, щоб інсталювати їх усі одночасно.

pip install -r requirements.txt

Ви можете зіткнутися з двома помилками.

• імпорт факела ModuleNotFoundError:бігти

  pip встановити факел torchvision torchaudioа потім запустіть вищезгадану команду.

• Потрібен Microsoft C++:Натисніть згадану URL-адресу та завантажте Visual Studio, натиснувши наЗавантажте інструменти для створення,коли Visual Studio відкрито, вам потрібно переглянути інструменти, яких у вас немає, і завантажити їх.

Після вирішення проблеми запустіть команду інсталятора ще раз і після встановлення перейдіть до наступного кроку.

4] Запустіть LocalGPT

Перш за все, вам потрібно запустити Python Ingestion, що означає імпорт даних із вихідних документів, обробку ваших документів і збереження їх вбудованих даних у векторній базі даних (Chroma DB). Для цього вам потрібно виконати наступну команду.

python ingest.py

Ми рекомендуємо стежити за використанням ЦП за допомогою диспетчера завдань.

Тепер, аотримати доступ до файлу constants.py у вашому каталозі LocalGPT. Вимкніть модель Llama 3, додавши коментар до її рядка, і активуйте модель Llama 2 (параметри 7B), видаливши коментар з її рядка.

Після цього вам потрібно запустити LocalGPT за допомогою наступної команди.

python run_local_gpt.py

Якщо ви зіткнулися з помилкою про целамапропав, бігpip встановити llama-cpp-python.

Сподіваємось, ви зможете запустити LocalGPT на своєму комп’ютері локально за допомогою цього посібника.

читати:

Як встановити PrivateGPT на Windows?