dalai - Самый простой способ запустить LLaMA на вашем локальном компьютере

Установка данной программы на Мак

Шаг 1. Установите node.js >= 18    (  Если на вашем Mac еще не установлен node.js, обязательно установите node.js >= 10   )

Шаг 2.1. Установить модели

В настоящее время поддерживаются двигатели llama и alpaca.

Для добавления alpaca (пока что есть только модель 7B) :

npx dalai alpaca install 7B

Для загрузки модели llama вы можете запустить:

npx dalai llama install 7B

или:

npx dalai llama install 7B 13B

Теперь перейдите к шагу 3.

Шаг 2.2. Устранение неполадок

Обычно вам не нужен этот шаг, но если выполнение приведенных выше команд ничего не делает и сразу завершается, это означает, что что-то пошло не так, потому что некоторые из необходимых модулей не установлены в вашей системе. В этом случае попробуйте выполнить следующие действия:

1. Установите homebrew, если он не установлен на вашем компьютере, используя инструкцию (https://brew.sh/) или запустив:

/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)”

2. После установки homebrew установите следующие зависимости:

brew install cmake

brew install pkg-config

3. На всякий случай, можно обновить NPM:

npm install -g npm@latest

Теперь вернитесь к шагу 2.1 и попробуйте снова запустить команды npx dalai.

Шаг 3. Запустите веб-интерфейс. Выполните следующую команду, чтобы запустить сервер веб-интерфейса:

npx dalai serve

затем откройте http://localhost:3000 в своем браузере. Готово.

Установка данной программы на Windows

Шаг 1. Установите Microsof Visual Studio перед установкой Dalai.

ВАЖНО!!! При установке Visual Studio обязательно выделите 3 параметра – Python development, Node.js development, desktop development with C++

Шаг 2.1. Установить модели

ВАЖНО!!! В Windows обязательно запускайте все команды в cmd. НЕ запускайте в powershell, так как он имеет излишне строгие разрешения и делает сценарий неработоспособным.

В настоящее время поддерживаются двигатели llama и alpaca.

Для добавления alpaca (пока что есть только модель 7B) откройте свое cmd и введите:

npx dalai alpaca install 7B

Для загрузки модели llama откройте свое cmd и введите:

npx dalai llama install 7B

или:

npx dalai llama install 7B 13B

Шаг 2.2. Устранение неполадок (необязательно)

Если описанные выше шаги не увенчались успехом, попробуйте установить Node.js и Python отдельно. После этого откройте PowerShell и введите “python”, чтобы увидеть, существует ли приложение. А также введите “node”, чтобы увидеть, существует ли приложение. Убедившись, что они оба существуют, попробуйте еще раз.

Шаг 3. Запустите веб-интерфейс. Выполните следующую команду, чтобы запустить сервер веб-интерфейса (убедитесь, что вы запускаете его, cmdа не PowerShell!):

npx dalai serve

затем откройте http://localhost:3000 в своем браузере. Готово.

Установка данной программы на Linux

Шаг 1. Вам необходимо убедиться, что у вас установлены правильные версии Python и Node.js.

Для питона версия 3.10 или ниже (не 3.11) – Python <= 3.10. (pytorch и другие библиотеки еще не поддерживаются в последней версии)

Для Node.js >= 18.  Убедитесь, что версия 18 или выше

Шаг 2. Установить модели

В настоящее время поддерживаются двигатели llama и alpaca.

Для добавления alpaca (пока что есть только модель 7B) :

npx dalai alpaca install 7B

Для загрузки модели llama вы можете запустить:

npx dalai llama install 7B

или:

npx dalai llama install 7B 13B

Шаг 3. Запустите веб-интерфейс. Выполните следующую команду, чтобы запустить сервер веб-интерфейса:

npx dalai serve

затем откройте http://localhost:3000 в своем браузере. Готово.