Скармливаем в ChatGPT большой PDF-документ и даем по нему запросы

Пример использования: Устанавливаем, заходим в появившейся веб интерфейс chatGPT, скармливаем ему книгу “Война и мир”, и просим написать краткое содержание книги

Для создания чат-бота используется новый API-интерфейс GPT-4, а также стек технологий включающий: LangChain (это платформа, упрощающая создание масштабируемых приложений AI/LLM и чат-ботов), Pinecone (это векторное хранилище для хранения вложений и PDF-файлов в текстовом виде для последующего извлечения аналогичных документов.), Typescript, Openai и Next.js.

Визуальное руководство по этому репозиторию находится в “visual guide” папке.

Установка

1. Копируем репозиторий

git clone [github https url]

2.Установите пакеты

pnpm install

3.Настройте свой “.env” файл

• Копия “.env.example” в “.env”     Ваш “.env” файл должен выглядеть так:

OPENAI_API_KEY=

PINECONE_API_KEY=

PINECONE_ENVIRONMENT=

• Зайдите на openai , чтобы получить ключи API, затем вставьте их в свой “.env” файл.
• Зайдите на  pinecone , чтобы создать и получить ключи API.

4. В “config” папке замените “PINECONE_INDEX_NAME” и “PINECONE_NAME_SPACE” своими данными из панели управления pinecone.

5. В “utils/makechain.ts” цепочке измените “QA_PROMPT” для своего собственного варианта использования. Измените “modelName” в “new OpenAIChat” для другой API модели, если у вас нет доступа к gpt-4. См. документы OpenAI для уточнения списка поддерживаемых “modelNames”. К примеру, вы можете использовать gpt-3.5-turbo, если у вас еще нет доступа к gpt-4.

Преобразуйте свои PDF документ для эксплуатации

• В “docs” папке замените pdf своим собственным pdf документом.
• В “scripts/ingest-data.ts” поместите “filePath” с “docs/{yourdocname}.pdf”
• Запустите скрипт

pnpm run ingest

чтобы «проглотить» и встроить свои документы.

• Проверьте панель управления Pinecone, чтобы убедиться, что ваше место для названия  и векторы добавлены.

Запустите приложение

После того, как вы убедились, что вложения и контент были успешно добавлены в ваш Pinecone, вы можете запустить приложение

pnpm run dev

чтобы запустить локальную среду разработки, а затем ввести вопрос в интерфейсе чата.