Чат-бот на основе haystack.
С помощью RAG предоставляет специальную информацию, например, для поступающих в Финансовый Университет.
Тестовая версия бота: https://findatalab.ru
- Python 3.12
- Установленные библиотеки из
requirements.txt - Запущенный Ollama с моделью, поддерживающей tool calling (например,
qwen3.5) - Документы в директории
data_files/
-
Установите зависимости:
pip install -r requirements.txt
-
Запустите Ollama и загрузите модель:
ollama pull qwen3.5
-
Поместите документы в директорию
data_files/
python main.py- Введите ваш вопрос
- Получите ответ от чат-бота
- Для выхода введите "Q"
Запускает точку доступа к чату на http://localhost:1416/chat/complitions Используется как компонент системы с отдельным фронтендом.
Debug mode:
python api.pygunicorn --bind=0.0.0.0:1416 "api:app" --daemonПроект использует архитектуру RAG (Retrieval-Augmented Generation) и function calling (tools):
- Вопрос поступающего преобразуется в эмбеддинг
- Система ищет релевантные документы в базе знаний
- При необходимости LLM вызывает tolls
- Собранные данные используются LLM для генерирации ответа
- Чат-история сохраняется для последующих вопросов
Этот проект является примером и может быть использован для образовательных целей.