Необходимо разработать бота для телеграмма, который позволяет трекать темы в чате, чтобы человеку не приходилось монотонно листать чат в поисках важной информации.
Решение представляет из себя применение одной и той же модели для RAG (но еще 1 ретривер модель) и суммаризации: Saiga llama-3-8b с подобранным промптом для получения стабильного, точного ответа в особенности без галлюцинаций
Работоспособность можете посмотреть в тг канале
Презентация
- Сборка;
docker build -t my-python-app .- Запуск;
docker run -d --name my-app-container my-python-appИспользуем одну ЛЛМ отлично справляющуюся как с задачей RAG, так и суммаризацией. Используем кеширование, чтобы часто не тратить время на генерацию ответа.
Состав команды "Альянс Раменки и Щёлково"
Тимур Сариков (https://github.com/holopyolo) - ML-engineer
Никита Бенеш (https://github.com/nikbenesh) - ML-engineer