old_readme_architecture

Back

ru version from main old readme

ML stack:

• NLP
  • Speech
    • TTS
    • STT
  • generative: T5 LLM
    • dialog system
  • classification: BERT (modified, multiple)
    • toxic detection
    • phrase type classification
• CV (MC captcha resolver)
  • keras-ocr
  • onnx

ФИЧИ

Это что-то вроде списка технологий, фич и содержания одновременно =)

Структура структуры 📘

Формат: Название - (ссылки) - связанные файлы в репозитории, путь

Ссылки:

• (хабр): соответствующий раздел статьи на Хабре для подробностей по разработке (для удобства в ней также есть своя навигация).
• (репо): ссылка на другой репозиторий в GitHub

Проскочить раздел

---

• Бот для автоматической игры - (хабр) - (репо) + HyperAI_BRIDGE.py
  • Java-часть: (репо) (хабр)
  • HyperAI_Bridge: сетевой мост между главным Python-скриптом и Java-ботом
  • Собственный ИИ для распознавания MC-капчи (репо) (хабр) (потыкать на HF space)
  • Гифка: сбор ресурсов с побеждённого игрока

    
• Виртуальный аватар: VTube Studio - HyperAI_VTube
  • Live 2D: LiveroiD (автор разрешает использование для проведения трансляций)
  • Связь аватара с игрой и речью: эмоции, взгляд - (хабр) - HyperAI.py + HyperAI_BRIDGE.py
  • Гифка: аватар поворачивает взгляд в сторону цели игрового бота

    
• Синтез речи - (хабр) - HyperAI.py/TTS_PROCESS
  • Silero TTS (silero-models)
  • Realtime субтитры в OBS через веб-приложение на Flask (хабр)
  • "Проброс" звука в OBS через virtual audio cable (хабр)
• Наложение динамических элементов в OBS
  • Элементы передаются и обновляются в OBS через веб-приложение на Flask (хабр)
  • Элементы: индикатор настроения и псевдосинхронизированные субтитры (хабр)
• Диалоговая система - (хабр) - HyperAI_Models/LLM

  • RAG-like подход (хабр со всеми схемами)

  • шаблоны промптов можно перезагружать прямо во время выполнения (они перезагружаются каждый раз при генерации текста, это сделано для непрерывного тестирования и разработки)

  • Пикча схемы сборщика промпта (абстрактно)

    
  • Хранение постоянных данных с помощью sqlite

    

    HyperAI.py + HyperAI_Database.py

  • LLM - FredT5 (на Docker) (Почему он? Ответ на хабр!)

  • Фильтры ИИ: токсичность, запретные темы (хабр) - HyperAI_Models/Filters

  • Обычный list-like фильтр на самые "опасные" слова - HyperAI_Models/Filters

• Распознавание речи - (хабр) - HyperAI_Models/STT/docker_to_send
  • Docker-based. Удобная mount-система, весь не-контейнерный код (и модель) подгружается через диск, поэтому редачьте файлы как хотите прямо в основной репе, в докер лезть не надо)
  • Модель: Nvidia fastconformer hybrid large (HF)
• Подключение к социальным сетям - чтение чата и публикация ответов (хабр)
  • youtube-data-api
  • twitch-api
  • trovo-api
  • discord-bot-api (pycord)
• Связующая система - HyperAI.py/...
  • Система выбора релевантного вопроса - .../ChooseQuestion
    • здесь сходятся все полученные сообщения и в приоритет ответа выбирается наиболее релевантный и наименее "агрессивный" вопрос
  • Система синхронизации между процессами
    • (multiprocessing.namespace)
  • Система автоматического принятия решений - .../CentralDecisionMaker/...
    • объявления - доклад "статуса", интересные (или не очень) факты, приветствия зрителей - .../BroadcastProcesser
    • реакция на внутриигровые события (убийство/смерть) - .../EventProcesser
    • реакция на пожертвования DonationAlerts - .../DonateProcesser
    • ответы в чате .../CentralChatProcesser
  • Оболочка диалоговой системы - .../FredT5Chatbot
  • Панель управления
    • Консольное приложение для отладки конкретных функций
    • PySimpleGui-окно с доступом к основным функциям