NeuroSandboxWebUI

Функции | Зависимости | Системные требования | Установка | Вики | Благодарность разработчикам | Лицензии

• В процессе разработки, но стабильно!

• English

  Русский

  漢語

Описание:

Простой и удобный интерфейс для использования различных моделей нейронных сетей. Вы можете общаться с LLM, используя текстовый, голосовой и визуальный ввод; использовать StableDiffusion, Kandinsky, Flux, HunyuanDiT, Lumina-T2X, Kolors, AuraFlow, Würstchen, DeepFloydIF, PixArt, CogView3-Plus и PlaygroundV2.5 для генерации изображений; ModelScope, ZeroScope 2, CogVideoX и Latte для генерации видео; StableFast3D, Shap-E, и Zero123Plus для генерации 3D-объектов; StableAudioOpen, AudioCraft и AudioLDM 2 для генерации музыки и аудио; CoquiTTS, MMS и SunoBark для преобразования текста в речь; OpenAI-Whisper и MMS для преобразования речи в текст; Wav2Lip для синхронизации губ; LivePortrait для анимации изображений; Roop для замены лиц; Rembg для удаления фона; CodeFormer для восстановления лиц; PixelOE для пикселизации изображений; DDColor для раскрашивания изображений; LibreTranslate и SeamlessM4Tv2 для перевода текста; Demucs и UVR для разделения аудиофайлов; RVC для преобразования голоса. Вы также можете просматривать файлы из выходной директории в галерее, загружать модели LLM и StableDiffusion, изменять настройки приложения внутри интерфейса и проверять системные датчики.

Цель проекта - создать максимально простое в использовании приложение для работы с моделями нейронных сетей.

Текст:

Изображение:

Видео:

3D:

Аудио:

Дополнительно:

Интерфейс:

Функции:

• Легкая установка через install.bat (Windows) или install.sh (Linux & MacOS)
• Возможность использования приложения через мобильное устройство в локальной сети (через IPv4) или в интернете (через Share)
• Гибкий и оптимизированный интерфейс (на основе Gradio)
• Ведение журнала отладки в логах из файлов Install и Update
• Доступно на трех языках
• Поддержка моделей Transformers, BNB, GPTQ, AWQ, ExLlamaV2 и llama.cpp (LLM)
• Поддержка моделей diffusers и safetensors (StableDiffusion) - txt2img, img2img, depth2img, marigold, pix2pix, controlnet, upscale (latent), refiner, inpaint, outpaint, gligen, diffedit, blip-diffusion, animatediff, hotshot-xl, video, ldm3d, sd3, cascade, t2i-ip-adapter, ip-adapter-faceid и riffusion вкладки
• Поддержка моделей stable-diffusion-cpp для FLUX и Stable Diffusion
• Поддержка дополнительных моделей для генерации изображений: Kandinsky (txt2img, img2img, inpaint), Flux (txt2img с поддержкой cpp quantize и LoRA, img2img, inpaint, controlnet), HunyuanDiT (txt2img, controlnet), Lumina-T2X, Kolors (txt2img с поддержкой LoRA, img2img, ip-adapter-plus), AuraFlow (с поддержкой LoRA и AuraSR), Würstchen, DeepFloydIF (txt2img, img2img, inpaint), PixArt, CogView3-Plus и PlaygroundV2.5
• Поддержка Extras с моделями Rembg, CodeFormer, PixelOE, DDColor, DownScale, Format changer, FaceSwap (Roop) и Upscale (Real-ESRGAN) для изображений, видео и аудио
• Поддержка StableAudio
• Поддержка AudioCraft (Модели: musicgen, audiogen и magnet)
• Поддержка AudioLDM 2 (Модели: audio и music)
• Поддержка моделей TTS и Whisper (Для LLM и TTS-STT)
• Поддержка MMS для преобразования текста в речь и речи в текст
• Поддержка моделей Lora, Textual inversion (embedding), Vae, MagicPrompt, Img2img, Depth, Marigold, Pix2Pix, Controlnet, Upscale (latent), Refiner, Inpaint, Outpaint, GLIGEN, DiffEdit, BLIP-Diffusion, AnimateDiff, HotShot-XL, Videos, LDM3D, SD3, Cascade, T2I-IP-ADAPTER, IP-Adapter-FaceID и Riffusion (Для StableDiffusion)
• Поддержка модели Multiband Diffusion (Для AudioCraft)
• Поддержка LibreTranslate (Локальный API) и SeamlessM4Tv2 для переводов языков
• Поддержка ModelScope, ZeroScope 2, CogVideoX и Latte для генерации видео
• Поддержка SunoBark
• Поддержка Demucs и UVR для разделения аудиофайлов
• Поддержка RVC для преобразования голоса
• Поддержка StableFast3D, Shap-E и Zero123Plus для 3D генерации
• Поддержка Wav2Lip
• Поддержка LivePortrait для анимации изображений
• Поддержка Multimodal (Moondream 2, LLaVA-NeXT-Video, Qwen2-Audio), PDF-Parsing (OpenParse), TTS (CoquiTTS), STT (Whisper), LORA и WebSearch (с DuckDuckGo) для LLM
• Просмотр MetaData-Info для сгенерированных изображений, видео и аудио
• Настройки моделей внутри интерфейса
• Онлайн и оффлайн Wiki
• Галерея
• ModelDownloader
• Настройки приложения
• Возможность просмотра системных датчиков

Необходимые зависимости:

• Python (3.10.11)
• Git
• Только для версии с GPU: CUDA (12.4) и cuDNN (9.1)
• FFMPEG
• C+ компилятор
  • Windows: VisualStudio, VisualStudioCode и Cmake
  • Linux: GCC, VisualStudioCode и Cmake

Минимальные системные требования:

• Система: Windows, Linux или MacOS
• GPU: 6GB+ или CPU: 8 ядер 3.6GHZ
• ОЗУ: 16GB+
• Место на диске: 20GB+
• Интернет для загрузки моделей и установки

Как установить:

Windows & MacOS

1) Сначала установите все Необходимые зависимости 2) Git clone https://github.com/Dartvauder/NeuroSandboxWebUI.git в любое место 3) Запустите Install.bat, выберите свою версию и дождитесь установки 4) После установки запустите Start.bat и пройдите начальную настройку 5) Дождитесь запуска приложения и перейдите по ссылке из терминала 6) Теперь вы можете начинать генерацию. Наслаждайтесь!

• Для получения обновлений запустите Update.bat
• Для работы с виртуальной средой через терминал запустите Venv.bat

Linux

1) Сначала установите все Необходимые зависимости 2) Git clone https://github.com/Dartvauder/NeuroSandboxWebUI.git в любое место 3) Запустите ./Install.sh, выберите свою версию и дождитесь установки 4) После установки запустите ./Start.sh и пройдите начальную настройку 5) Дождитесь запуска приложения и перейдите по ссылке из терминала 6) Теперь вы можете начинать генерацию. Наслаждайтесь!

• Для получения обновлений запустите ./Update.sh
• Для работы с виртуальной средой через терминал запустите ./Venv.sh

Вики

• https://github.com/Dartvauder/NeuroSandboxWebUI/wiki/RU‐Wiki

Благодарность разработчикам

Большое спасибо этим проектам, потому что благодаря их приложениям/библиотекам я смог создать свое приложение:

Прежде всего, я хочу поблагодарить разработчиков PyCharm и GitHub. С помощью их приложений я смог создать и поделиться своим кодом

• gradio - https://github.com/gradio-app/gradio
• transformers - https://github.com/huggingface/transformers
• auto-gptq - https://github.com/AutoGPTQ/AutoGPTQ
• autoawq - https://github.com/casper-hansen/AutoAWQ
• exllamav2 - https://github.com/turboderp/exllamav2
• coqui-tts - https://github.com/idiap/coqui-ai-TTS
• openai-whisper - https://github.com/openai/whisper
• torch - https://github.com/pytorch/pytorch
• cuda-python - https://github.com/NVIDIA/cuda-python
• gitpython - https://github.com/gitpython-developers/GitPython
• diffusers - https://github.com/huggingface/diffusers
• llama.cpp-python - https://github.com/abetlen/llama-cpp-python
• stable-diffusion-cpp-python - https://github.com/william-murray1204/stable-diffusion-cpp-python
• audiocraft - https://github.com/facebookresearch/audiocraft
• xformers - https://github.com/facebookresearch/xformers
• demucs - https://github.com/facebookresearch/demucs
• libretranslatepy - https://github.com/argosopentech/LibreTranslate-py
• rembg - https://github.com/danielgatis/rembg
• suno-bark - https://github.com/suno-ai/bark
• IP-Adapter - https://github.com/tencent-ailab/IP-Adapter
• PyNanoInstantMeshes - https://github.com/vork/PyNanoInstantMeshes
• CLIP - https://github.com/openai/CLIP
• rvc-python - https://github.com/daswer123/rvc-python
• audio-separator - https://github.com/nomadkaraoke/python-audio-separator
• pixeloe - https://github.com/KohakuBlueleaf/PixelOE
• k-diffusion - https://github.com/crowsonkb/k-diffusion
• open-parse - https://github.com/Filimoa/open-parse
• AudioSR - https://github.com/haoheliu/versatile_audio_super_resolution
• sd_embed - https://github.com/xhinker/sd_embed
• triton - https://github.com/triton-lang/triton/

Лицензии третьих сторон:

Многие модели имеют свои собственные лицензии на использование. Перед использованием я советую вам ознакомиться с ними:

• Transformers
• AutoGPTQ
• AutoAWQ
• exllamav2
• llama.cpp
• stable-diffusion.cpp
• CoquiTTS
• OpenAI-Whisper
• LibreTranslate
• Diffusers
• StableDiffusion1.5
• StableDiffusion2
• StableDiffusion3
• StableDiffusion3.5
• StableDiffusionXL
• StableCascade
• LatentDiffusionModel3D
• StableVideoDiffusion
• I2VGen-XL
• Rembg
• Shap-E
• StableAudioOpen
• AudioCraft
• AudioLDM2
• Demucs
• SunoBark
• Moondream2
• LLaVA-NeXT-Video
• Qwen2-Audio
• ZeroScope2
• GLIGEN
• Wav2Lip
• Roop
• CodeFormer
• ControlNet
• AnimateDiff
• Pix2Pix
• Kandinsky 2.1; 2.2; 3
• Flux-schnell
• Flux-dev
• HunyuanDiT
• Lumina-T2X
• DeepFloydIF
• PixArt
• CogVideoX
• Latte
• Kolors
• AuraFlow
• Würstchen
• ModelScope
• StableFast3D
• Zero123Plus
• Real-ESRGAN
• Refiner
• PlaygroundV2.5
• AuraSR
• IP-Adapter-FaceID
• T2I-IP-Adapter
• MMS
• SeamlessM4Tv2
• HotShot-XL
• Riffusion
• MozillaCommonVoice17
• UVR-MDX
• RVC
• DDColor
• PixelOE
• LivePortrait
• MagicPrompt
• Marigold
• BLIP-Diffusion
• Consistency-Decoder
• Tiny-AutoEncoder
• CogView3-Plus

Эти сторонние репозитории кода также используются в моем проекте:

• CodeFormer для extras
• Real-ESRGAN для upscale
• HotShot-XL для StableDiffusion
• Roop для extras
• StableFast3D для 3D
• Riffusion для StableDiffusion
• DDColor для extras
• LivePortrait для видео
• TAESD для StableDiffusion и Flux

Пожертвование

Если вам понравился мой проект и вы хотите сделать пожертвование, вот варианты для этого. Заранее большое спасибо!

• 

История звезд

This site is open source. Improve this page.