airllm AirLLM — это инструмент, позволяющий выполнять вывод (inference) больших языковых моделей (LLM) с 70 миллиардами параметров на одном GPU с 4 ГБ памяти. Он оптимизирует использование памяти во время вывода, что позволяет запускать модели без необходимости в квантовании, дистилляции или обрезке. AirLLM поддерживает различные модели, включая Llama3.1 405B, и совместим с Linux и macOS, обеспечивая гибкость в выборе платформы. Lang: Jupyter Notebook
Рекомендуемые статьи
Karman
👁 33
Karman Karman — это минималистичное Android-приложение для повышения продуктивности Оно предназначено для управления задачами отслеживания привычек и улучшения концентрации Приложение предлагает чистый интерфейс для организации задач таймер по методу "Помодоро" для фокусировки а
Echogarden
👁 32
Echogarden Echogarden — это многофункциональный инструмент для обработки речи разработанный с использованием TypeScript и совместимый с Windows macOS и Linux Основные функции включают текст в речь (Text-to-speech) речь в текст (Speech-to-text) синхронизацию аудио с текстом перево
Paru
👁 36
Paru Paru — это мощный помощник для пользовательского репозитория Arch Linux под названием AUR, реализованный в стандарте pacman, который предлагает множество функций. Среди основных команд — интерактивный поиск и установка, обновление AUR-пакетов, создание базы данных для отслеж
signalbot
👁 27
signalbot Это фреймворк на Python, предназначенный для создания собственных ботов для мессенджера Signal. Он предоставляет удобный интерфейс для интеграции с Signal через REST API, позволяя разработчикам легко обрабатывать входящие сообщения и отправлять ответы. Фреймворк поддерж
invisible-characters
👁 50
invisible-characters Сборник невидимых символов Юникода
Mubert-Text-to-Music
👁 33
Mubert-Text-to-Music Блокноты Colab демонстрирующие генерацию музыки на основе текстовых подсказок через Mubert API