airllm

airllm AirLLM — это инструмент, позволяющий выполнять вывод (inference) больших языковых моделей (LLM) с 70 миллиардами параметров на одном GPU с 4 ГБ памяти. Он оптимизирует использование памяти во время вывода, что позволяет запускать модели без необходимости в квантовании, дис