Кто съел видеопамять? У GPU появился свой диспетчер задач
Видеопамять почти закончилась, а игра ещё даже не запущена. Знакомая картина, если на компьютере открыты браузер, редактор и локальная нейросеть. Скотт Хансельман сделал для таких случаев gputaskman - открытый диспетчер задач для видеокарты. 9 ноября вышла версия 0.3.4 с компактным режимом и исправлением для случаев, когда Windows меняет список видеоадаптеров.
Интерфейс gputaskman на RTX 4080 Super. Скриншот из репозитория проекта.
Что показывает утилита
В терминале видно, какие процессы используют GPU, сколько видеопамяти им выделено и сколько системной памяти они задействуют для графики. Подробности зависят от видеокарты и драйвера. В версии 0.3.4 клавишей M можно переключиться на компактный вид, если нужны только основные показатели.
Для некоторых локальных моделей утилита разбивает расход памяти на части. Например, у llama.cpp она может показать отдельно веса модели и KV-кэш - память, в которой сохраняются промежуточные данные из уже обработанного текста. Эти значения берутся из доступных журналов или рассчитываются по данным модели. Где показана оценка, цифру стоит воспринимать как ориентир.
Проверили на RTX 4070
Запустили gputaskman 0.3.4 на Windows и выделили тестовому процессу буфер в 256 МиБ на видеокарте. Утилита увидела python.exe и показала около 393 МиБ выделенной видеопамяти по счётчику Windows. Размер буфера - только часть расхода процесса. После его завершения строка исчезла из списка.
Фрагмент вывода gputaskman на RTX 4070. У тестового процесса python.exe в столбце VRAM видно 393 MB. На снимке оставили строку тестового процесса.
| Когда сняли показания | Тестовый процесс |
|---|---|
| До запуска | В списке отсутствует |
| Пока буфер выделен | Около 393 МиБ |
| После завершения | Строка исчезла |
Так можно проверить, какое приложение заняло память и освободилась ли она после выхода. Разбор расхода памяти нейросетей показан выше на примере из проекта.
Как попробовать
Для Windows есть ZIP-архивы под x64 и ARM64. Скачайте подходящий архив со страницы релиза и распакуйте его целиком. Откройте PowerShell в папке с утилитой и введите команду ниже.
.\gputaskman.exe
Проект также поддерживает Linux, WSL и macOS на Apple Silicon. Набор доступных показателей у них различается. Скачать gputaskman 0.3.4.