https://kropachev.digital/tags/ollama/Recent content in Ollama on kropachev.digitalHugo -- gohugo.ioruMon, 01 Jun 2026 05:32:33 +0000https://kropachev.digital/posts/2026/06/01-domashnyaya-llm/Mon, 01 Jun 2026 05:32:33 +0000https://kropachev.digital/posts/2026/06/01-domashnyaya-llm/<img src="https://kropachev.digital/" alt="Featured image of post 🤖 Домашняя LLM - пополнение вики в Proxmox-заметках" /><h1 id="-домашняя-llm---пополнение-вики-в-proxmox-заметках">🤖 Домашняя LLM - пополнение вики в Proxmox-заметках </h1><p>Тема прикладная и техническая, поэтому управленческий контекст в этот раз за скобками. Пост адресован начинающим инженерам и энтузиастам с домашними серверами, которым интересно поднять собственную LLM на знакомом железе и попробовать ее в работе, а не только читать о подобных сборках в чужих блогах.<br> В вики proxmox-notes добавлены две новые статьи, которые вместе складываются в маршрут от голого сервера до рабочего веб-чата с моделью на собственной видеокарте.</p> <h2 id="-что-внутри">🗂️ Что внутри </h2><p>Во-первых - про PCIe passthrough: что включать в BIOS, как разнести устройства по группам IOMMU, как привязать видеокарту к vfio-pci и зачем хосту встроенная графика после проброса дискретной карты.<br> Во-вторых - про саму виртуальную машину: параметры VM под passthrough (q35, выделенные ядра, фиксированная память без баллунинга), установка Ubuntu Server 26.04 с драйверами NVIDIA и CUDA, развертывание Ollama и Open WebUI в Docker, Caddy с автоматическим TLS перед веб-интерфейсом.<br> На прохождение всех шагов при наличии нужного железа уходит примерно вечер. На выходе - локальный веб-чат с моделью, доступный с любого устройства домашней сети и не отправляющий запросы во внешние сервисы.</p> <h2 id="-тестирование">🧪 Тестирование </h2><p>Для теста я попросил qwen3 и gemma4 написать скрипты замеров - и стал свидетелем того, насколько по-разному модели подходят к одной и той же задаче.<br> 🥇 gemma4 пошла инженерным путем: обращение к Ollama API с stream: false, разбор полей eval_count и total_duration для корректного учета времени генерации, аккуратная структура замера - правда, с арифметической ошибкой в одной из формул, которую пришлось чинить руками.<br> 🤷‍♂️ qwen3-coder выбрала короткий путь - subprocess с замером time.time() вокруг внешнего вызова: решение рабочее, но систематически занижающее результат на накладные расходы запуска процесса.<br> Все как у людей.</p> <hr> <p>Набор тестов простой: логическая задача на определение дня недели, арифметический расчет, написание хокку и проверка стабильности на повторных запусках. Через него прогонялись шесть моделей от 8B до 30B параметров.</p> <h2 id="-результаты-тестов">⏱️ Результаты тестов </h2><p>На 16 ГБ VRAM комфортно живут модели уровня 24-30B в квантовании Q4. MoE-архитектуры по скорости опережают плотные модели сопоставимого размера. Модели с внутренним рассуждением расходуют на него заметную долю токенов, и практическая скорость генерации у них ниже номинальной. По качеству: llama3.1:8b спотыкается даже на простых задачах, qwen3.5 на хокку ушла в бесконечный цикл, наиболее сбалансированной оказалась gpt-oss; для работы с кодом удобнее gemma4, для длинных текстов - mistral-small3.2. Полные цифры - в самой вики.</p> <h2 id="-ссылки">🔗 Ссылки </h2><p>Проброс видеокарты:<br> <a class="link" href="https://github.com/kropachev/proxmox-notes/wiki/proxmox-pcie-passthrough" target="_blank" rel="noopener" >https://github.com/kropachev/proxmox-notes/wiki/proxmox-pcie-passthrough</a></p> <hr> <p>Создание виртуальной машины под LLM:<br> <a class="link" href="https://github.com/kropachev/proxmox-notes/wiki/proxmox-creating-llm-vm" target="_blank" rel="noopener" >https://github.com/kropachev/proxmox-notes/wiki/proxmox-creating-llm-vm</a></p>