Tesla V100 за $100 оказалась быстрее RTX 3060 в LLM

Nvidia Tesla V100, ускоритель образца 2017 года, внезапно напомнил, зачем серверные GPU вообще существовали. В домашней сборке за сумму около $235 эта карта обошла GeForce RTX 3060 12 ГБ и Radeon RX 7800 XT 16 ГБ в задачах локального запуска языковых моделей, хотя на бумаге перед нами древний дата-центровый

модуль без нормального потребительского сценария. Сюрприз здесь только для тех, кто продолжает мерить ИИ видеокартами из игровых обзоров. Для инференса LLM гораздо чаще упираешься в память и ее пропускную способность, чем в то, сколько кадров карта рисует в Cyberpunk. У Tesla V100 память HBM2 с пропускной способностью около 900 ГБ/с. У RTX 3060 этот показатель около 360 ГБ/с, у RX 7800

XT примерно 624 ГБ/с. Разница уже сама объясняет, почему старый серверный кремний еще огрызается. Как Tesla V100 обошла RTX 3060 и RX 7800 XT Тесты провел автор Hardware Haven, собрав систему на базе Tesla V100 SXM2. В GPT-oss 20B карта выдала около 130 токенов в секунду против примерно 90 токенов/с у Radeon RX 7800 XT. В Gemma4:e4b старая Nvidia показала около 108 токенов/с, тогда как RTX 3060 12 ГБ держалась на уровне 76 токенов/с. Еще интереснее картина выглядела

при ограничении мощности до 100 Вт. V100 сохранила лидерство и по скорости генерации, и по эффективности в токенах на ватт. Для карты, которой восемь лет, это хороший щелчок по носу потребительскому сегменту, где маркетинг давно продает «ИИ-функции», а реальную пользу в локальных моделях часто дает банальная ширина

канала памяти. Tesla V100: 16 ГБ HBM2, около 900 ГБ/с GeForce RTX 3060 12 ГБ: GDDR6, около 360 ГБ/с Radeon RX 7800 XT 16 ГБ: GDDR6, около 624 ГБ/с Есть и еще одна причина. V100 построена на архитектуре Volta, а это одно из первых поколений Nvidia с тензорными ядрами, созданных именно под вычисления. В играх такая карта давно музейный экспонат. В матричной математике и инференсе она стареет заметно медленнее. Сколько стоит домашняя сборка с Tesla V100 Сам ускоритель на вторичке

можно найти примерно за $100, но на этом аттракцион дешевого ИИ заканчивается. Версия SXM2 не вставляется в обычный PCIe-слот, поэтому автору понадобились адаптер SXM-to-PCIe, отдельное питание и самодельное охлаждение с 3D-печатным воздуховодом. В сумме вышло около $235. Этот нюанс многое меняет. Tesla V100 не имеет видеовыходов, требует возни с совместимостью и ведет себя как железо, которое никогда не планировали продавать

энтузиастам с отверткой и свободным вечером. PCIe-версии V100 существуют, но обычно стоят дороже. А более доступные Tesla P40 на 24 ГБ хоть и популярны у любителей локальных LLM, по скорости ощутимо уступают V100. ускоритель Tesla V100 SXM2 адаптер SXM-to-PCIe отдельное питание кастомное охлаждение Для каких LLM Tesla V100 еще подходит Версия на 16 ГБ выглядит здравым вариантом для локального запуска

квантованных моделей уровня 7B, 8B и части 20B-конфигураций, если пользователь готов мириться с самосбором. Здесь V100 попадает в редкую нишу: новая игровая карта за те же деньги обычно проще в установке, но почти всегда слабее по объему памяти или по пропускной

способности. Поэтому вторичный серверный сегмент в 2026 году неожиданно стал местом, где можно купить больше ИИ-пользы за меньшие деньги. Версии Tesla V100 на 32 ГБ на вторичке сейчас просят $400-500.

Tesla V100 за $100 оказалась быстрее RTX 3060 в LLM

Сообщает itzine.ru

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

09:00, 24 Апр Tesla Roadster с ракетными технологиями SpaceX, который должен разгоняться до 100 км/ч за 1,1 с, станет последним автомобилем Tesla с ручным управлением Его анонс ожидается в ближайшее времяИлон Маск подтвердил, что Roadster станет последним автомобилем Tesla с ручным управлением, а его дебют состоитс...

07:00, 21 Май Нереида оказалась последней родной луной Нептуна James Webb помог астрономам расчистить семейное древо Нептуна. По данным новой работы, Нереида, вероятно, единственный спутник планеты, который сформ...

11:51, 21 Апр Утилизация растворителей и лакокрасочных отходов в Москве Ликвидация ЛКМ: как избежать предписаний и закрыть вопрос с отходами В условиях жесткого надзора в Московском регионе жидкие промышленные отходы — э...

01:00, 21 Май Цена как у GeForce RTX 5060 Ti, производительность хуже, чем у GeForce RTX 3060: китайская игровая видеокарта Lisuan LX 7G100 вышла на рынок Чуда не произошло, производительностью GeForce RTX 4060 и не пахнетКитайская компания Lisuan Technology вывела на рынок свою первую игровую видеокарт...

11:00, 03 Май Почему кошка бросает полную миску: причина оказалась странной Ученые раскрыли главный секрет: почему кошки вдруг отказываются от еды. Источник изображения: vprok.ru Каждый владелец кошки хотя бы раз сталкивался ...

01:00, 07 Май Четверть российского рынка облигаций оказалась под угрозой дефолта. Виноваты кредиты и НДС Около 25% облигаций в России находятся под риском дефолта. Компании не справляются с долговыми обязательствами на фоне дорогого рефинансирования и по...

20:00, 28 Апр Галактика Сомбреро оказалась втрое больше: астрономы впервые подробно увидели её гигантское гало Новые наблюдения показали протяжённую оболочку и следы древнего слияния галактикОдна из самых узнаваемых галактик — Галактика Сомбреро — оказалась зн...

16:00, 14 Май Windows 11 станет быстрее до 40-70% в некоторых задачах Microsoft продолжает оптимизировать производительность Windows 11, внедряя новую технологию под названием Low Latency Profile. Эта функция направлена...

22:00, 28 Апр Семена слышат дождь и прорастают на 40% быстрее Семена слышат звуки дождя и прорастают на 40% быстрее Мы привыкли думать о семенах как о пассивных объектах, которые просто ждут воды и тепла. Но инж...

20:00, 12 Май Почему без движения организм начинает стареть быстрее Учёные раскрыли главный секрет: как тренировки омолаживают весь организм Мы привыкли думать о мышцах как о механическом приводе: сократились — рука п...

06:00, 11 Май Суперспорт как он есть: английский Morgan стал еще быстрее Классический британский автобренд Morgan представил топ-версию модели Supersport, появившейся всего около года назад. Morgan Supersport 400 имеет под...

22:00, 08 Май Стэнфордский отчёт показал, что ИИ умнеет быстрее, чем мы успеваем его контролировать Стэнфордский университет (запрещен в России, экстримисткая террористическая организация) опубликовал ежегодный индексный отчёт о состоянии искусствен...

14:00, 18 Май Быстрее и маневреннее. Зеленский атаковал Москву немецким БПЛА В последних ударах по Москве Украина задействовала новую модель БПЛА — серию BARS. Об этом сообщил командующий Сил беспилотных систем Роберт Бровди (...

06:00, 12 Май Космический беглец: пульсар в древнем скоплении движется в 10 раз быстрее возможного Международный консорциум астрофизиков объединил данные за 20 лет, чтобы раскрыть тайну системы PSR J1905+0154AГруппа радиоастрономов и специалистов п...

09:00, 07 Май Роботы SAIL: как машины научились работать в три раза быстрее человека Пока одни разработчики учат роботов имитировать эмоции, другие совершают прорыв в сугубо утилитарной сфере — скорости выполнения бытовых и производст...

07:00, 21 Май Tesla начала запуск FSD Supervised в Европе в 2 странах Tesla добралась до Европы с FSD Supervised, но старт получился скромным. Первыми странами стали Нидерланды и Литва. Для компании это важный шаг: в СШ...

13:00, 17 Апр Samsung готовится к массовому производству 3-нм чипа AI5 для Tesla Подразделение Samsung Foundry завершило этап tape-out первого 3-нм чипа AI5 для Tesla, и глава компании Elon Musk уже поблагодарил партнёров за сотру...

09:00, 24 Апр Tesla показала VIN Zero: первый серийный автомобиль Cybercab Его собрали на Giga TexasTesla начала серийное производство своего полностью беспилотного двухместного электромобиля без руля и педалей. Машины уже с...

20:00, 19 Апр Человекоподобный робот Honor пробежал полумарафонскую дистанцию быстрее профессионального атлета В Китае человекоподобные роботы демонстрируют свои возможности не только на праздничных представлениях, их автономность и кинематические возможности ...

22:00, 01 Май Tesla запустила массовое производство электрического грузовика Semi Компания Tesla объявила о запуске производства своего электрического грузовика Tesla Semi на новой высокопроизводительной линии на заводе в Неваде. Э...

10:00, 21 Май Tesla запускает автопилот в Европе: названы первые страны Ими стали Нидерланды и ЛитваИлон Маск (Elon Musk) сделал репост сообщения Tesla, в котором говорится о запуске системы FSD Supervised в Литве. В публ...

14:00, 16 Май Tesla Robotaxi попали в аварии при удалённом управлении операторами Новые данные NHTSA раскрыли 17 инцидентов, включая столкновения на низкой скорости и ошибки телеметрического управленияTesla зафиксировала как миниму...

09:00, 24 Апр Илон Маск инвестирует $25 млрд в завод гуманоидных роботов Tesla Новый план Маска: Tesla вложит $25 миллиардов в строительство гигантского завода роботов Optimus. Финансовый квартальный отчёт Tesla принёс сенсацион...

08:00, 15 Май Tesla открыла огромную зарядную станцию Supercharger в пустыне Мохаве Они расположена в городе Жан (Jean), штат НевадаTesla открыла новую крупную станцию быстрой зарядки Supercharger в США — объект появился в городе Жан...

11:00, 07 Май Юрист Воропаев: водителя Tesla, выпившего и включившего автопилот, лишат прав Даже если автомобиль Tesla движется на автопилоте, водитель в состоянии опьянения будет привлечён к административной ответственности. Об этом журналу...

20:00, 15 Май Бензин дорожает быстрее инфляции — аналитики назвали сроки, когда цена пробьёт психологическую отметку Российский топливный рынок входит в зону высокой турбулентности. Сочетание сезонного пика потребления и внеплановых остановок крупнейших нефтеперераб...

01:00, 23 Май Tesla окончательно отказывается от планов локального производства в Индии после многолетних переговоров Компания прекратила обсуждение строительства завода, сославшись на тарифные разногласия, ограниченную рентабельность рынка и недозагруженность сущест...

09:00, 17 Апр «Рука будущего» Tesla Optimus V3 получит «сухожильную» систему. Опубликованы детальные подробности Новая конструкция обещает более точные движения и приближение к возможностям человеческой кистиИнсайдер Сойер Мерритт (Sawyer Merritt) сообщил о публ...

09:00, 24 Апр Tesla вдвое увеличит вычислительные мощности для обучения моделей на GPU уже во втором квартале 2026 Для Full Self-Driving, Optimus и моделей обработки изображенийTesla планирует почти удвоить свои вычислительные мощности для обучения моделей с испол...

20:00, 20 Май Похороны транзистора откладываются, но замена готова: в Японии создали квантовый переключатель, который в 1000 раз быстрее кремния Учёные из Токийского университета полностью отказались от классических полупроводников, обуздав спин электрона в топологическом антиферромагнетикеТра...

20:00, 26 Май Свеклу варю по новому, вопреки правилам: 3 хитрости и даже крупная варится в 2 раза быстрее - рубиновая и сладкая Классическая варка свёклы — это долгий процесс, который может длиться от 40 минут до 1,5 часов и больше. При этом в кастрюлю уходит много воды, а кор...

01:00, 23 Май Американцы не хотят покупать бронированные пикапы Tesla Cybertruck, поэтому Илон Маск продает их сам себе Cybertruck у Tesla закупают другие компании Илона Маска — SpaceX, xAI, Neuralink и The Boring CompanyФинансовые документы SpaceX раскрыли интересную ...

17:00, 17 Апр Tesla TeraFab — потенциально самый большой в мире завод по производству чипов — ищет поставщиков оборудования Terafab делает первые реальные шагиКоманда Илона Маска начала первые практические шаги по проекту Terafab — будущему производству передовых чипов для...

09:00, 24 Апр Tesla Cybercab сам выезжает с конвейера Gigafactory и едет на стоянку: опубликовано первое видео изнутри серийного автомобиля Серийное производство уже началосьКомпания Tesla выложила первый видеоролик изнутри серийного Cybercab, который самостоятельно съехал с конвейера на ...

17:00, 27 Апр Intel внезапно сделала очень интересный бюджетный процессор: Intel Core 5 320 оказался быстрее Apple A18 Pro в MacBook Neo Разница в многопотоке — более 25% в пользу решения IntelIntel Core 5 320 из линейки Wildcat Lake, ориентированной на бюджетные ноутбуки, засветился в...

11:00, 23 Апр Массовое производство Tesla Optimus уже началось: линия рассчитана на миллион роботов в год, но компания строит ещё один огромный завод для Optimus Роботов планируют продавать по цене до 30 000 долларовTesla в свежем отчёте за первый квартал 2026 года подтвердила запуск серийного производства роб...

01:00, 21 Май Бензин дорожает, но Toyota дорожает ещё быстрее: в США взлетели цены на гибридные Toyota RAV4 из-за сильно выросших цен на бензин Американцы объявили охоту за классическими гибридамиВ США на фоне резкого роста цен на бензин резко вырос спрос на гибридные автомобили, однако вмест...