Альтман разочаровывается в сверхразуме, способном спасти человечество, в то время как OpenAI снижает цены ( theregister.com )
>Запрос GPT-4o потребляет около 0,3 Вт·ч для типичного текстового вопроса, хотя это значение существенно увеличивается до 2,5–40 Вт·ч для запросов с очень длинными входными данными.
Учитывая контекстное окно в 128 килотокенов и то, как диапазон энергопотребления (от 0,3 до 40 Вт·ч) увеличивается в 133 раза от «единичного запроса» до «худшего случая», это предполагает линейное масштабирование энергопотребления с длиной контекста.
Учитывая распространенный шаблон пользователя “чат с LLM”, цифра 0,3 Вт·ч кажется сокращенной. По мере того, как чат растет в длину, длина “запроса” становится длиной всего чата.
Если предположить, что для длинных чатов используется сжатие контекста, то искомый показатель энергопотребления на один вопрос должен соответствовать энергопотреблению для запроса длиной в два раза меньше максимального количества токенов контекста.
Для GPT-4o: 20 Вт·ч
Мне интересно, насколько он хорош в кодировании, и совсем немного интересуют другие вещи.
Мне сейчас трудно понять, когда Илон, а когда Сэм что-то сказали.
Это, должно быть, самый дипломатичный способ написать: «Этот парень звучит так, будто он под кайфом».
…или когда что-то сказал 'Цук', или когда что-то сказал Андрессен. В их мире все еще 2010 год.
Source: news.ycombinator.com