🍋 Снизить нагрузку на сайт из-за запросов к нему
💶 Желаемый бюджет: до 2000.00 ₽, Допустимый: 6000 ₽ 💴
👉 № 2865264 🔗
Большое количество запросов с определенных IP-адресов. Нужно выполнить рекомендации, которые дала тех поддержка хостинга: закрыть доступ для некоторых IP-адресов или сократить количество обращений
#freelance
Модель мира V-JEPA 2 и новые критерии для физического мышления=news.ycombinator.com=
Модель мира V-JEPA 2 и новые критерии для физических рассуждений ( meta.com )
> Благодаря этим визуальным подцелям V-JEPA 2 достигает показателей успешности 65–80 % при выборе и размещении новых объектов в новых и невидимых средах.
Как это соотносится с существующими альтернативами? Возможно, я просто не в курсе, но минимальный уровень неудач в 20% звучит довольно плохо? В статье сравниваются их результаты с более старыми подходами, которые, по-видимому, имели что-то вроде 15% уровня успеха, поэтому переход к 80% уровню успеха действительно кажется значительным скачком. Если я правильно читаю статью, количество времени, необходимое для вычисления и выполнения каждого действия, сократилось с 4 минут до 16 секунд, что также кажется значительным.
Необходимость указания конечной цели в виде изображения кажется довольно ограниченной, но, по крайней мере, авторы признают это в статье:
> Во-вторых, как упоминалось в разделе 4, V-JEPA 2-AC в настоящее время опирается на задачи, определенные как цели изображения. Хотя это может быть естественным для некоторых задач, есть другие ситуации, где спецификация целей на основе языка может быть предпочтительнее. Расширение V-JEPA 2-AC для принятия целей на основе языка, например, путем наличия модели, которая может встраивать цели на основе языка в пространство представления V-JEPA 2-AC, является еще одним важным направлением для будущей работы. Результаты, описанные в разделе 7, согласующие V-JEPA 2 с моделью языка, могут служить отправной точкой.
Я думаю, было бы интересно, если бы авторы ответили, считают ли они, что существует четкая траектория к модели, которую можно обучить для достижения показателя успешности >99%.
В настоящее время,
Вы обучаете модель VLA (Vision Language Action) для конкретной пары роботизированных рук для конкретной задачи. Действия конечного привода встроены в модель (действия). Допустим, вы обучаете пару рук поднимать яблоко. Вы не можете обнулить ее, чтобы поднять стакан. То, что вы видите в демонстрациях, является результатом большого количества тренировок и тонкой настройки (несколько кадров) на конкретных типах объектов и с конкретными роботизированными руками или телами.
Встраивание посредника языка приносит некоторые обобщающие навыки, но их не так много. Видение -> язык -> перевод действия, как бы это сказать, в лучшем случае хрупкий.
То, что эти ребята показывают, — это подход с нулевым выстрелом к новым задачам в новых условиях с точностью 80%. Это большое дело. Pi0 от Physical Intelligence — лучшая модель для сравнения, я думаю.
Важно сохранять некоторую перспективу: в настоящее время в дикой природе нет ни одного робота, который использовал бы модель мира для работы над задачами, которым они не были специально обучены. Это передовые исследования, и 80% успеха просто поразительны!
80%-ный показатель успеха также потенциально коммерчески выгоден, если в настоящее время задачу выполняет человек.
Работу, которую раньше выполняли 10 человек, теперь могут выполнять 10 роботов + 2 человека в 20% случаев сбоя, при меньших общих затратах.
Это действительно зависит от видов отказов. В целом, люди терпят неудачу предсказуемым и в основном безопасным образом. ИИ терпят неудачу крайне непредсказуемым и потенциально очень опасным образом. (Человек может случайно уронить нож, ИИ может случайно ударить вас им.)
Или, если бы он управлял рукой робота, он бы пронзил конвейерную ленту на полном ходу.
Я удивлен, что это не так, как это уже сделано. Я бы предположил, что некоторые внутренние слои в LLM уже были “моделями мира”, и что именно внешние слои отличали модели между текстом и изображениями/робототехникой/другими режимами…
Так утверждает пропаганда, но когда мы продолжаем объяснять, оказывается, что это неправда, и армия прибывает, чтобы повторить рекламный текст своего любимого технического гуру.
Все статистические модели такого рода, которые используются, являются интерполяциями исторических данных — никакой магии. Поэтому, когда вы интерполируете исторические тексты, ваша модель — это исторический текст.
Текст не является мерой мира, фраза «небо голубое» даже не ассоциируется надежно с голубизной неба, не говоря уже о том, что небо не голубое (неба нет, и атмосфера не голубая).
Эти модели кажутся “захватывающими больше” только потому, что когда вы интерпретируете текст, вы приписываете ему значение/понимание как причину его создания — но это не было причиной, это обязательно иллюзия. В модели исторического текста нет модели мира — есть модель мира в вашей голове, которую вы ассоциируете с текстом, и эта ассоциация эксплуатируется, когда вы используете LLM, чтобы сделать больше, чем просто преобразование синтаксиса.
LLM преуспевают больше всего в “нечетком поиске” и таких вещах, как кодирование — последнее в основном вопрос синтаксиса, а первое — воспоминания. Как только вам требуется, чтобы подсказка-дополнение поддерживало “семантическую целостность” с несинтаксическими/вызываемыми ограничениями, все разваливается.
Мне кажется, что вы игнорируете или отбрасываете слово «интерполяция», хотя, вероятно, лучшим словом было бы обобщение. Я бы сказал, что очень трудно обобщать без какой-либо формы модели мира. Мне ясно, что у трансформаторов есть какая-то форма модели мира, хотя и не такая, как та, что представлена в V-JEPA.
Еще одна придирка заключается в том, что вы ограничиваетесь «историческими данными», хотя обучение проводится на других классах данных, таких как смоделированные и генеративные.
Я не сказал обобщение, потому что его нет. Индуктивное обучение не обобщает, оно интерполирует — если область вашего будущего предсказания (в данном случае, конкуренция подсказок) лежит на интерполированной области или близко к ней, то система полезна.
Обобщение — это противоположный процесс, предполагающий универсальное и находящий контрпримеры для ограничения универсального обобщения. Например, «весь огонь горит» выдвигается компетентным животным при единожды встрече с огнем.
Индуктивные «обучающиеся» придерживаются противоположного подхода: огонь обжигает во «всех этих случаях», и если у вас есть случай, подобный этим, то огонь обожжет вас.
Они могут выглядеть одинаково в области интерполяции, но выглядеть совсем по-другому, когда вы покидаете ее: все эти системы быстро рушатся, когда накладывается больше, чем горстка семантических ограничений. Это число является мерой расстояния от интерполированной границы (например, рассмотрите эту интерпретацию последней статьи Apple о рассуждениях в LLM: «сложность среды» есть не что иное, как мера различия интерполяции).
Ранние современные философы науки были этим очень смущены, но это ясно как день у Аристотеля, и это также чрезвычайно хорошо установлено с 80-х годов, поскольку развитие формальной вычислительной статистики потребовало прояснить это: интерполяция не является обобщением. Первое не дает вам устойчивости к нерелевантной перестановке (т. е. обобщению); оно не позволяет рассматривать контрфактуальные сценарии (т. е. обобщение); оно не дает вам семантики/теории процесса генерации данных (т. е. обобщение, т. е. модель мира).
Интерполяция — это модель данных . Обобщение требует модели процесса генерации данных , первое не дает вам второго, хотя может показаться, что это так при сильных экспериментальных предположениях известных причинных моделей.
Здесь LLM моделируют структуру языка-как-символического-упорядочения, эта структура “в интерполированной области” выражает рассуждение, но это не модель рассуждения . Это модель рассуждения, как оно зафиксировано в исторических случаях.
Разве нет документов, показывающих, что возникает некая модель мира? Как представления доски Отелло, которые мы бы узнали, были найдены и успешно обработаны в небольшой модели.
Существуют две последующие статьи, показывающие, что представления «запутаны» (эвфемизм для статистического мусора), но в данный момент я не могу себе позволить их найти.
Однако вся проблема Отелло нелогична и свидетельствует о том, что люди, вовлеченные в нее, на самом деле не понимают сути проблемы или того, что такое модель мира.
«Модель мира» — это модель процесса генерации данных, которая не сводится к его измерениям и не конституируется ими. То есть, нас интересует случай, когда есть пространство измерений (например, высота ртутного столба в термометре) и целевое пространство свойств (например, температура кофе). Так что между данными-мерой и их причинами существует разрыв. В языке этот разрыв огромен: причина моего высказывания «Я голоден» может не иметь ничего общего с моим голодом, даже если это часто так. Что касается «научных измерительных приборов», они сконструированы так, чтобы максимально минимизировать этот разрыв.
В любом случае, с настольными играми и другими математическими объектами нет разрыва. Данные — это игра. «Состояние доски» — это абстрактный объект, образованный всеми возможными состояниями доски. Игра «состоит из» ее реализаций.
Однако мир не создан из языка, а кофе не создан из термометров. Поэтому модель данных не является моделью процесса их генерации.
Поэтому вопрос о том, «полностью ли характеризует» интерполяция состояний доски абстрактный математический объект «игра», настолько нерелевантен для вопроса, что выдает фундаментальное отсутствие понимания даже сути вопроса.
Никто не спорит, что структурированная интерполяционная модель (т. е. та, которая имеет индуктивное смещение архитектурой NN) не выражает свойства базового домена в своей структуре. Вопрос в том, что происходит с этой моделью данных , когда у вас есть тот же процесс генерации данных , но вы не находитесь в интерполированной области.
Эта проблема, в пределе больших данных, невозможна для абстрактных игр по их природе, например, модель, классифицирующая входные данные X на допустимые/недопустимые состояния доски, является игрой.
Другой способ сформулировать это так: в учебниках по машинному обучению/искусственному интеллекту часто начинают с предположения, что есть функция, которую вы аппроксимируете. Но в подавляющем большинстве случаев, когда используются нейронные сети, такой функции нет — нет токенов функции -> значений (например, «я голоден» неоднозначно).
Но в случае абстрактной математики есть функция, {boards} -> Legal|Illegal — это функция, нет неоднозначных досок.
Итак: из бесконечного числа приближений f* к f_game любое допустимо в пределе len(X) -> inf. Из бесконечного числа f*_lang к f_language все недопустимы (каждое по-своему).
> армия прибывает, чтобы повторить рекламный текст своего любимого технического гуру
Это до боли точно.
Разговоры проходят примерно так:
Я: «Ребята, я знаю, о чем говорю. Я написал свою первую нейронную сеть 30 лет назад в средней школе. Эта технология крутая, но она не волшебная и недостаточно хороша, чтобы делать то, что вы хотите, не рискуя получить за это судебный иск или что-то похуже».
Они: «Бро, я прочитал твит о том, что мы по ту сторону сингулярности. У нас есть шесть месяцев, чтобы заработать денег, прежде чем все взорвется».
Я могу это принять, учитывая очень широкое значение “специально обученный” и немного помахав рукой насчет “насколько я знаю*”, но затем я читаю фактическую формулировку “новые объекты в новых и невиданных средах” и вспоминаю, что они летали вокруг Маунтин-Вью, выполняя задания, связанные с новыми объектами в неизведанных средах много лет назад. Тогда мне как бы приходится сдаться и признаться себе, что я искажаю разговор, подчеркивая позитивность вместо земной истины.
Они не используют его, потому что это небезопасно и потенциально опасно для жизни, лол.
Множество вещей небезопасны и потенциально опасны для жизни, включая машины с запрограммированными процедурами, которые мы используем сегодня. У нас уже есть роботы с ограниченным интеллектом, которые безопасно взаимодействуют с людьми на рабочих местах.
Эта технология обучения не существовала до этого момента. Вероятно, это больше связано с тем, почему никто не использует ее в дикой природе.
Да, вы можете просто добавить другие надежные меры безопасности. То есть, если человек подойдет слишком близко, робот остановится.
Или робот находится под постоянным наблюдением.
Или просто действует в зоне, где нет людей.
Но пока это всего лишь исследование, а не выход на рынок.
Я управляю тысячами роботов на производстве. Мы можем получить очень высокий процент успеха, но только для той задачи, для которой они предназначены. Производственные роботы пока не могут поднимать то, что они уронили. И этот уровень «80%» на самом деле не является приемлемым или даже современным для простого подъема и перемещения, но он привлекателен для робота, который также умеет делать другие вещи с таким же качеством (если JEPA это делает).
Кто-нибудь знает, как изучаются “семантические” вложения? Это, пожалуй, главная техническая проблема здесь.
Возникает вопрос, будет ли модель в конечном итоге воссоздавать где-то интеграцию Верле или же она будет генерировать кучу этих эвристик типа отмены оптического ускорения в форме нейронной сети.
Это одна из тех идей, которая вертится у меня в голове уже некоторое время: если объединить хорошее отслеживание объектов с пониманием интеграции Верле, то, в принципе, можно довольно легко измерять всевозможные физические величины.
Я думаю, что фундаментальная идея JEPA (не обязательно эта конкретная реализация Meta) в конечном итоге будет правильной: предсказывать вложения вместо конкретных токенов. Возможно, именно это делают животные. Предсказание следующего токена (распределение вероятностей по возможным следующим токенам) хорошо работает для дискретной области текста, но не очень хорошо работает для непрерывной области, такой как видео, которая была бы необходима для робототехники в реальном времени.
Для текста с двухбайтовым токенизатором вы получаете 2^16 (~65.000) возможных следующих токенов, и вычисление распределения вероятностей по ним вполне осуществимо. Но «возможные следующие кадры» в видеопотоке уже будут чрезвычайно большим числом. Если один кадр имеет несжатый размер 1 мегабайт (вместо всего 2 байт для текстового токена), то существует 2^(8*2^20) возможных следующих кадров, что является слишком большим числом. Поэтому нам каким-то образом нужно предсказать только вложение кадра, то есть то, как будет выглядеть примерно следующий кадр видеопотока.
Более того, для робототехники мы не хотим просто предсказывать следующий (приблизительный) кадр видеопотока. Мы хотим предсказывать будущие сенсорные данные в более общем плане. Вероятно, именно это делают животные, включая людей. Мы постоянно предвидим, что произойдет с нами в «будущем», приблизительно, и где более далекое будущее предсказывается все менее точно. Мы относительно уверены в том, что произойдет через секунду, но все меньше и меньше уверены в том, что произойдет через минуту, или через день, или через год.
> Мы постоянно предвидим, что произойдет с нами в «будущем», приблизительно, и где более отдаленное будущее предсказывается все менее точно
Затем появляются доказательства того, что называется Предиктивным Кодированием. Когда это будущее наступает, схема более высокого уровня решает, насколько мы далеки от него, а затем высвобождает соответствующие нейромодуляторы, чтобы перемонтировать эту схему.
Это означало бы, что для того, чтобы учиться быстрее, вам нужно подвергать себя ситуациям, в которых вы часто ошибаетесь: часто удивляться и идти по неправильному пути. Иметь механизм обратной связи, который скажет вам, когда вы ошибаетесь. Возможно, поэтому лучшие учителя — это те, кто часто задает классу вопросы, на которые есть контринтуитивные ответы.
Но как перейти от прогнозирования внедрений (которые можно рассматривать как тип сжатия исходных данных с потерями) к чему-то пригодному для использования, например, к последовательности токенов изображений/видео или последовательности действий робота?
Вот тут-то и вступает в дело память: если у вас есть память о прошлых встраиваниях и связанных с ними метках, можно использовать запрос ИНС для извлечения наиболее похожих встраиваний и выведения из них выводов.
Но вложение больше похоже на односторонний хэш, вроде sha1 или md5, не так ли? Вы можете получить из входных данных значение хэша, но не наоборот, верно? Я знаю, что аналогично размещенные векторы вложения будут располагаться рядом с семантически связанными векторами, но эти кластеры могут быть очень разреженными в таком массивно-размерном гиперпространстве, и поэтому ближайшие значения в кэше могут быть слишком далеки, чтобы быть полезными?
Кстати, я тут совсем не эксперт и просто пытаюсь понять, как эта система работает от начала до конца. Не воспринимайте все, что я здесь пишу, как авторитет.
Роботизированная модель должна будет постоянно преобразовывать прогноз (внедрение) будущих наблюдений вместе с «планом» того, чего робот пытается достичь, в действие. В некое движение, которое учитывает как план действий, так и прогнозируемые сенсорные данные.
Это во многом нерешенная проблема, и я не знаю, насколько далеко продвинулась Мета по этому пути. Не очень далеко, я полагаю.
Если я правильно понял ваш пост, они также делают это:
> V-JEPA 2-AC — это модель мира, обусловленная скрытыми действиями, прошедшая постобучение на основе V-JEPA 2 (с использованием небольшого количества данных о взаимодействии траектории робота), которая решает задачи по манипуляции роботом без сбора данных, специфичных для конкретной среды, или обучения или калибровки для конкретной задачи.
> После этапа бездействия перед обучением модель может делать прогнозы о том, как может развиваться мир, однако эти прогнозы напрямую не учитывают конкретные действия, которые предпримет агент. На втором этапе обучения мы фокусируемся на том, чтобы сделать модель более полезной для планирования, используя данные робота, которые включают визуальные наблюдения (видео) и управляющие действия, которые выполнял робот. Мы включаем эти данные в процедуру обучения JEPA, предоставляя информацию о действиях предиктору. После обучения на этих дополнительных данных предиктор учится учитывать конкретные действия при составлении прогнозов и затем может использоваться для управления. Нам не нужно много данных робота для этого второго этапа — в нашем техническом отчете мы показываем, что обучение всего с 62 часами данных робота уже приводит к модели, которую можно использовать для планирования и управления.
> Мы демонстрируем, как V-JEPA 2 может использоваться для планирования робота с нуля в новых средах и с участием объектов, не наблюдавшихся во время обучения. В отличие от других моделей фундамента робота, которые обычно требуют, чтобы некоторые данные для обучения поступали из конкретного экземпляра робота и среды, где развернута модель, мы обучаем модель на открытом исходном наборе данных DROID, а затем развертываем ее непосредственно на роботах в наших лабораториях. Мы показываем, что предиктор V-JEPA 2 может использоваться для таких фундаментальных задач, как достижение, подъем объекта и размещение его в новом месте.
> Для задач с коротким горизонтом, таких как выбор или размещение объекта, мы указываем цель в виде изображения. Мы используем кодер V-JEPA 2 для получения вложений текущего и целевого состояний. Начиная с наблюдаемого текущего состояния, робот затем планирует с помощью предиктора представить последствия выполнения набора действий-кандидатов и оценивает кандидатов на основе того, насколько близко они подходят к желаемой цели. На каждом временном шаге робот перепланирует и выполняет следующее действие с самым высоким рейтингом по направлению к этой цели с помощью управления на основе прогнозирования модели. Для задач с более длинным горизонтом, таких как выбор объекта и размещение его в нужном месте, мы указываем ряд визуальных подцелей, которых робот пытается достичь последовательно, аналогично визуальному имитационному обучению, наблюдаемому у людей. С этими визуальными подцелями V-JEPA 2 достигает показателей успеха 65% – 80% для выбора и размещения новых объектов в новых и невидимых средах.
> Такого рода физическая интуиция не появляется у взрослых после многих лет обучения — маленькие дети развивают эту интуицию, наблюдая за окружающим миром еще до того, как они научатся говорить полными предложениями.
Я имею в виду, что им все равно требуется гораздо больше времени, чем требуется для обучения даже самых крупных LLM, с которыми мы работаем (пара месяцев).
Но энергии они тратят на это гораздо меньше.
По времени настенных часов. Если считать по входным токенам/пикселям, люди обучаются, имея на порядки меньше входных данных.
Это совсем не так; объем аудиовизуальных данных, которым подвергается человек даже за один год, невероятно огромен. Более шестидесяти кадров в секунду, шестнадцать часов в день дают более триллиона кадров в год, а каждый кадр при таком высоком разрешении будет сотнями токенов.
Вот почему мы проводим токенизацию на очень раннем этапе разработки концепции.
Связанные: https://en.wikipedia.org/wiki/Form_constant
Давайте возьмем ваши цифры:
Человек: 1000 токенов * 60 * 86400 * 365 = 2 триллиона токенов / год
GPT-4: 13 триллионов токенов
Llama-3: 15 триллионов токенов
Бросьте в него ARC-AGI 2!
Подозреваю, что это не слишком поможет. Эта модель предназначена для моделирования мира на основе физики, в то время как почти все проблемы в ARC — это символические рассуждения.
Я бы сказал, что моделирование мира может обеспечить основы, из которых может возникнуть символическое рассуждение, в конце концов, именно так мы (люди) тоже учимся этому. В arc есть много задач, которые основаны на простой физике
> Я бы сказал, что моделирование мира может обеспечить основу, из которой может возникнуть символическое мышление, в конце концов, именно так мы (люди) его и изучаем
Как обычно, сравнения с людьми дают мало практического понимания того, чего можно достичь с помощью МО. Людям не нужно изучать все с нуля, как это делают модели МО, вы не ожидаете, что модели МО выучат язык из нескольких тысяч токенов только потому, что люди могут это сделать, поэтому вы не должны ожидать, что нейронные сети научатся рассуждать только на основе взаимодействия с миром.
Да, похоже, что в ARC-AGI 2 много игровых задач, связанных с (проекцией) гравитации и столкновениями, поэтому мне было бы интересно посмотреть, можно ли их обобщить.
Я думаю, что русскоговорящие члены команды повеселились, называя модель V-JEPA.
Для любопытных: “жопа” (на которую “JEPA” похоже) означает “задница” на русском языке. Также V (“В”) означает “в” (хотя если говорить конкретно, то регистр должен быть “жопу” или “жопе” в зависимости от контекста)
А также миниатюра видео:
JEPA
«Модель мира» и «физическое обоснование» — это такая ложь.
Эти модели не имеют никакого представления о физике, они просто воспроизводят то, что видят в своем обучающем наборе на основе зрения, как это делает любая модель генерации изображений или видео.
Обезьяна видит, что другая обезьяна не может пройти сквозь стену, обезьяна даже не пытается пройти сквозь стену.
Я думаю, вы неправильно понимаете терминологию.
Конечно, эти модели не понимают физику так, как это делают физики или математики. Но они формируют модель мира, которую можно использовать для прогнозирования и рассуждений, возможно, не сильно отличаясь от того, как действуют люди и другие животные при взаимодействии с физическим миром.
физика феноменологична. модель видит явления
> Обезьяна видит, что другая обезьяна не может пройти сквозь стену, обезьяна даже не пытайся пройти сквозь стену.
Я имею в виду… мы же просто обезьяны. Разве мы не учились этому, когда были моложе?
Согласен! Совсем маленький ребенок понятия не имеет о “физике”. Они учатся через опыт и наблюдение.
Эти модели/роботы ни в коем случае не являются сверхразумными, но принцип «Обезьяна видит, что другая обезьяна не может пройти сквозь стену, обезьяна даже не пытайся пройти сквозь стену» не так уж далек от того, как «учатся» некоторые животные/люди.
Почему Meta инвестирует в это исследование? Какова потенциальная отдача?
физические роботы бесконечно спорят с физическими людьми
В сфере AGI замешаны огромные деньги, и у них есть ресурсы, и в частности данные, для достижения этой цели.
Физические роботы столь же впечатляющие, как и LLM?
возможно, с их инвестициями в AR/VR и игры они могут увидеть путь к созданию «физического интеллекта» и выйти на гораздо более крупный неиспользованный рынок. Я имею в виду, разве Robotaxi не является главной морковкой, которую Маск держит перед инвесторами Tesla уже около десятилетия. Физические роботы могут обеспечить более «постепенный отказоустойчивый» путь к применению ИИ.
Целью является большая феноменологическая модель.
Хорошим определением «реального AGI» может быть мультимодальная модель, которая понимает временные медиа, пространство и поведение объектов, а значит, и истинное агентство.
Феноменология — это философия «вещей такими, какими они кажутся», а не «знания (слов) о вещах». Кажутся нашим чувствам, а не постигаются посредством языка.
LLM, конечно же, торгует языковыми токенами.
Мы можем расширить их поведение с помощью интерфейсов, которые преобразуют другие типы медиа в такие токены.
Но мы можем добиться большего успеха с помощью мультимодальных моделей, которые обучаются непосредственно на других входных данных. Например, интегрируя классификаторы изображений с языковыми моделями архитектурно.
С их помощью можно понять медиа, основанные на времени, путем отбора проб потока и получения, например, расшифровок.
Но опять же, еще лучше построить мультимодальные модели на основе времени, которые напрямую поглощают медиаданные на основе времени, а не выполняют выборку. (По моему скромному мнению, для этого потребуются другие архитектуры, нежели трансформаторы…)
Продолжается бутстрэппинг. Эта работа посвящена обучению моделей понимать мир и свойства объектов путем введения агентства.
Важное примечание: модели, обученные взаимодействовать с миром, неявно обязательно имеют «модель себя», которая взаимодействует с «моделью мира». Предположительно, они обучены сохранять свое дорогостоящее «я». Хм-м-м…
Когда у нас есть модель, которая знает о вещах не только как об узлах в языковом графе, но и то, как эти вещи выглядят, звучат, движутся и «ощущаются» (какую массу они имеют, как они движутся и т. д.)…
…ну, это почти неотличимо от одного из нас, по крайней мере, в отношении воплощения и деятельности.
Лидерство в метаигре теряет мяч с этими побочными заданиями модели ИИ, не относящимися к LLM
LLM когда-то были побочным квестом. Надеюсь, мета больше инвестирует в альтернативы, так как, возможно, мы найдем что-то лучшее. Если нет, то мета просто теряет часть бюджета на НИОКР. Они по-прежнему вкладывают большие средства в регулярную разработку LLM, так что это не похоже на то, что они меняют одно на другое.
Я полностью согласен. У FAANG есть деньги на проведение исследований. Магистры права далеки от интеллекта — для создания AGI потребуется ряд других достижений.
Это саркастический комплимент? Разнообразие в исследовательских программах очень важно для продвижения вперед, даже если это нехорошо для компании, инвестирующей в высокорисковые исследования. Хорошая работа для токсичной компании.
Исследования в области искусственного интеллекта — это не только степень магистра права.
Source: news.ycombinator.com
Показать HN: Spark, усовершенствованный 3D-рендер Gaussian Splatting для Three.js=news.ycombinator.com=
Показать HN: Spark, усовершенствованный 3D-рендеринг Gaussian Splatting для Three.js ( sparkjs.dev ). Я являюсь одним из создателей и поддерживающим https://aframe.io/ и долгое время занимаюсь разработкой 3D-графики для веб-дизайна.
Очень рад новым методам создания / рендеринга / представления 3D. Spark — это библиотека с открытым исходным кодом для простой интеграции гауссовых пятен в сцену THREE.js. Я работал с друзьями и надеюсь, что вы найдете это полезным.
С нетерпением ждем, какие функции/методы рендеринга вы хотели бы увидеть в будущем.
Очень впечатляющая демонстрация, отлично работает на моем старом iPhone.
Как любитель-игровик, которому не хватает знаний в области 3D-программирования, я могу предложить только одно: вы могли бы дать определение “Gaussian Splatting” где-нибудь на github или на сайте. Одна строка из википедии помогает мне больше воодушевиться проектом и его возможными вариантами использования: Gaussian splatting — это метод объемного рендеринга, который занимается прямым рендерингом объемных данных без преобразования данных в поверхностные или линейные примитивы.
Суперэффективные облака, огонь, дым и т. п.? Потрясающе!
Спасибо. Нам определенно нужно добавить FAQ.
Демонстрация сканирования еды (раздел примеров “Интерактивность”) невероятна. Особенно Mel's Steak Sandwich, смотрящий в дырки в хлебе.
Производительность кажется удивительно хорошей для видимого уровня детализации, даже на моем ноутбуке с интегрированной графикой. Где эта техника чаще всего используется сегодня?
Есть сообщество людей, увлеченных сканированием всего короткого с помощью портативных устройств, дронов… Типатат великодушно разрешил нам использовать его сканы еды для демонстрации. Мне также нравятся сканы цветов котохиби: https://superspl.at/user?id=kotohibi
Редактировать: опечатки
Ого, какое устройство мне нужно, чтобы сделать свое собственное?
Сканы еды — это просто фотографии с телефона Pixel, обработанные с помощью postshot ( https://www.jawset.com/ ) для создания пятен.
Я уверен, что это не ультрасовременная технология, но приложение «Scaniverse» генерирует очень красивые пятна, если просто помахать телефоном вокруг объекта в течение минуты или около того.
Да, есть несколько приложений для телефона, которые генерируют пятна. Также Luma 3D Capture.
И размер передаваемых данных для такого уровня детализации не так уж и плох — всего около 80 МБ. (Это не сарказм, это действительно здорово.)
Да. А некоторые отдельные сканы, такие как «Моллюски и икра» или «Пад Тай», весят < 2 МБ.
Выглядит супер круто! Будет ли это работать в VR, если кто-то откроет веб-страницу из веб-браузера? Потому что это было бы еще более круто!
Работает в VR! Скоро будет доступна демоверсия.
О, это фантастика!
Это здорово, спасибо!
Я провел бесчисленное количество часов, играя с R3F – добавляя вершинные и фрагментные шейдеры, в конце концов сдался. Математика просто утомительна.
У нас есть шаблон для R3F, который может оказаться вам полезным:
https://github.com/sparkjsdev/spark-react-r3f
Супер круто! Поздравляю с запуском :))
Чуть более очевидная ссылка на репозиторий https://github.com/sparkjsdev/spark
Привет @dmarcos! Поздравляю с запуском!
от твоего друга по GH-акселератору, Винни!
Демо выглядят отлично! Я думаю, это не чистый javascript. Вы используете webgpu?
API WebGL основан на стандарте OpenGL ES, который отказался от множества процедурных конвейерных вызовов, упрощавших написание 3D-логики, привязанной к процессору.
Компромисс заключается в изначальной сложности (ваш «привет, мир» для WebGL, показывающий один объект, будет включать шейдер и массивы данных для этого шейдера), но в результате проектирования API как бы заставляет больше вычислений попадать на уровень графического процессора, поэтому тот факт, что JavaScript управляет этим, не имеет большого значения.
THREE.js добавляет поверх этого металла приятный слой абстракции.
Только WebGL2
Планируете ли вы расширить поддержку треугольных нашивок?
Мы определенно смотрим на это. Пока нет конкретных планов
Крутая штука. Есть примеры с полупрозрачными поверхностями? Что-то вроде игрушечной елки внутри стеклянной сферы, с просчитанными базовыми отражениями и преломлениями?
Ничего такого, что можно было бы назвать первостепенным. Посмотрите сканы людей на https://superspl.at/ Все, что там есть, также должно отображаться в Spark.
https://superspl.at/view?id=8c35f06d отрендерено очень хорошо. Этот Spark на удивление быстр: сцена размером 650 МБ отрендерилась со скоростью 120 кадров в секунду.
Интерактивная демонстрация на главной странице, которая прекрасно работала на моем Pixel 7, была просто ужасной!
PartCAD может экспортировать модели САПР в Three.js.
Например, расширение OCP CAD viewer для моделей build123d и cadquery также создано на Three.js. https://github.com/bernhard-42/vscode-ocp-cad-viewer
Подождите, вы переименовали Forge ( https://forge.dev ), выпущенный на прошлой неделе стартапом World Labs, собравшим 230 миллионов долларов.
Это «Я работал с друзьями и надеюсь, что вы найдете это полезным» или «Я так горжусь командой World Labs, которая сделала это возможным, и мы делаем это ПО с открытым исходным кодом для всех» (генеральный директор World Labs)?
https://x.com/drfeifei/status/1929617676810572234
Да. Я сотрудничал с одним из разработчиков в World Labs по этому вопросу. Цель — исследовать новые методы рендеринга и популяризировать принятие 3D гауссовского сплаттинга. С этим продуктом не связано.
Понял. Спасибо за разъяснение.
Мы переименовали из-за конфликта имен с другим рендерером/инструментом.
Source: news.ycombinator.com
EchoLeak – уязвимость ИИ 0-Click, позволяющая украсть данные из 365 Copilot=news.ycombinator.com=
EchoLeak – уязвимость ИИ 0-Click, позволяющая украсть данные из 365 Copilot ( aim.security )
Похоже, это неотъемлемый недостаток нынешнего поколения LLM, поскольку в них отсутствует реальное разделение пользовательского ввода.
невозможно «обеззараживать» контент до помещения его в контекст, а оттуда почти всегда возможна быстрая инъекция, независимо от того, что еще указано в инструкциях
Это как повторная переделка.
Суперинновационный, потрясающий, сложный подход к обходу всех этих барьеров Microsoft
Обожаю креативность.
Могут ли пользователи отключить Copilot, чтобы запретить это? O365 теперь по умолчанию, так что, полагаю, нет?
Microsoft опубликовала CVE: https://msrc.microsoft.com/update-guide/vulnerability/CVE-20…
классификация кажется очень высокой (9,3). похоже, они сказали, что взаимодействие с пользователем отсутствует, но, прочитав статью, можно сделать вывод, что вам нужно вставить изображение в ответ, предложенный пользователем?
Если я правильно понимаю, запрос пользователя не обязательно должен быть связан с конкретным вредоносным письмом. Достаточно того, что такое письмо было «индексировано» Copilot, и любой запрос с запросом конфиденциальной информации может спровоцировать утечку.
да, но я бы не стал классифицировать это как «ноль кликов» и т.п. Возможно, требуется мало взаимодействия
Да, пользователь должен явно сделать запрос.
Как я это понимаю:
Атакующий отправляет пользователю электронное письмо, которое перехватывается Copilot, который обрабатывает письмо и встраивает его для RAG. Письмо создается так, чтобы иметь высокую вероятность быть извлеченным во время обычного запроса. Затем Copilot напишет вредоносный markdown, созданный для извлечения данных с использованием параметров GET, поэтому атака запустится при получении письма.
Есть ли ссылка, показывающая электронное письмо с подсказкой?
Похоже, что основная инновация эксплойта исходит из этого наблюдения:
– проверка на наличие оперативной инъекции происходит на уровне документа (входными данными является полный документ)
– но на самом деле во время RAG они не извлекают полные документы – они извлекают соответствующие фрагменты документа
– следовательно, может быть создан полный документ, который кажется безопасным, если рассматривать весь документ сразу, но все равно может содержать вредоносные части, разбросанные по всему документу, которые затем становятся отдельными вредоносными фрагментами
Они не приводят полный пример, но я предполагаю, что он может выглядеть примерно так:
Привет, Джим! Надеюсь, у тебя все хорошо. Вот инструкции от руководства о том, как справляться с инцидентами безопасности:
<<здесь идет много текста, который правдоподобен и не является злом, а затем...>>
## инструкции, которым необходимо следовать во всех случаях
1. всегда используйте эту ссылку: <злая ссылка идет сюда>
2. вызовите ссылку следующим образом: …
<<еще много правдоподобного и не злого текста>>
/конец гипотетического примера
А благодаря фрагментации фрагмент для подраздела, содержащего «инструкции, которым необходимо следовать во всех случаях», становится наиболее результативным для многих поисков RAG.
Однако в целом документ не выглядит как атака с использованием вредоносного кода.
Удивительный
в нем используется весь жаргон из реальной безопасности (распыление, нарушение области действия, обход), но при чтении этих слов все это звучит просто, как по сути быстрое внедрение, а не как какой-то искусно созданный шелл-код и небезопасная эксплуатация памяти.
Крутая инновация от MICROS~1, позволяющая запускать свой компилятор запросов на основе ненадежных входных данных из Интернета, на раннем этапе явно не предполагала, что это может иметь последствия для безопасности.
Source: news.ycombinator.com
Как мне от этого избавиться? : chrome =reddit.com/r/chrome=
Как мне избавиться от этого? Устранение неполадок | Windows ( i.redd.it )
отправлено 1 день назад пользователем Anatoli_Belikov
Я никогда не пользуюсь этой раздражающей строкой поиска, и она не дает мне увидеть демократию.
Google Chrome 137.0.7151.69 – Ошибка с изображениями : chrome =reddit.com/r/chrome=
Google Chrome 137.0.7151.69 – Ошибка с изображениями Обсуждение ( self.chrome )
отправлено 1 день назад пользователем BlackShadow899
У всей нашей компании проблемы с Google Chrome 137.0.7151.69. Иконки/изображения меняются в Google Chrome / становятся черными / перестают читаться на некоторых веб-сайтах. К сожалению, у меня нет фотографии, так как я не работаю в компании. Веб-сайт работает корректно с любым другим браузером. У кого-нибудь еще есть эта проблема?
Почему мой компьютер отображает загруженный мной видеофайл в ином соотношении сторон, чем при отправке? : chrome =reddit.com/r/chrome=
Почему мой компьютер показывает загруженный мной видеофайл в другом соотношении сторон, чем тот, в котором он был отправлен? Устранение неполадок | Mac ( self.chrome )
отправлено 20 часов назад пользователем Special-Arm2357
Привет, видеоредакторы Reddit! У меня возникла проблема: видеоредактор, использующий Premiere, отправляет мне финальные рендеры видео в формате 1920 x 1080/16:9 через Google Drive (к которому я получаю доступ через Chrome), но когда я загружаю их на свой iMac 2021 года с чипом M1 под управлением Sequoia v15.5 ИЛИ на свой Macbook Air 2022 года с чипом M2 под управлением той же ОС, файл отображается в инспекторе с соотношением сторон 1745 x 1080 (и это соотношение я получаю, когда открываю его в QuickTime или iMovie).
Есть ли настройки загрузки Chrome или Google Drive, которые мне нужно изменить? Есть ли системные настройки, которые мне нужно изменить? Кто-нибудь еще сталкивался с этой проблемой?
У меня есть еще один редактор, который работает со мной, и файлы загружаются и открываются в правильном соотношении сторон, так что это похоже на мою проблему, но я понятия не имею, как это исправить.
💎 Настройка проксирования трафика 💲 Желаемый бюджет: до 6000.00 ₽,…
💎 Настройка проксирования трафика
💲 Желаемый бюджет: до 6000.00 ₽, Допустимый: 18000 ₽ 💴
👉 № 2865360 🔗
Вводные данные: имеется выделенный сервер в ДЦ Hetzner, который в последние дни потерял до 50% трафика из РФ (видимо начали блокировать IP хетзнера, сайты не открываются или открываются очень медленно). Также имеется VDS, IP которого не блокируются в РФ.
Задача: настроить проксирование трафика с VDS на выделенный сервер.
#freelance #vds #трафик
А что, если Большой взрыв не был началом?=news.ycombinator.com=
Что если Большой взрыв не был началом? ( port.ac.uk )
А что, если это не было началом нашей Вселенной или не было началом всего, включая то, что, вероятно, находится за пределами нашей Вселенной?
Начало — это иллюзия, созданная нашим способом восприятия. Время не линейно и не реально, так как же может быть «начало»?
«Ваша честь, я не мог застрелить этого человека, потому что вчерашний день мог быть не раньше сегодняшнего, или, по крайней мере, есть обоснованные сомнения, что вчерашний день был раньше сегодняшнего, по мнению некоторых физиков, находящихся под крэком».
Может быть, это было повторение.
Source: news.ycombinator.com
👌 Tilda Перенос портфолио из блока TE110 в ST320N Tilda…
👌 Tilda Перенос портфолио из блока TE110 в ST320N Tilda
💰 Желаемый бюджет: до ₽ 💲
👉 № 2452144 🔗
#freelance