Возможности и вызовы развития Web3 AI

Недавно акции Nvidia достигли нового максимума, а достижения многомодальных моделей еще больше укрепили технологическое преимущество Web2 AI. От семантического выравнивания до визуального понимания, от высокоразмерных вложений до слияния признаков, сложные модели интегрируют различные способы выражения с беспрецедентной скоростью, создавая все более закрытую AI-крепость. Рынок акций США также подтвердил это своими действиями: как акции, связанные с криптовалютой, так и акции AI демонстрируют волну небольшого бычьего рынка.

Однако этот бум, похоже, не имеет никакого отношения к области криптовалют. Мы наблюдаем за попытками Web3 AI, особенно исследованиями в направлении Agent за последние несколько месяцев, и кажется, что направление имеет отклонения: попытка собрать многомодульную модульную систему в стиле Web2 с использованием децентрализованной структуры фактически является несоответствием технологий и мышления. В условиях высокой взаимосвязанности модулей, высокой нестабильности распределения характеристик и нарастающей концентрации вычислительных мощностей многомодульная модульность в среде Web3 трудно находит свое место.

Будущее Web3 AI не заключается в простом подражании, а в стратегическом обходе. От семантического выравнивания в высокоразмерном пространстве до информационных узких мест в механизме внимания, а также до выравнивания признаков при гетерогенной вычислительной мощности — все это вопросы, требующие глубокого размышления.

Проблемы Web3 AI

Дилемма семантического выравнивания

В современных многомодальных системах Web2 AI "семантическое выравнивание" относится к сопоставлению информации из различных модальностей в одно семантическое пространство, что позволяет моделям понимать и сравнивать внутренние значения этих изначально разных сигналов. Это требует высокоразмерного встраиваемого пространства как предпосылки для достижения модульности рабочего процесса и повышения эффективности.

Однако протокол Web3 Agent трудно реализовать в высокоразмерном встраивании. Большинство Web3 Agent просто оборачивают готовые API в независимые единицы, что приводит к отсутствию единого центрального встраиваемого пространства и межмодульного механизма внимания, что затрудняет многогранное и многоуровневое взаимодействие информации между модулями, и они могут работать только в линейном процессе, что затрудняет формирование общей замкнутой оптимизации.

Для создания конкурентоспособного полного цепочного интеллектуального агента необходимо начать с совместного моделирования от конца до конца, унифицированной интеграции между модулями, а также системной инженерии совместного обучения и развертывания. Однако на текущем рынке, похоже, такой потребности не существует.

Ограничения механизма внимания

Высокоуровневые мультимодальные модели требуют тщательно спроектированного механизма внимания. Механизм внимания по своей сути является способом динамического распределения вычислительных ресурсов, позволяя модели сосредоточиться на наиболее релевантных частях при обработке входных данных определённой модальности.

Однако, на основе модульной Web3 AI сложно реализовать единое распределение внимания. Во-первых, механизм внимания зависит от единого пространства Query-Key-Value, в то время как формат и распределение данных, возвращаемых независимыми API, различаются, что затрудняет формирование интерактивных Q/K/V. Во-вторых, многофункциональное внимание позволяет одновременно и параллельно обращать внимание на различные источники информации, тогда как независимые API обычно вызываются линейно, что делает невозможным параллельное и многократное динамическое взвешивание. Наконец, настоящий механизм внимания основан на динамическом распределении весов для каждого элемента на основе общего контекста, тогда как в режиме API отсутствует централизованный контекст для实时共享 между модулями.

Ограничения слияния признаков

Web3 AI остается на простом статическом этапе слияния признаков. Предпосылкой динамического слияния признаков являются высокоразмерное пространство и точный механизм внимания; когда эти условия не соблюдаются, естественно, эффект слияния признаков трудно преодолеть.

Web2 AI склонен к совместному обучению от начала до конца, обрабатывая многомодальные характеристики в одном высокоразмерном пространстве одновременно, оптимизируя с помощью слоя внимания и слоя слияния в сотрудничестве с нижестоящим слоем задач. В отличие от этого, Web3 AI чаще использует подход с дискретной модульной сборкой, что приводит к отсутствию единой цели обучения и потока градиентов между модулями.

Барьеры в индустрии ИИ и будущие возможности

Технологические барьеры в сфере ИИ углубляются, но настоящие болевые точки еще не появились. Мультимодальные системы Web2 AI — это огромный инженерный проект, требующий огромных объемов данных, мощных вычислительных ресурсов, передовых алгоритмов и эффективной инженерной реализации, что создает сильные барьеры в отрасли.

Развитие Web3 AI должно следовать стратегии "окружения города деревней", начиная с периферийных сценариев и ищя возможности в легковесных структурах, простых для параллельной обработки и стимулирующих задачах. Например, LoRA дообучение, задачи пост-тренировки с выравниванием поведения, краудсорсинг данных для обучения и разметки, обучение малых базовых моделей, а также совместное обучение на периферийных устройствах и т.д.

Однако нынешние барьеры Web2 AI только начинают формироваться, это ранняя стадия конкуренции между ведущими компаниями. Истинные возможности Web3 AI могут появиться, когда преимущества Web2 AI исчезнут. До этого момента проекты Web3 AI должны осторожно выбирать точки входа, обеспечивая возможность непрерывной итерации в маломасштабных сценариях и сохраняя гибкость для адаптации к постоянно меняющимся требованиям рынка.