Можливості та виклики розвитку Web3 AI

Нещодавно акції NVIDIA досягли нових максимумів, а прогрес мульти-модальних моделей ще більше посилив технічні переваги Web2 AI. Від семантичної уніфікації до візуального розуміння, від високорозмірних вбудувань до злиття ознак, складні моделі інтегрують різні модальності вираження з небаченою швидкістю, створюючи дедалі більш закриту AI-територію. Ринок акцій США також підтвердив це на практиці: як акції, пов'язані з криптовалютою, так і акції AI демонструють невелику бичачу тенденцію.

Проте, ця хвиля, здається, не має ніякого відношення до сфери криптовалют. Ми спостерігаємо спроби Web3 AI, особливо в останні кілька місяців у напрямку Agent, які, здається, мають відхилення в напрямку: намагаючись зібрати модульну систему в стилі Web2 за допомогою децентралізованої структури, насправді є технічним і мисленнєвим дисонансом. У теперішній час, коли модульна зв'язність є надзвичайно сильною, розподіл ознак надзвичайно нестабільний, а потреби в обчислювальних потужностях дедалі більше зосереджуються, багатофункціональність модульної системи важко утриматися в середовищі Web3.

Майбутнє Web3 AI полягає не в простому наслідуванні, а в стратегічному обході. Від семантичного вирівнювання у високих вимірах до інформаційного вузького місця в механізмах уваги, а також до вирівнювання ознак при гетерогенних обчисленнях — це питання, що потребують глибокого осмислення.

Виклики, з якими стикається Web3 AI

Дилема семантичної узгодженості

У сучасних мультимодальних системах Web2 AI "семантичне вирівнювання" означає відображення інформації з різних модальностей у єдиному семантичному просторі, що дозволяє моделі розуміти та порівнювати внутрішнє значення цих сигналів, які спочатку мають різні форми. Це вимагає високорозмірного вбудованого простору як передумови для реалізації модульності та підвищення ефективності робочих процесів.

Однак, протокол Web3 Agent важко реалізувати з високорозмірними вбудовуваннями. Більшість Web3 Agent просто упаковують готові API в окремі одиниці, не маючи єдиного центрального вбудованого простору та міжмодульного механізму уваги, що призводить до неможливості багатогранної та багаторівневої взаємодії інформації між модулями, які можуть працювати лише в лінійному процесі, що ускладнює формування загальної оптимізації зворотного зв'язку.

Щоб реалізувати конкурентоспроможного повноланцюгового розумного агента, потрібно почати з кінця в кінець спільного моделювання, крос-модульного єдиного вбудовування, а також систематичної інженерії співпраці та розгортання. Але наразі на ринку, здається, не виникло такої потреби.

Обмеження механізму уваги

Високоякісні мультимодальні моделі потребують ретельно спроектованих механізмів уваги. Механізм уваги в основному є динамічним способом розподілу обчислювальних ресурсів, що дозволяє моделі вибірково "зосереджуватися" на найрелевантніших частинах під час обробки вхідних даних певної модальності.

Однак, на основі модульного Web3 AI важко реалізувати єдине управління увагою. По-перше, механізм уваги залежить від єдиного простору Query-Key-Value, тоді як незалежні API повертають дані в різних форматах і з різним розподілом, що ускладнює формування взаємодіючих Q/K/V. По-друге, мультиголова увага дозволяє одночасно паралельно звертати увагу на різні джерела інформації, тоді як незалежні API зазвичай є лінійними викликами, що позбавлені можливостей паралельного та багатоканального динамічного вагового розподілу. Нарешті, справжній механізм уваги ґрунтується на динамічному розподілі ваг для кожного елемента на основі загального контексту, тоді як у моделі API між модулями бракує реального часу для спільного використання центрального контексту.

Обмеження злиття ознак

Web3 AI знаходиться на простій стадії статичного з'єднання в сфері злиття ознак. Динамічне злиття ознак вимагає наявності високорозмірного простору та точного механізму уваги, і коли ці умови не виконуються, ефективність злиття ознак природно важко перевершити.

Web2 AI схильний до енд-ту-енд спільного навчання, одночасно обробляючи мультимодальні особливості в одному високорозмірному просторі, співпрацюючи з шаром уваги та шаром злиття для оптимізації з шаром нижнього завдання. На відміну від цього, Web3 AI в основному використовує підхід з дискретними модулями, що поєднуються, що призводить до відсутності єдиної навчальної мети та перетворення градієнтів між модулями.

Бар'єри в індустрії ШІ та майбутні можливості

Технічні бар'єри в індустрії ШІ поглиблюються, але справжні болючі проблеми ще не виникли. Багатомодальні системи Web2 AI є величезним інженерним проєктом, який потребує величезних обсягів даних, потужних обчислень, передових алгоритмів та ефективної інженерної реалізації, що створює дуже сильний бар'єр для входження в індустрію.

Розвиток Web3 AI повинен здійснюватися за стратегією "села оточують місто", починаючи з краєвих сцен, шукаючи можливості в легких структурах, простих для паралельного виконання та заохочувальних завданнях. Наприклад, LoRA доопрацювання, післятренувальні завдання з поведінковим вирівнюванням, краудсорсинг навчальних даних та маркування, навчання малих базових моделей, а також спільне навчання на краєвих пристроях тощо.

Однак бар'єри поточного Web2 AI тільки починають формуватися, це рання стадія конкуренції серед провідних компаній. Справжня можливість Web3 AI може з'явитися, коли переваги Web2 AI повністю зникнуть. До цього моменту проекти Web3 AI повинні обережно вибирати точки входу, щоб забезпечити постійне вдосконалення в маломасштабних сценаріях, зберігаючи гнучкість для адаптації до змінюваних вимог ринку.