Еліас простою мовою пояснює дослідження, що стоять за заголовками.
Надихнула ця історія? Перетвори ідею на власне ШІ-мистецтво за лічені секунди — безкоштовний старт, без банківської картки.
Почати безкоштовноОбери компаньйона і дізнайся його думку про цю історію
Amazon впроваджує нову функцію для Alexa для покупок, яка дозволяє клієнтам купувати товари, надсилаючи текстові повідомлення ШІ-асистенту, описуючи бажані продукти або надсилаючи фотографію товару. Це оновлення спрощує процес покупок, дозволяючи творцям швидко знаходити та купувати фізичні товари, просто спілкуючись зі ШІ більш природним, мультимодальним способом, подібно до того, як вони можуть надавати запити генератору зображень.
Це покращення означає, що замість навігації по веб-сайту або додатку Amazon, користувачі можуть надіслати текстове повідомлення Alexa для покупок, деталізуючи, що їм потрібно, наприклад, «купи мені новий планшет Wacom Intuos Pro Medium» або «знайди мені стіл-трансформер, схожий на цей» з прикріпленим фото. Alexa потім обробляє цей ввід, шукає в обширних списках Amazon і надсилає текстові повідомлення з відповідними рекомендаціями щодо товарів. Мета полягає в тому, щоб зробити покупки такими ж інтуїтивно зрозумілими, як розмова, обходячи традиційні інтерфейси пошуку.
Можливість використовувати як текст, так і зображення як ввід, відома як мультимодальне підказкування, безпосередньо відображає спосіб взаємодії багатьох творців ШІ-мистецтва з такими інструментами, як генератор зображень Charmloop. Подібно до того, як користувач може завантажити еталонне зображення та описати стилістичні зміни для створення нового твору мистецтва, тепер він може показати Alexa фотографію конкретного предмета — наприклад, певної марки пігменту або унікального інструменту для скульптури — і попросити ШІ знайти його. Це переводить взаємодію від пошуку за ключовими словами до більш візуального та описового діалогу, потенційно заощаджуючи час при пошуку конкретних, важкоописуваних предметів.
Alexa для покупок тепер дозволяє користувачам надсилати текстові описи товарів або зображення ШІ-асистенту.
Зображення: Hugging Face Blog
Для творців це може означати оптимізацію придбання фізичних товарів, необхідних для їхньої роботи. Наприклад, якщо цифровий художник бачить певний тип підставки для монітора в студії колеги, він може сфотографувати її та надіслати Alexa для покупок, щоб знайти відповідний або схожий продукт. Цей підхід зменшує тертя, часто пов'язане з перетворенням візуальної ідеї в пошукові терміни, які дають точні результати. Система розроблена для розуміння контексту як із зображення, так і з будь-якого супровідного тексту, з метою надання більш точних рекомендацій, ніж це могли б дозволити текстові запити.
Хоча ця функція в основному зосереджена на споживчих покупках, її базова технологія для мультимодального вводу має ширші наслідки для того, як ми взаємодіємо зі ШІ в різних додатках. Легкість поєднання візуальних та текстових підказок може вплинути на дизайн майбутніх інструментів ШІ, роблячи їх більш адаптованими до природних стилів людського спілкування. Для творців це означає, що інструменти ШІ можуть стати ще більш інтегрованими в щоденні робочі процеси, від пошуку матеріалів до генерації контенту, просто інтерпретуючи візуальні приклади та інструкції природною мовою. Постійний розвиток надійних мультимодальних моделей ШІ, таких як ті, що використовуються для генерації інтерактивних 3D віртуальних світів, продовжує розширювати можливості ШІ-допомоги в творчих сферах. Випуск NVIDIA Cosmos 3, наприклад, пропонує інструменти для створення складних цифрових середовищ з різноманітних вхідних даних.
Це оновлення від Amazon підкреслює тенденцію до більш інтуїтивно зрозумілих, розмовних інтерфейсів ШІ, які розуміють і діють на основі багатших форм вводу. Оскільки моделі ШІ стають більш вправними в інтерпретації складних візуальних та текстових підказок, творці можуть очікувати все більш складних та безперебійних взаємодій у ширшому діапазоні платформ та послуг, від генерації унікальних зображень на таких платформах, як Charmloop, до управління практичними завданнями, такими як закупівля матеріалів. Щоб дізнатися, як працює мультимодальне підказкування в творчій генерації, ви можете відвідати наш розділ посібників.