Как энтузиаст создаёт ролевую игру используя нейросети ChatGPT и Stable Diffusion
Tales of Syn – это изометрическая ролевая игра в стиле классических игр Fallout. Её изюминка заключается в том, что она использует возможности Stable Diffusion и ChatGPT для создания игровых объектов, фонов, моделей персонажей и диалогов.
Разработанная британским художником под псевдонимом Hackmans, игра Tales of Syn начала привлекать внимание аудиотории в прошлом месяце. Проект также будет представлен на предстоящем фестивале фильмов и игр Culture AI Film and Games Festival 2023.
Что такое Tales of Syn?
Tales of Syn – видеоигра и комикс, действие которых происходит в мире Giga Bloc C – «разрастающимся мегаполис в недалёком будущем на Земле».
Это классический антиутопический мир в стиле киберпанк, в котором сочетаются высокие технологии и низкий уровень жизни. Игроку предстоит исследовать как верхние богатые уровни, контролируемые корпорацией «Эшелон», так и бедные кварталы, управляемые конкурирующими фракциями.
Основная цель проекта — испытать новые технологии искусственного интеллекта, чтобы увидеть, как они могут помочь дополнить процесс разработки как в производстве, так и в процессе повествования
Что особенно может привлечь внимание, так это серия сообщений в твиттер-аккаунте разработчика, подробно описывающих создание персонажей и другие аспекты разработки с помощью ИИ. Эта информация может оказаться действительно полезной для других авторов, особенно благодаря пошаговым инструкциям.
Как Stable Diffusion используется в Tales of Syn?
Сначала Hackmans решил доработать пользовательскую модель на основе аэрофотосъёмки, чтобы создать несколько концептов изометрических городских пейзажей.
Разработчик использовал снимки азиатских городов, сделанных с помощью Google Earth, и создал набор данных из восьми изображений, обрезанных до формата 512×512. Затем он обучил их стилю, используя итерацию Dreambooth, и выбрал в качестве базовой модели Stable Diffusion 1.5.
Первые сгенерированные результаты уже выглядели как многообещающие концепты, но им не хватало качества изображения и чётких линий.
Другой проблемой стало то, что Hackmans не мог генерировать выходные данные в живописном стиле. Поэтому автор решил поиграть с Automatic 1111, инструментом пользовательского интерфейса с открытым исходным кодом для Stable Diffusion, и его функциями Prompt Editing.
«Запустив генерации в обученном стиле на первых нескольких шагах и переключившись на масляную живопись или подобные художественные модификаторы, я обеспечил гораздо более широкий выбор стилей, которые по-прежнему сохраняли аэровизуальный изометрический вид», – отметил Хакманс.«Вот некоторые результаты, полученные с помощью следующей подсказки: футуристическая городская улица, мегаполис, антиутопия, в [:vibrant oil painting:0.25]».
По словам разработчика, лучших результатов можно добиться, используя изображения из набора данных более высокого качества и больше примеров из набора данных.
Hackmans также использовал Stable Diffusion для создания изометрических задников для Tales of Syn. Идея заключалась в том, чтобы написать подробные подсказки, экспериментируя с количеством шагов и различными настройками шкалы без классификатора (шкала CFG). Последняя регулирует, насколько близко выходное изображение выглядит к подсказке и входному изображению.
Первые приличные результаты были достигнуты, когда Hackmans увеличил количество шагов до 100 и установил CFG на значения 15-30.
Различные результаты для разных шагов и настроек шкалы CFGДля редактирования выходных изображений автор использовал Photoshop, чтобы закрасить насыщенные цвета, а затем поместил эти фоны в Unity. Целью было убрать всё освещение, а затем добавить его с помощью пользовательских шейдеров в движке.
В своём блоге Hackmans также описал различные методы, которые он использовал для создания карт глубины и нормалей, а также процесс создания теней для внутриигровой сцены и масштабирования выходного изображения, чтобы его можно было использовать в качестве фона.
Когда дело дошло до создания персонажей, Hackmans попытался найти способ превратить генерируемые Stable Diffusion изображения в 3D-модели. Эти персонажи должны быть выдержаны в стиле игрового мира и оставаться неизменными на протяжении всего проекта.
Сначала он нарисовал контуры персонажа с помощью Artstudio Pro на основе справочника пропорций, который нашёл в Интернете. Затем добавил несколько цветов и базовые тени, чтобы при обработке изображения с помощью Stable Diffusion создать материалы и детали одежды.
Hackmans поместил эти эскизы в генератор img2img в Automatic 1111, чтобы получить десятки нарисованных маслом портретов футуристического торговца.
После этого Hackmans отобрал лучшие результаты и доработал их в Photoshop, накладывая изображения друг на друга и добавляя определённые детали или удаляя конкретные области.
Одной из проблем с генерируемыми ИИ изображениями были ужасные руки (давняя проблема нейросетей), поэтому автору также приходилось их исправлять.
Следующим шагом было загрузить изображение в Spotlight, систему проекционного текстурирования в ZBrush, и сформировать основные формы с помощью инструмента генерации сетки DynaMesh.
Последующий процесс включал в себя скульптинг, создание карт и другие вещи, связанные с 3D-моделированием.
«Я достиг рабочего процесса, который отвечал моим первоначальным целям по созданию 3D-персонажей из изображений Stable Diffusion, что соответствовало стилю моего проекта», – написал Hackmans.
Как в Tales of Syn используется ChatGPT?
Hackmans загрузил пятиминутный ролик на YouTube, чтобы показать, как игрок сможет взаимодействовать с неигровыми персонажами.
Игра позволяет писать текстовые фразы в диалоговом окне, чтобы вызвать определённые ответы NPC. Процесс построен на языковой модели GPT-3.
На кадрах игрок спрашивает торговца, что тот продаёт и какое оружие изготавливает, а затем конкретизирует свои запросы более точными вопросами, такими как «Есть ли у вас инструмент, с помощью которого можно взломать сеть?» или «Можете ли вы научить меня пользоваться инструментами для взлома?».
Интересно, что голос торговца синтезирован с помощью инструмента генерации ИИ-голоса от ElevenLabs.
Стоит отметить, что этот диалог NPC является лишь прототипом, поэтому неизвестно какой уровень свободы будет у игрока в финальной сборке и как эта система будет работать на протяжении всей игры.
Более подробную информацию о создании персонажа и истории с помощью ИИ можно найти в полных статьях на сайте Tales of Syn. Hackmans также расскажет больше подробностей об игре и её разработке на предстоящей GDC 2023.
Искусственный интеллектChatGPTStable DiffusionНейросетиИгры
уличных фоновых изображений | Скачать бесплатные картинки на Unsplash
Street Background Pictures | Download Free Images on Unsplash- A photoPhotos 10k
- A stack of photosCollections 10k
- A group of peopleUsers 0
street
background
building
outdoor
wallpaper
travel
architecture
Unsplash logoUnsplash+
Совместно с Андреем Лишаковым
Unsplash+
Разблокировать
Hd городские обоиэкстерьердетали
Bernard Hermant
Hd серые обоиТекстура фонастена
–––– –––– –––– – –––– – –––– –– – –– –––– – – –– ––– –– –––– – –.
Яш Сачапара
streetediting backgroundsnatural
Gerson Repreza
los angelesroadunited States
Beverly Castro
old port of montrealmontrealcanada
Ouael Ben Salah 9 Ouael0011
street photographyItaly pictures & imagesHd wallpapers
Unsplash logoUnsplash+
In collaboration with Andrej Lišakov
Unsplash+
Unlock
urbanfencefences
Collins Lesulie
barcelonaspainalley
Hin Bong Yeung
Hd graffiti wallpapersHd art wallpapersHd pink wallpapers
Джош Хилд
миннеаполисмнуса
Фрэнки Лопес
даунтаун tucsonaztunnel
Alex Rodríguez Santibáñez
Mexico pictures & imagesciudad de méxicocentro
Unsplash logoUnsplash+
In collaboration with Rowen Smith
Unsplash+
Unlock
transportationtransportsouth africa
Pat Whelen
mccrae vicaustraliahighway
ryota nagasaka
Hq фон фотографииHd картинкиHd синий обои
Andre Benz
зданиеЗима фото и картинкиНью йорк фото
Erol Ahmed
Hd pastel wallpapersdoorarchitecture
William Daigneault
Hq background imagescorridorLight backgrounds
Unsplash logoUnsplash+
In collaboration with Andrej Lišakov
Unsplash+
Unlock
outdoorsminimalstill life
Josh Hild
townHd chicago wallpapersil
Городские обои HD экстерьердетали0011
urbanfencefences
Hd graffiti wallpapersHd art wallpapersHd pink wallpapers
minneapolismnusa
Mexico pictures & imagesciudad de méxicocentro
mccrae vicaustraliahighway
buildingWinter images & picturesNew york pictures & images
Hq background imagescorridorLight backgrounds
townHd chicago wallpapersil
–––– –––– –––– – –––– – –––– –– – –– –––– – – –– ––– –– –––– – –.
Hd grey wallpapersTexture backgroundswall
los angelesroadunited states
street photographyItaly pictures & imagesHd wallpapers
barcelonaspainalley
downtown tucsonaztunnel
transportationtransportsouth africa
Hq background imagesHd wallpapersHd blue wallpapers
Hd pastel wallpapersdoorarchitecture
outdoorsminimalstill life
Related collections
Фон — улица
133 photos · Curated by Vikram Pstreet background
5 photos · Curated by Jenni RCITY/STREET BACKGROUND
2 photos · Curated by SHIE CHAVEZHd city wallpapersexteriordetails
los angelesroadunited states
urbanfencefences
center tucsonaztunnel
Hq фон фотографииHd фоткиHd синие обои
Hq фон фотокоридорСветлые фоны
Hd серый фоткиТекстура фоныстена
— –10010 — — — — — — — — —— 100011
Мексика картин и изображения. – –––– –– – –– –––– – – –– ––– –– –––– – –.
streetредактирование фонанатуральный
уличная фотографияИталия картинки и фотоHd обои
Hd граффити картинкиHd арт обоиHd розовые обои
Minneapolismnusa
Связанные коллекции
Фоны — Улица
133 Фотографии · Куратор Vikram PУличный фон
5 Фотографии · Curated Jenni RCity Foine
40176 40176 40176 40176 40176 40176 40176 266 6.транспорттранспортюжная африка
зданиеЗимние изображения и картинкиНью-Йорк картинки и изображения
на открытом воздухеминимальныйнатюрморт
Просматривайте изображения премиум-класса на iStock | Скидка 20% на iStock
Логотип UnsplashСделайте что-нибудь потрясающее
Скачать бесплатные уличные обои, [500+] Уличные обои БЕСПЛАТНО
Войдите в Обои .com
Продолжить с Facebook
Продолжить с Google
или
Адрес электронной почты отсутствует
Пароль отсутствует
Неверный адрес электронной почты и/или пароль.