OpenGoW

OpenGoW


СтатьиФорумИнфо

git: https://github.com/mogaika/god_of_war_browser

Блог

24 ноя 2016

Наконец-то добрался до разбора основных классов, тут о них и расскажу. Кстати, информация ниже в большинстве своем является моими не особо опытными догадками и размышлениями, поэтому дополнения и поправки приветствуются в комментариях.

Структура движка


Как и у большинства других прослоек между играми и игроками, в God Of War (Kinetica, Jak II+3+X, The Getaway, SOCOM I+II, FantaVision - другие игры на этом движке) движок поделён на сущности. А этими сущностями управляют их соответствующие центральные классы со своими гигантскими методами Update. Так вот тут эти классы называются серверами (упоминания слово "сервер" как паттерна я не нашел. Ближайшим аналогом являются Manager классы из библии авторства Jason Gregory), по своей сути являются они смесью одиночки и фабрики.
+ На самом деле все немного сложнее

Так-же у каждого сервера есть свой уникальный id (индекс в глобальном массиве серверов). Используются id, например, при загрузке данных из архивов (каждый файл внутри архива содержит id), чтобы понять, метод Unmarshal какого сервера нужно вызвать чтобы загрузить этот файл.
Привожу список некоторых серверов. Имена у большинства взяты из бинарника:

  • Master Server
    Управляет другими серверами, его метод Update вызывает обновление всех остальных серверов (остальные сервера являются экземплярами этого сервера).
    Что тут говорить, если основной цикл игры выглядит примерно так:
    while(true) {
        g_pMasterServer->Update();
        g_pTimer->AdjustTime();
    }
  • GameObject Server
    Хранит игровые объекты с ссылками на подчиненные партиклы/модели/коллайдеры.
    Группирует объекты в чанки карты (cxt).
  • Animation Server
    Управляет анимацией, при этом оперирует малейшими примитивами (matrix4, vector2), умеет интерполировать между временными промежутками.
  • Script Server
    Логика игры. Кстати, все игровое меню сделано через него и лежит в одном файлике.
  • GFX_CLUT Server
    Управляет буферами, подготавливает пакеты для передачи их в графический процессор.
  • Texture Server
    Инстансы этого сервера связывают буферы CLUT(Color lookup table или палитра) и GFX(индексы для палитры). Также экземпляры текстур могут "наследоваться" друг от друга, это, например, используется для "mip" текстур, в данном случае маленькая текстура наследует палитру большей.
  • Material Server
    Очевидно что инстансы этого сервера содержат ссылки на разные текстуры (отражений/цвета), цвет, параметры освещения, тип смешивания.
  • RenderMaster Server
    Сервер создает несколько подопечных серверов, вот некоторые из них:
    • Particle Render Server
    • Flash Render Server
    • Shadow Render Server
    • Static triangle strip Render Server
      Все они в сумме работают над одной задачей - подготовить в памяти один большой пакет, который в итоге отрисует один кадр. В нем будут все модели/матрицы/программы для векторного процессора/переключения контекста/текстуры. Это все делали для того чтобы dmac контроллер шины разбирая этот большой пакет занимался отрисовкой текущего кадра, когда мы сможем готовить новый пакет для следующего кадра. При этом получается максимальное распараллеливание, когда 4 устройства: центральный процессор, контроллер шины, векторный процессор и графический процессор работают параллельно. Ну не совсем прям параллельно, например локи синхронизации между векторным процессором и графическим, чтобы первый не начал рисовать модель, когда её текстура еще не загружена, и в таком роде. Но вот лучше не придумаешь. При этом картинка страдает в задержке (пакет текущего N кадра формируется в памяти, N-1 кадр рисуется в swap-buffer, N-2 кадр на экране) в сравнении с привычной нам схемой (N кадр рисуется в swap-buffer, N-1 на экране), но выигрывает в пропускной способности.
  • Epilogue Server
    Prologue Server
    Пролог сервер отрабатывает свой Update раньше остальных, при этом создает разные буферы для "отрисовки" кадра.
    Эпилог сервер обновляется последним, при этом инициирует swap буферов и обработку пакета со следующим кадром dma контроллером.
  • Collision Server
    Управляет физикой. Содержит глобальную переменную гравитации, что не раз помогало в исследовании работы движка.
    Так-же влияет на подгрузку чанков карты. Точнее каждый чанк карты содержит инстанс статичной коллизии, привязанный к этом чанку. И определение на принадлежность игрока к чанку как-раз определяется через коллизию.
    + Фотография рабочего места разработчика, с отображением статичной коллизии чанка уровня в редакторе

Кроме всего этого из заметных классов есть виртуальная файловая система, но она (вроде) не является отдельным сервером, хотя используется буквально везде.

Итог


Игровой движок в роликах о создании игры позиционировался как очень гибкий. Что мы и видим, ведь, допустим, заменив привязанные к железу сервера, можно с минимум последствий перенести игру на другую платформу (соответствующие ресурсы придется перекомпилировать), что мы и скорее-всего и наблюдали при перевыпуске gow на ps3 и ps4. Еще заявлялось о гибкости для гейм-дизайнеров и художников, что видимо вытикает в то что большая часть игры (за исключением требовательных к скорости мест) лежит в игровых архивах.

Благодарности


Большое спасибо nonamezerox за помощь и наводки в нужном направлении.

А так же в разборе наследования классов мне помогает компилятор, которым пользовались разработчики. Он вежливо переопределяет таблицу виртуальных методов класса в конструкторе и деструкторе этого экземляра класса, а так как деструкторы/конструкторы класса почти всегда вызывают соответствующие конструкторы/деструкторы своих родителей, тем самым можно извлечь древо наследования (часто мешает inline подстановка).
Кроме того компилятор очень аккуратно расставляет указатель на таблицу виртуальных методов сразу после полезных данных структуры экземпляра класса, из чего мы можем делать вывод о размере этой структуры данных (работает только для самых корневых (не детей, а от которых наследуются) классов).
Так же если он видит вложенную структуру, то перед там как поработать с ней, любезно высчитывает указатель на эту структуру, а потом уже начинает работать с ней (из этого можно судить о наличии этих вложенных структур и их смещение относительно основных).
Конечно у него есть и минусы, но я его прощаю, ведь они присущи всем компиляторам с флагом -O2, а именно сплошь и рядом подстановка функций (inline), что заставляет разбирать похожие места кода лишь чтобы убедиться что они делают то-же самое.

todo


Основными целями сейчас исследование внутренностей. В идеале нужно разобрать форматы файлов от младшего к старшему (GFX > TXR > MAT > MDL), но пока выходит не очень ладно из-за наличия второстепенных классов и кучи интересных особенностей приставки ps2

Ссылка | Комментарии [4]

24 окт 2016

Читатель, прости что информация подается разрозненно, я не любитель писать.
Пишу я сюда больше в ожидании помощи. Если кто что знает полезного по теме, прошу, напишите в комментариях. Буду рад если укажите на ошибки, особенно в запятых и терминологии (некоторые названия я натягивал и придумывал).

Интро


Не знаю как вы,  но я тащусь от God of War. И как-то решил сделать порт на pc (7 месяцев назад). Начал с первой части, да и играл я вообще только в первые две на ps2 (остальные консоли даже в руках не держал).
Кстати у всех игр серии различия минимальные, так что информация здесь относится не только к первой части, что не может не радовать.

План


- Проверить подойдет ли golang для рендеринга и работой с сырыми данными. В общем этот этап прошел, golang оправдал себя (жалко что не в gui) https://github.com/mogaika/god_of_war_tools
- Разобрать форматы на костыле (golang + webgl = https://github.com/mogaika/god_of_war_browser). Собственно сейчас я этим и занимаюсь.
- Написать двиг, в идеале чтоб под планшетики работало, а еще лучше если его не обязательно форкать надо было, если я захочу со второй частью тоже самое сделать. Надеюсь что доживу до этого момента.

Текущий статус


Внимание: ко всем пунктам добавлять: "работает почти всегда, половина флагов не понятно что делают".

Файлы


Игра занимает 2 слоя dvd диска, что примерно равно ~9 гигам, хотя на самом деле это пространство специально "растянуто". Лишний вес набирается как от копирование игровых архивов по несколько раз, что скорее всего (но не подтвреждено) идет на ускорение работы с диском, так и от копирование одинаковой информации между wad архивами игры. Например текстуры неба/дерева/блеска/дыма будут далеко не раз повторяться из архива в архив, но это уже определенно способствует ускорению  загрузки частей игры. Напомню что в игре карта абсолютно бесшоновая, и в большинстве случаев вы можете вернуться на очень приличное расстояние назад.

Архивы и ноды


Архивы собственно являются не сколько архивами, а инструкцией как жестко распаковать ноды движка в память. Движок всю информацию хранит в нодах разного типа: текстуры, камеры, коллизия, настройки игры, эффекты, модели, системные переменные, в общем почти все. Очень прикольно что до нод можно достучаться по строчному пути, типа /GlobGame/Settings/MusicVolume, или даже так /OLYMP2A.WAD/CXT_mainRoom/gotree25/joints/jRoot. Каждое имя поддирекории он превратит в хеши строк, пройдется от корня, вызывая метод интерфеса мастер-сервера ноды, который вернет определенную субноду. На деле все это используется не так часто, критичные к скорости места обращаются напрямую к указателям и тому-подобному, но все-равно на ps2 я не ожидал такой гибкости (а стоило).
Ресурсы в архиве при объявлении могут ссылаться или содержать в себе другие ресурсы, нужные текущей ноде. Например, текстура требует объекты палитры и индексы для неё, затем материал требует кубмап и дифус текстуры, модель требует меши и материалы, объект ожидает модели, партиклы и анимации, при этом инстанс объекта ссылается на объект, а чанк карты ссылается на все эти инстансы. Очень печально что игра хило переиспользует ноды для оптимизации, иногда бывает что есть по 5 одинаковых текстур в одном архиве, если не вспоминать что некоторые текстуры не используют и половины своей палитры (можно чтобы несколько текстур использовали одну палитру), хорошо что, например, разные модели ссылаются на одинаковые текстуры (хотя модели сами могут неоправданно дублироваться из-за запекания освещения). У каждого архива - свой неймспейс, за который его ноды не могут выглядывать. Правда из-за этого непонятна фича с использованием ресурсов из других архивов, например, ноды анимации могут расширять анимации игрока, который грузится из другого архива один раз на всю игру. Хотя, возможно, это уже внутренняя реализация сервера анимаций, тогда не нарушается правило неймспейса. Но, если учесть что половину флагов я так и не понял, возможно у нод есть флаг глобальной области видимости, или типа того.

Текстуры


Текстуры устроены достаточно просто. Есть массив палитры, есть массив индексов. Только я так и не понял почему иногда текстуры ипортируютя криво, например эта:
texture_importing_problems | OpenGoW: Первые успехи
видно что в центре фиолетововые "брызги". Может кто знает с чем это связанно (меня напрягает что у некоторых текстур в конце названия виднеется bmp)?

Материалы


С ними я занимался для галочки. Очевидно материалы держат цвет и текстуры, но как определить какая текстура за что отвечает не понятно (бывают кубмап/диффуз/рефлекшн[не помню как точно называется, отвечает за поглащение цвета]), как и почему в некоторых текстура прозрачность - это черный цвет, а в других - полная прозрачность - тоже.

Меши


Непонятные слова ниже искать на этой картинке
Изображение
С мешами интереснее всего. Они хранятся в виде набора комманд (батчей) для шины vif, которая грузит данные меша в память "геометрического" процессора vu1.
Т.е. мы знаем в какую ячейку памяти vu1 мы загрузим данные. А отличать тип данных можно как-раз по этим адресам памяти. Т.е. в файле у нас что-то типа (если перевести в человекочитаемый язык):
// установить что мы будем распаковывать данные в память vu1 с шагом (аналог аргумента stride в функциях opengl, только работает наоборот).
// например, у нас XYZW|XYZW|RGB|RGB|UV|UV, а в памяти vu1 мы хотим построить XYZW|RGB|UV|XYZW|RGB|UV.
Stcycl wl=01 cl=03
// то что это текстурные координаты я определил по target адресу, и да, не бойтесь что адреса такие маленькие, ведь vu1 работает с векторами 4х4float.
vif unpack [ uv2]: 65 elements: 51 components: 2 type: 16 target: 001 sign: true addr: true size: 000144
Stmod  mode=[pos] (1) // туфта для управления шиной
Strow  proc command
// xyzw, где w - это флаги для программы, исполняющейся на vu1, например, использовать ли вертекс для построение треугольника с предыдущими 2мя, или только запомнить его, и не строить треугольника
vif unpack [xyzw]: 6d elements: 51 components: 4 type: 16 target: 003 sign: true addr: true size: 000288
Stmod  mode= pos  (0)
// rgba per vertex
vif unpack [rgba]: 6e elements: 51 components: 4 type: 08 target: 002 sign: false addr: true size: 000144
// выключаем strip, теперь данные нам нужны подряд, друг за другом
Stcycl wl=01 cl=01
// загружаем разные флаги, например тут могут быть перечислены веса для jointов
vif unpack [vmta]: 6c elements: 01 components: 4 type: 32 target: 000 sign: true addr: true size: 000010
vif unpack [meta]: 6c elements: 01 components: 4 type: 32 target: 0f4 sign: true addr: true size: 000010
nop
// говорим vu1 процессору, что он может начать обрабатывать наши данные
Mscall proc command

Для парсинга таких структур приходится эмулировать обработку пакетов в памяти. По хорошему надо отреверсить код, который исполняется на vu1, но до этого руки не дошли (точнее дошли, но сломались об непонятную магию и 5 одновременно исполняющихся инструкций с иногда работающей синхронизацией), тогда прояснятся магические флаги, которые передаются в пакетах (хотя сейчас ясно что там передается наличие тех или иных данных о вертексах (позиция/цвет/текстура/нормаль) и их джойнты. Таких батчей может быть несколько, и они не могут быть больше, чем есть места у vu1. А в нем, кстати, одновременно должно поместиться 3 таких батча, что позволяет оптимизировать работу в 3 потока (1 - "ee core" считает анимацию и всякую лабуду, 2 - gif шина передает данные в памать vu1, 3 - vu1 обрабатывает данные в памяти и отправляет их в gs через path1).
В нашем батче можно заметить что у xyzw пакета стоит размер 16 и флаг sign - что в сумме дает нам int16, эта практика распространяется на всю игру. Я не могу поверить что хватает 2х байтов на координату для такой более-менее графики.
Насчет per vertex rgba можно сказать что он используется везде. На всех статичных объектах запечены тени, из этого кстати следует что одинаковые объекты на сцене, типа камней/дверей/стен будут сохранены в памяти и переданы по шине очень много раз, при этом отличаться они будут только цветом вертексов.

+ пример модели без текстуры

Батчи пакетов группируются по материалу в массив, потом еще по корневому joint в массив - на выходе получаем меш.

Модель


Модель содержит в себе:
- меши (может быть несколько)
- текстуры для мешей
- параметры эффектов (туман/скайбокс/веревка/ ...)

Объект


Дела с объектами не так плохо. Внутри себя содержат дерево костей с матрицами и другими няшками, при этом скелет предназначен не только для модели, но также и для дочерних объектов, типа еммитера, или камеры.
Определить где bind-pose матрицы для джойнтов не удается. Вроде как inverse bind-pose есть, но изредка они задаются не для всех джойнтов, и немного кривые. При этом для каждого джойнта обязательно есть local idle-pos матрица, дублированная позицией, вращением и размером. В общем in-progress.

Анимации


Анимации могут быть дочерними почти к любому типу, при этом, видимо, могут менять их почти любое свойство. Формат еще не ковырял.

Итог


Работы Развлечения еще много. Нужно реверсить/разбираться/фиксить. Камеры/коллайдеры/скрипты совсем еще не тронуты. Рал что проделал уже неплохую работу, все-таки это веселье на выходные, да и то с большими перерывами.
Не стесняемся задавать вопросы, особенно рода "как помочь и где форкать".
Хотя на самом деле к форкам репозиторий не готов, в отличии от звездочек (так вы выразите заинтерисованность и заставите меня продолжить работу)
https://github.com/mogaika/god_of_war_browser
Вот вам призрак спарты из главного меню, у которого натянули hipoly модель лица прямо поверх его lopoly-ingame прообраза (шов на голове)
+ Показать

Ах да, названия не было, и я позаимствовал идею у openLara.

Ссылка | Комментарии [11]