Компилятор torch-spyre переводит операции модели в план для ускорителя. Часть неподдерживаемых выражений можно заменить эквивалентными.
Spyre рассчитан на вывод моделей и использует поток данных: вычислительные блоки начинают работу по мере поступления входов. Это отличается от привычного выполнения графических ядер. Чтобы разработчику не приходилось вручную перестраивать модель под этот порядок, IBM развивает torch-spyre — модуль PyTorch, который компилирует обычную программу в план исполнения для ускорителя.
Что происходит с неподдерживаемой операцией
Большая часть логики модели проходит через компилятор без изменений. Там, где нижележащий стек пока не умеет эффективно обработать операцию, адаптер может подставить математически эквивалентное выражение. Переход на основу Inductor сократил объём собственного кода компилятора примерно в семь раз. Это показатель размера реализации, а не обещание семикратного ускорения моделей.