01.11.2023 | Когда нули имеют значение: Как MIT и NVIDIA ускоряют ИИ |
Ученые из MIT и NVIDIA разработали две методики, которые ускоряют обработку разреженных тензоров, структур данных, используемых для высокопроизводительных вычислений. Эти методики могут значительно улучшить производительность и энергоэффективность систем, таких как масштабные модели машинного обучения, используемые в генеративном искусственном интеллекте. Тензоры – это структуры данных, которые используют модели машинного обучения. Оба новых метода направлены на эффективное использование разреженности в тензорах, позволяя пропускать нулевые значения и экономить вычислительные ресурсы и память. Однако использование разреженности не лишено проблем. Например, определение ненулевых значений в больших тензорах – сложная задача. Исследователи из MIT и NVIDIA предложили два решения. Первое позволяет аппаратным средствам эффективно находить ненулевые значения для различных шаблонов разреженности. Второе решение увеличивает использование буфера хранения и снижает трафик внешней памяти. Один из разработанных акселераторов, HighLight, может обрабатывать различные шаблоны разреженности и эффективно работать даже с моделями без нулевых значений. Исследователи использовали "иерархическую структурированную разреженность" для представления различных шаблонов разреженности. Другой подход, названный "Tailors" и "Swiftiles", позволяет эффективно "перебронировать" данные для ускорения рабочих нагрузок. Этот метод быстро оценивает идеальный размер блока данных, экономя вычислительные ресурсы. Комбинация этих методов удваивает скорость и снижает энергопотребление в два раза по сравнению с существующими акселераторами. "Swiftiles позволяет нам оценить, каким должен быть размер этих блоков без необходимости многократного уточнения оценки. Это становится возможным благодаря поддержке перебронирования", - говорит Xue, один из авторов разработки. В будущем исследователи планируют применить идею перебронирования к другим аспектам компьютерной архитектуры и усовершенствовать процесс оценки оптимального уровня перебронирования. |
Проверить безопасность сайта