Резистивные SoC и будущее нейронных сетей

Нейронные сети за последние годы из красивой теоретической концепции превратились в чуть ли не основной вектор развития машинного обучения и связанных с ИИ разработок. Идея эмуляции процессов, протекающих в центральной нервной системе и головном мозге человека на практике оказывается не столь уж фантастичной. А плоды машинного обучения, орагнизованного на НС, уже доступны и рядовому пользователю. Но, как и у любой технологии, у нейронных сетей есть и свои недостатки. Камнем преткновения в данном случае является относительно невысокая скорость обучения и принятия решений на основе усвоенной информации. Корни оных проблем при этом уходят не столько в алгоритмическую составляющую, сколько в ограничения существующей аппаратной части. Различные научно-исследовательские институты и рабочие группы крупных корпораций на сегодняшний день работают над весьма широким спектром возможных решений. Однако уже сейчас наметилось два основных направления дальнейших разработок. Первое из них – квантовые компьютеры. Находящиеся еще в зачаточном состоянии разработки предлагают решать проблему за счет банального увеличения производительности на несколько порядков относительно существующих систем. Второе же делает ставку на мемристоры и использование энергонезависимой резистивной памяти в сочетании с двоичными процессорами. Именно здесь и наметился столь долгожданный прорыв!

Нет, вот прямо завтра кардинальные перемены к лучшему не наступят. Исследования все еще пребывают в стадии математически обоснованной теоретической концепции и ждут запланированных эволюционных изменений в производственной сфере. Однако значение таких работ уже успели засвидетельствовать такие гиганты как IBM и Google. При чем первая всерьез рассматривает возможности применения оных в последующих поколениях суперкомьютеров проекта Watson. Но обо всем по порядку. В чем же собственно заключается суть идеи? Исследовательский центр проекта Watson под эгидой IBM на днях представил доклад, посвященный так называемым резистивным чипам. По мнению его сотрудников Тайфуна (да, это имя) Гокмена и Юрия Власова, гибридные многоядерные SoC с применением кремниевых процессоров и мемристорной памяти способны ускорить выполнение алгоритмов машинного обучения в ~30 000 раз по сравнению с обычными кластерными системами. Затратив при этом существенно меньше энергии. Желающие ознакомиться с теорией из первоисточника могут почерпнуть всю необходимую информацию здесь. Мы же не будем уделять слишком много времени теории и перейдем к наиболее интересным “железным” аспектам разработок.

Наглядная демонстрация уменьшения количества повторений и числа ошибок в связи с применением резистивных SoC

Суть мемристорной памяти заключается в реализации ее запоминающих функций при помощи изменения сопротивления диэлектрика в каждой ячейке. Именно возможность перехода специально синтезированного вещества из разряда диэлектриков в проводники электрического тока под воздействием относительно высокого напряжения с последующим сохранением новообретенного состояния даже при отключении электропитания открывает перед учеными и инженерами невиданные ранее возможности. Фактически мы говорим об объединении двух различных классов компьютерной памяти – оперативной и постоянной. Быстрая, энергонезависимая и очень экономичная память нового поколения позволит системам сохранять информацию на постоянной основе и обращаться к ней с невиданной ранее скоростью, фактически исключив из цепочки необходимых действий ее выгрузу в оперативную память и работу с кэшем профессора. Такой подход открывает путь к отказу от всевозможных второстепенных системных шин. Прямое обращение CPU, GPU и прочих процессорных ядер к единому пулу памяти приведет в отдельных случаях к экспоненциальному росту производительности. Так: миниатюрное многоятерное решение, основанное на такой резистивной технологии и помещаюещееся в карман брюк, и представляющее из себя нейронную сеть, способно по рассчетам ученых за час справиться с теми задачами, которые потребовали бы от нескольких аппаратных шакфов с серверными модулями пары недель непрерывной работы.

Устройство мемристора

Казалось бы, пора в срочном порядке выпускать резистивные SoC и серверные кластеры на их основе. Но не все так просто. Дело в том, что для серийного производства памяти на мемристорах в текущий техпроцесс потребуется внести весьма существенные изменения. Что влечет за собой доукомплектацию производственных мощностей, переобучение персонала и другие весьма серьезные накладные расходы. Не говоря уже о пересмотре существующей базы алгоритмов, усовершенствовании существующих языков и сред программирования. Всё это неизбежно растянется на годы. И первые серийные экземпляры экономически целесообразных резистивных SoC следует ожидать не раньше 2021 года. А до тех пор такие разработки останутся лишь дорогими игрушками в проектах, аналогичных Watson. До скорого!