Команда Apple опублікувала дослідження SimpleDesign – спрощеної ШІ-моделі, яка водночас генерує амінокислотні послідовності та тривимірні структури білків. Модель обходиться без багатоетапного навчання, яке використовують більшість існуючих аналогів, і демонструє конкурентні результати одразу в кількох бенчмарках. Про це повідомляє 9to5Mac.
Від SimpleFold до SimpleDesign
Ще у вересні минулого року дослідники Apple представили SimpleFold – модель для передбачення тривимірної структури білка з його амінокислотної послідовності. В її основі лежить техніка flow matching: на відміну від дифузійних моделей, які покроково «прибирають шум» аж до фінального результату, flow matching навчається відносно прямому шляху від хаотичної початкової точки до цільового виходу. Замість спеціалізованих архітектур, характерних для моделей на кшталт AlphaFold від DeepMind, SimpleFold спирається на стандартні Transformer-блоки – ті самі, що типово застосовують у генерації тексту.
SimpleDesign розвиває ту саму ідею – простіші архітектури загального призначення – і поширює її з передбачення структур на повноцінне проєктування білків.
Як влаштований SimpleDesign
Більшість існуючих моделей проєктування білків навчають у два етапи: спочатку окрема модель стискає структури білків у дискретні «токени», а вже потім на цих представленнях навчається генеративна модель. SimpleDesign пропускає цей проміжний крок і навчається безпосередньо на парах амінокислотних послідовностей та 3D-координат.
Для навчання дослідники використали понад 2 мільйони пар «послідовність – структура», взятих переважно з датасету AFESM, який поєднує передбачені структури з AlphaFold Database та додаткові зразки. Під час навчання обидві частини кожної пари «псувалися» одночасно: амінокислоти в послідовності приховувалися за маскованими токенами, а до відповідної 3D-структури додавався шум.
Ступінь «псування» кожної зі сторін варіювався навмисно. Якщо послідовність залишалася майже цілою, а структура була сильно зашумлена, задача нагадувала фолдинг білка. Якщо навпаки – структура збереглася, а послідовність була майже повністю замаскована – модель вчилася вирішувати задачу зворотного фолдингу. А коли обидві частини псувалися частково, модель опрацьовувала обидві задачі паралельно, фактично навчаючись спільного проєктування.
Результати і обмеження
За результатами бенчмарків, SimpleDesign показує конкурентні результати у спільному проєктуванні, генерації структур та генерації послідовностей – попри значно простіший процес навчання. Амінокислотні послідовності, які вона генерує, здебільшого не поступаються або й перевершують виходи більшості конкуруючих мультимодальних моделей.
Водночас автори дослідження чесно вказують на ключове обмеження: усі результати отримані виключно в рамках комп’ютерних оцінок. Жоден зі згенерованих білків не перевірявся експериментально – невідомо, чи вони насправді формуватимуть очікувану структуру, виконуватимуть потрібну функцію та поводитимуться безпечно в реальних біологічних системах. Тим не менш дослідники оцінюють отримані результати як перспективні.
