В блоге Microsoft появился свежий пост, в котором специалисты компании рассказали об успехах алгоритма DeBERTa. Ему удалось обойти человека в одном из самых сложных тестов понимания естественного языка — SuperGLUE.
Так, если в среднем человек способен набрать 89,8 баллов в данном тестировании, то DeBERTa удалось достичь показателя в 90,3 балла. Для этого разработчикам алгоритма пришлось сильно переработать архитектуру системы. Теперь она состоит из 48 слоев и имеет 1,5 млрд различных параметра.
Результаты алгоритмов в тесте SuperGLUE / Источник: Блог Microsoft
Представители Microsoft уже заявили, что планируют сделать исходный код DeBERTa открытым. Из ближайших планов компании также можно отметить желание интегрировать алгоритм в следующую версию Microsoft Turing (Turing NLRv4).
Напомним, что тьюринговая модель компании используется в поисковике Bing, Office, Dynamics и Azure Cognitive Services.
Источник: Хабр
Источник: