Ни для кого не секрет, что предсказательные модели, основанные на глубоких нейросетях, — лучший метод решения многих задач, связанных с распознаванием изображений, звука и последовательностей символов. Вместе с тем причины этого ясны не вполне, а вопрос о способах построения архитектур нейросетей, адекватных решению конкретных задач, до сих пор остаётся открытым. 11 октября профессор Нафтали Тишби из Еврейского университета в Иерусалиме рассказал в московском офисе Яндекса о теоретическом подходе Information Bottleneck framework. Этот подход позволяет дать чёткие рекомендации по выбору нейросетевых архитектур, исходя из размера обучающей выборки и совместных распределений признаков и выходных классов. Одно из недавних выступлений профессора Тишби есть в интернете. Запись сделана на берлинском семинаре по глубинному обучению.