Розподіл частих слів у коротких текстових повідомленнях

Abstract

Розглядається задача про розподiл частот слiв у текстовому корпусi, що складається з коротких повiдомлень (акцент зроблено на частих словах). Серед декiлькох сiмей розподiлiв знайденi найбiльш адекватнi (використовувався критерiй хi-квадрат, а також порiвняння за допомогою статистик AIC та BIC).

We consider a problem of word frequency distribution in a text corpus which consists of short messages (the emphasis is put on frequent words). The most adequate distributions were found among several distribution families (the chi-square test was used, the distributions were compared using the AIC and BIC statistics).