Not Only Size Matters: Issues in Creating Frequency Dictionaries From Corpora

Abstract

В статье рассматриваются проблемы создания частотных словарей для преподавания языка с учетом таких параметров, как источники корпусов, собственно частотность слова, зависимость от длины документов, тематическое и жанровое разнообразие корпусов. Приводятся примеры проблем с частотными списками и даются рекомендации для практического применения частотных словарей. Отмечается, что помимо размера корпуса на содержание частотных словарей влияют слова, популярные внутри длинных документов, поскольку они приводят к выбросам частот, а также соответствие тем и жанров, представленных в корпусе, целям обучения, так как корпуса из разных предметных областей и жанров могут радикально отличаться друг от друга. The paper discusses the issues in creating frequency dictionaries aimed at language teaching, while taking into account such parameters as sources of corpora, actual word frequencies, document length consideration, as well as variation in topics and genres. It provides examples of problems with frequency lists and gives recommendations for practical use of frequency dictionaries. In addition to the size of the corpus, the frequency dictionaries are influenced by words that are frequent within long documents, since they lead to frequency bursts, as well as by the link between the topics and genres in a corpus to the learning objectives, since corpora from different subject areas and genres can produce radically different frequency profiles.