Decision Tree Construction for the Case of Low-Informative Features

Abstract

д-р техн. наук, профессор, заведующий кафедрой программных средств Запорожского национального технического университета, Запорожье, Украина. АННОТАЦИЯ Актуальность. Рассмотрена задача автоматизации построения деревьев решений. Объектом исследования являются деревья решений. Предметом исследования являются методы построения деревьев решений. Цель. Цель работы-создание метода построения моделей на основе деревьев решений для выборок данных, характеризующихся наборами индивидуально малоинформативных признаков. Метод. Предложен метод построения деревьев решений, который для заданной выборки определяет индивидуальную информативность признаков по отношению к выходному признаку, а также оценивает взаимосвязь входных признаков между собой как их индивидуальную информативность попарно по отношению друг к другу, на этапе формирования очередного узла в качестве признака-кандидата выбирает признак, дающий наилучшее разбиение из всего множества признаков, после чего последовательно ищет среди всех еще неотобранных для данного узла признаков такой признак, который индивидуально наиболее тесно связан с отобранным кандидатом, после чего для совокупности отобранных признаков, перебирая поочередно из заданного набора доступные преобразования, определяет качество разбиения для каждого преобразования, выбирает наилучшее преобразование и добавляет его в узел. Метод стремится при формировании очередного узла выделить группу наиболее тесно взаимосвязанных признаков, преобразование которой в скалярное значение обеспечит наилучшее разбиение подвыборки экземпляров, попавших в данный узел. Это позволяет сократить размер модели и ветвистость дерева, ускорить вычисления при распознавании экземпляров на основе модели, а также повысить обобщающие свойства модели и ее интерпретабельность. Предложенный метод позволяет использовать построенное дерево решений для оценки значимости признаков. Результаты. Разработанный метод реализован программно и исследован при решении задачи классификации сигналов, представленных набором отсчетов, обладающих индивидуально низкой информативностью. Выводы. Проведенные эксперименты подтвердили работоспособность предложенного математического обеспечения и позволяют рекомендовать его для использования на практике при решении задач диагностирования и автоматической классификации по признакам. Перспективы дальнейших исследований могут заключаться в создании параллельных методов построения деревьев решений на основе предложенного метода, оптимизации его программных реализаций, а также экспериментальном исследовании предложенного метода на более широком комплексе практических задач.

The General Concept of the Methods of Algorithmic Classification Trees

“…It is fundamentally important to consider the criteria of quality of the obtained classification tree models, which depend on the model error, the power of the initial data array of the TS, the size of the test set (the number of training pairs and the dimension of the attribute space of the problem), the number of model parameters, etcetera [15,27].…”

“…In contrast to the existing methods, the main feature of tree-like recognition systems is that the importance of individual features (groups of features or algorithms) is determined in reference to the function that specifies the partition of objects into classes [23]. Thus, work [15] is devoted to the principal issues concerning the generation of decision trees in the case of uninformative features, estimating the quality of the constructed models. The ability of classification tree structures to perform one-dimensional branching (the selection of features, attributes) for analyzing the impact (importance, quality) of individual variables (vertices) makes it possible to work with variables of different types in the form of predicates, generalized features, in the case of ACTs -with the respective autonomous classification and recognition algorithms.…”

“…Since the main idea of methods and algorithms of the branched selection of features (vertices of algorithms) of ACTs can be defined as the optimal approximation of some initial TS using a set of ranked classification algorithms (features, attributes of the object in the case of LCTs), the central problem which arises is related to choosing an efficient branching criterion (the selection of vertices, attributes, features of discrete objects for LCTs and algorithms for ACTs). These fundamental problems are studied in [15,21,[31][32][33][34]; they include quality evaluation of individual discrete features, their sets and fixed junctions; all of these enable introducing an efficient mechanism for the implementation of branching.…”

“…The central issues of the concept of classification trees remain the ones linked to the choice of the branching criterion (constructing or selecting vertices), the branching stopping criterion (constructing the classification tree structure), and the criterion for rejecting branches of the logical tree (subtrees). This gives rise to the fundamental issue of the theory of classification trees which consists in the possible construction of all variants of logical trees that correspond to the initial TS and the selection of the minimal classification tree according to the depth, structural complexity (the number of tiers) [12][13][14][15].…”

Classification models of flood-related events based on algorithm trees

“…Moreover, the disadvantage of the functionality of assessing the quality of attributes in the cited papers is the existence of restrictions in terms of generating the LCT structure. Thus, study [23] considers fundamental issues related to the generation of decision trees for the case of low-informative attributes. A potential to improve the cited study could be the use of combinations and sets of attributes in order to generate informative vertices of LCT structures.…”