Object recognition in images is used in many areas of practical use. Very often, progress in its application largely depends on the ratio of the quality of object recognition and the required amount of calculations. Recent advances in recognition are related to the development of neural network architectures with a very significant amount of computing that are trained on large data sets over a very long time on state-of-the-art computers. For many practical applications, it is not possible to collect such large datasets for training and only computing machines with limited computing power can be used. Therefore, the search for solutions that meet these practical restrictions is relevant. This paper reports an ensemble classifier, which uses stacking in the second stage. The use of significantly different classifiers in the first stage and the multilayer perceptron in the second stage has made it possible to significantly improve the ratio of the quality of classification and the required volume of calculations when training on small data sets. The current study showed that the use of a multilayer perceptron in the second stage makes it possible to reduce the error compared to the use of the second stage of majority voting. On the MNIST dataset, the error reduction was 29‒39 %. On the CIFAR-10 dataset, the error reduction was 13‒17 %. A comparison of the proposed architecture of the ensemble classifier with the architecture of the transformer-type classifier demonstrated a decrease in the volume of calculations while reducing the error. For the CIFAR-10 dataset, an error reduction of 8 % was achieved with a calculation volume of less than 22 times. For the MNIST dataset, the error reduction was 62 % when winning by the volume of calculations by 50 times
The object of research is the process of classifying objects in images. The quality of classification refers to the ratio of correctly recognized objects to the number of images. One of the options for improving the quality of classification is to increase the depth of neural networks used. The main difficulties along the way are the difficulty of training such neural networks and a large amount of computing that makes it difficult to use them on conventional computers in real time. An alternative way to improve the quality of classification is to increase the width of the neural networks used, by constructing ensemble classifiers with staking. However, they require the use of classifiers at the first stage with different structured processing of input images, characterized by high quality classification and relatively low volume of calculations. The number of known such architectures is limited. Therefore, the problem arises of increasing the number of classifiers at the first stage of the ensemble classifier by modifying known architectures. It is proposed to use blocks of rotation of images at different angles relative to the center of the image. It is shown that as a result of structured image processing by the starting classifier, processing of rotated image leads to redistribution of errors on image set. This effect makes it possible to increase the number of classifiers in the first stage of the ensemble classifier. Numerical experiments have shown that adding two analogs of the MLP-Mixer algorithm to known configurations of ensemble classifiers reduced the error from 1 to 11 % when working with the CIFAR-10 dataset. Similarly, for CCT, the error reduction was between 2.1 and 10 %. In addition, it has been shown that increasing the MLP-Mixer configuration in width gives better results than increasing in depth. A prerequisite for the success of using the proposed approach in practice is the structured image processing by the starting classifier
Традицiйною схемою роботи з нейронними мережами до недавнього часу було завдання архiтектури нейронної мережi та її подальше навчання. Однак останнi дослiдження в цiй областi показали, що заданi i налаштованi таким чином нейроннi мережi мають значну надмiрнiсть. Тому додатковою операцiєю стала лiквiдацiя цiєї надмiрностi за рахунок прорiджування зв'язкiв в архiтектурi нейронної мережi. Серед безлiчi пiдходiв до лiквiдацiї надмiрностi найбiльш перспективним представляється спiльне використання декiлькох методiв, коли їх сумарний ефект перевищує суму ефектiв одиночного використання кожного з них. Проведено експериментальне дослiдження ефективностi спiльного використання iтерацiйного прорiджування i предобробки (предiскаженiй) вхiдних даних в задачi розпiзнавання рукописних цифр за допомогою багатошарового персептрона. Показано, що використання предобробки вхiдних даних регулярiзує процедуру навчання нейронної мережi, запобiгаючи її перенавчання. Спiльне використання iтерацiйного прорiджування i пред обробки вхiдних даних дозволило отримати меншу помилку розпiзнавання рукописних цифр -1,22 %, в порiвняннi з використанням тiльки прорiджування (помилка зменшилася з 1,89 % до 1,81 %) i з використанням тiльки предiскаженiй (помилка зменшилася з 1,89 % до 1,52 %). Крiм цього регуляризацiя за рахунок предiскаженiй дозволяє отримати монотонно збiльшуючуюся кiлькiсть вiдключених зв'язкiв при збереженнi помилки на рiвнi 1,45 %. Отриманi кривi навчання для однiєї i тiєї ж задачi, якi вiдповiдають початку навчання з рiзних початкових умов, мають рiзнi значення як в процесi навчання, так i в кiнцi навчання. Це свiдчить про багатоекстремальнiсть функцiї якостi -точностi розпiзнавання. Практичне використання цього полягає в пропозицiї проводити багаторазове навчання нейронної мережi з вибором найкращого результатуКлючовi слова: багатошаровий персептрон, нейронна мережа, прорiджування, регуляризацiя, крива навчання, ваговi коефiцiєнти
Проблемно-орієнтоване навчання підвищеного типу. Досвід європейських університетів, які беруть участь в проекті TEMPUS MEDIS. На базі досвіду європейських університетів, які беруть участь у проекті TEMPUS MEDIS, висвітлено зміст проблемно-орієнтованого навчання та проблемноорієнтованого навчання підвищеного типу. Описано впровадження проблемно-орієнтованого навчання підвищеного типу в навчальний процес сучасних спеціалістів промислових систем управління. Авторами представлено сучасний європейський досвід у сфері навчання сучасних спеціалістів промислових систем управління, отриманий в рамках виконання проекту MEDIS за програмою TEMPUS, в рамках якого п'ять європейських університетів діляться досвідом із шістьма університетами з Казахстану, Росії й України. Ключові слова: проблемно-орієнтоване навчання, промислові системи управління, модернізація навчальних курсів. O.M. Galchonkov, N.V. Loziienko. Advanced problem-based learning. The experience of the European universities participants to the TEMPUS MEDIS project. Based on the experience of the European universities participants to the TEMPUS MEDIS project contents of the problem-based learning and advanced problem-based learning are highlighted. Integration of the advanced problem-based learning in the modern industrial system control specialists training is described. Authors declared modern European experience in the field of modern industrial system control specialists training gained in the frames of TEMPUS MEDIS project within which five European universities shared their experience with six universities in Kazakhstan, Russia and Ukraine.
Досліджено можливість швидкого обчислення колек тивних експертних оцінок медіанного типу. Незважаючи на широке застосування для розрахунку колективних екс пертних оцінок медіан КеменіСнелла і КукаСейфорда, недостатньо досліджені можливості скорочення часу обчислення медіанного консенсусного ранжирування шля хом застосуванням задачі про призначення і відомих алгоритмів її рішення. На відміну від більшості відомих методів пропонований в статті метод не є наближеним і зберігає вихідну медіанну аксіоматику Кемені. Досліджено можливість розрахунку медіан Кемені Снелла і КукаСейфорда із застосуванням задачі про призначення методами комп'ютерного експерименту. Оцінено час рахунку медіанних ранжирувань чотирма різними алгоритмами рішення задачі про призначення. Встановлено, що запропонованим методом при помір ній кількості альтернатив (n<50) медіанні ранжируван ня розраховуються в режимі часу, близькому до реально го. Показано також, що на відміну від інших методів час обчислення медіанних ранжирувань за допомогою задачі про призначення не залежить від ступеня узгодженості індивідуальних експертних ранжирувань. Отримані результати корисні для практичного засто сування дослідженої процедури в мережевих експертних системах. У таких системах час обчислення консенсус ного ранжирування має бути близьким до реального. Крім того, в мережевих системах експертизи за рахунок випад кового комплектування колективу експертів можливий низький рівень узгодженості індивідуальних ранжируван ня. Для дослідженої процедури це не впливає на трива лість розрахунку. Це дозволяє рекомендувати розробле ну обчислювальну процедуру швидкого пошуку медіанних консенсусних ранжирувань за КеменіСнеллом і Куком Сейфордом для практичного застосування в системах колективної мережевої експертизи Ключові слова: колективне експертне оцінювання, ме діанні консенсусні ранжирування, задача про призначення UDC 004.9
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.