УДК 004 С.М. Вовк ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ЗГЛАДЖУВАННЯ ДАНИХ НА ОСНОВІ КРИТЕРІЮ МІНІМУМУ ПРОТЯЖНОСТІ Анотація. Запропонована інформаційна технологія згладжування даних, спотворених аномальними значеннями й шумом. У рамках даної технології передбачається, що модель даних задана непараметрично за допомогою властивості її гладкості, аномальні значення мають вигляд викидів або коротких за протяжністю аномальних фрагментів даних, а шум проявляється в кожному елементі даних у вигляді випадкової добавки до його значення. Дана технологія реалізується шляхом розв'язання задачі мінімізації цільової функції, побудованої на основі критерію мінімуму протяжності, який застосовується до відхилу розв'язку, і на обмеженні величини похідної розв'язку заданого порядку. Рішення задачі мінімізації досягається чисельно шляхом застосування методу спряжених градієнтів. Керування процесом згладжування даних здійснюється за допомогою параметрів налаштування, значення яких можуть встановлюватися вручну або автоматично. Пропонована технологія випробувана на даних, отриманих за допомогою чисельного моделювання, а також на експериментальних даних, що являють собою спектри фотолюмінесценції. Ключові слова: інформаційна технологія, згладжування даних. Вступ. Для багатьох прикладних додатків актуальною є задача згладжування даних, отриманих в умовах наявності шуму й аномальних значень [1]. Складність розв'язання цієї задачі обумовлена тим, що параметрична модель згладжуваних даних звичайно є невідомою, а наявність аномальних значень може стати причиною суттєвих помилок [2]. За цих умов для практичної роботи з обробки даних можна залучити досвідченого дослідника, здатного вручну виконати необхідне згладжування даних. На противагу цьому рутинному й суб'єктивному підходу в даній роботі пропонується інформаційна технологія обробки даних, яка призначена для автоматичного видалення з отриманих даних аномальних значень і шуму. Дана технологія заснована на критерії мінімуму протяжності [3], який застосовується до відхилу розв'язку, та на вимозі гладкості ��������������������������������� ��Вовк С.М., 2020� «Системні технології» 2 (127) 2020 «System technologies» ISSN 1562-9945 (Print) ISSN 2707-7977 (Online) 4 розв'язку. У межах даної технології участь людини є потрібною тільки на етапі налаштування початкових параметрів роботи. Постановка задачі та мета досліджень. Постановка задачі полягає в розробці інформаційної технології згладжування даних на основі критерію мінімуму протяжності й вимоги гладкості шуканого розв'язку. Метою досліджень є отримання інформаційної технології згладжування даних, спотворених аномальними значеннями й шумом.
For a complicated noise environment the use of M-estimator faces a problem of choosing a cost function yielding the best solution. To solve this problem it is proposed to use a superset of cost functions. The superset capabilities provide constructing a parameter estimation method for complicated noise environment. It consists in tuning the generalized maximum likelihood estimation to the current noise environment by setting values of three free superset parameters related to the scale, the tail heaviness and the form of noise distribution, as well as to the anomaly values that presence in data. In general case, this method requires to solve the optimization problem with a non-unimodal objective function, and it can be mostly implemented by using the zero-order optimization methods. However, if the noise environment has known statistics, the proposed method leads to the optimal estimation. If the noise environment is complicated or does not have a complete statistics, the proposed method leads to the more effective estimates comparing to those of mean, median, myriad and meridian estimators. Numerical simulations confirmed the method performance.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.