Using active learning selection approach for cross-project software defect prediction

Mi, Wenbo; Li, Yong; Wen, Ming; Chen, Youren

doi:10.1080/09540091.2022.2077913

Cited by 6 publications

(4 citation statements)

References 28 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Luo et al 31 introduced a two‐stage active learning method combining the clustering and support vector machine techniques, which improved the performance of the predictor with less labeling effort. Mi et al 32 also used clustering and active learning algorithms to filter and label representative data from the target versions. They argued that it solved the class imbalance problem in cross‐project data and improved the defect prediction performance.…”

Section: Related Workmentioning

confidence: 99%

Cross‐version defect prediction using threshold‐based active learning

Mei

Liu

et al. 2023

J Software Evolu Process

View full text Add to dashboard Cite

Because defects in software modules (e.g., classes) might lead to product failure and financial loss, software defect prediction enables us to better understand and control software quality. Software development is a dynamic evolutionary process that may result in data distributions (e.g., defect characteristics) varying from version to version. In this case, effective cross‐version defect prediction (CVDP) is not easy to achieve. In this paper, we aim to investigate whether the defect prediction method of the threshold‐based active learning (TAL) can tackle the problem of the different data distribution between successive versions. Our TAL method includes two stages. At the active learning stage, a committee of investigated metrics is constructed to vote on the unlabeled modules of the current version. We pick up the unlabeled module with the median of voting scores to domain experts. The domain experts test and label the selected unlabeled module. Then, we merge the selected labeled module and the remaining modules with pseudo‐labels from the current version into the labeled modules of the prior version to form enhanced training data. Based on the training data, we derive the metric thresholds used for the next iteration. At the defect prediction stage, the iterations stop when a predefined threshold is reached. Finally, we use the cutoff threshold of voting scores, that is, 50%, to predict the defect‐prone of the remaining unlabeled modules. We evaluate the TAL method on 31 versions of 10 projects with three prevalent performance indicators. The results show that TAL outperforms the baseline methods, including three variations methods, two common supervised methods, and the state‐of‐the‐art method Hybrid Active Learning and Kernel PCA (HALKP). The results indicate that TAL can effectively address the different data distribution between successive versions. Furthermore, to keep the cost of extensive testing low in practice, selecting 5% of candidate modules from the current version is sufficient for TAL to achieve a good performance of defect prediction.

show abstract

Section: Related Workmentioning

confidence: 99%

Cross‐version defect prediction using threshold‐based active learning

Mei

Liu

et al. 2023

J Software Evolu Process

View full text Add to dashboard Cite

show abstract

“…For example, in a cross-project prediction method based on feature migration, He et al [10] obtained the optimal subset of attributes from the source and target projects to build defect prediction models as a way to alleviate the problem of insufficient data for the target projects. Mi et al [11] proposed an active learning based data selection algorithm considering that the prior knowledge of the target item can match the source item with the defect pattern of the target item. Menzies et al [12] implemented cross-item defect prediction by building local models through clustering clusters of source and target items.…”

Section: Software Defect Predictionmentioning

confidence: 99%

Privacy Protection Optimization for Federated Software Defect Prediction via Benchmark Analysis

Ying Liu,

Yong Li

et al. 2023

Journal of Internet Technology

View full text Add to dashboard Cite

<p>Federated learning is a privacy-preserving machine learning technique that coordinates multi-participant co-modeling. It can alleviate the privacy issues of software defect prediction, which is an important technical way to ensure software quality. In this work, we implement Federated Software Defect Prediction (FedSDP) and optimize its privacy issues while guaranteeing performance. We first construct a new benchmark to study the performance and privacy of Federated Software defect prediction. The benchmark consists of (1) 12 NASA software defect datasets, which are all real software defect datasets from different projects in different domains, (2) Horizontal federated learning scenarios, and (3) the Federated Software Defect Prediction algorithm (FedSDP). Benchmark analysis shows that FedSDP provides additional privacy protection and security with guaranteed model performance compared to local training. It also reveals that FedSDP introduces a large amount of model parameter computation and exchange during the training process. There are model user threats and attack challenges from unreliable participants. To provide more reliable privacy protection without losing prediction performance we proposed optimization methods that use homomorphic encryption model parameters to resist honest but curious participants. Experimental results show that our approach achieves more reliable privacy protection with excellent performance on all datasets.</p> <p> </p>

show abstract

“…Новостворені проекти не мають достатнього обсягу навчальних даних, тому CPDP можна використовувати для створення предикторів дефектів за допомогою інших проектів. Однак CPDP не враховує попередніх знань про цільові елементи та дисбаланс класів у даних вихідного елемента [30].…”

Section: вступ / Introductionunclassified

Аналіз Проблеми Застосування Методів Машинного Навчання Для Оцінювання Та Прогнозування Дефектів Програмного Забезпечення

Khil,

Yakovyna

2023

Scientific Bulletin of UNFU

View full text Add to dashboard Cite

Здійснено оцінювання та виконано аналіз літературних джерел, в яких досліджено методи машинного навчання для прогнозування дефектів програмного забезпечення. Визначено основні характеристики дефектів програмного забезпечення, такі як показники складності, ключові слова, зміни, розмір програмного коду та структурні залежності. Охарактеризовано основні методи та засоби прогнозування дефектів програмного забезпечення на основі метрик методами машинного навчання. Описано загальну схему прогнозування дефектів програмного забезпечення, яка дає змогу проводити експерименти та визначати наявність чи відсутність дефекту в програмному модулі. Продуктивність моделі передбачення дефектів програмного забезпечення істотно залежить від вибору набору даних, що є першим кроком проведення дослідження. Встановлено, що попередні дослідження здебільшого базуються на наборах даних з відкритим кодом, а програмні показники, які використовують для створення моделей, переважно є метриками продукту. Набір даних PROMISE (обіцянки) використовується в дослідженнях найчастіше, хоча дані проектів у наборі є застарілими та датуються 2004, 2005 та 2006 роками. Під час виконання цієї роботи проаналізовано сучасні наукові дослідження у галузі. Виявлено методи класифікації, що використовують під час прогнозування дефектів програмного забезпечення. Встановлено, що логістична регресія (англ. Logistic Regression), за якою слідує наївний Баєс (англ. Naive Bayes) та випадковий ліс (англ. Random Forest), є найбільш застосовуваними методами класифікації в таких моделях. Важливим етапом для розуміння ефективності моделі є її оцінювання. Виявлено показники оцінювання ефективності моделі прогнозування дефектів програмного забезпечення, що найчастіше використовують дослідженнях. З'ясовано, що f-measure, за якою слідує recall та AUC, є найпоширенішим показником, який використовується для оцінювання ефективності моделей передбачення дефектів програмного забезпечення. Виявлено, що за останні роки зріс інтерес до використання моделей дефектів програмного забезпечення та класифікації програмних дефектів на основі метрик коду та характеристик проекту. Обґрунтовано актуальність оцінювання та прогнозування дефектів програмного забезпечення методами машинного навчання. Встановлено деякі аспекти, які потребують додаткового дослідження. Визначено напрями майбутніх досліджень, а саме: методи вибору ознак, методи вибору класифікаторів, методи попереднього оброблення даних, побудова моделей прогнозування дефектів, розроблення методів і засобів прогнозування дефектів програмного забезпечення.

show abstract

Using active learning selection approach for cross-project software defect prediction

Cited by 6 publications

References 28 publications

Cross‐version defect prediction using threshold‐based active learning

Cross‐version defect prediction using threshold‐based active learning

Privacy Protection Optimization for Federated Software Defect Prediction via Benchmark Analysis

Аналіз Проблеми Застосування Методів Машинного Навчання Для Оцінювання Та Прогнозування Дефектів Програмного Забезпечення

Contact Info

Product

Resources

About