A Reinforcement learning-based cognitive MAC protocol

Κακάλου, Ιωάννα; Papadimitriou, Georgios I.; Nicopolitidis, Petros; Sarigiannidis, Panagiotis; Obaidat, Mohammad S.

doi:10.1109/icc.2015.7249216

Cited by 15 publications

(11 citation statements)

References 9 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Learning automata (LA) is an alternative framework to MDPs that has successfully been employed in MAC design [14], [15]. LA have been found to converge in stationary environments, where other learning algorithms fail [16], but their application in the domain of WSNs faces the same limitations with MABs, as they are also stateless.…”

Section: Related Workmentioning

confidence: 99%

Fast Q-Learning for Improved Finite Length Performance of Irregular Repetition Slotted ALOHA

Nisioti

Thomos

2020

IEEE Trans. Cogn. Commun. Netw.

View full text Add to dashboard Cite

In this paper, we study the problem of designing adaptive Medium Access Control (MAC) solutions for wireless sensor networks (WSNs) under the Irregular Repetition Slotted ALOHA (IRSA) protocol. In particular, we optimize the degree distribution employed by IRSA for finite frame sizes. Motivated by characteristics of WSNs, such as the restricted computational resources and partial observability, we model the design of IRSA as a Decentralized Partially Observable Markov Decision Process (Dec-POMDP). We have theoretically analyzed our solution in terms of optimality of the learned IRSA design and derived guarantees for finding near-optimal policies. These guarantees are generic and can be applied in resource allocation problems that exhibit the waterfall effect, which in our setting manifests itself as a severe degradation in the overall throughput of the network above a particular channel load. Furthermore, we combat the inherent non-stationarity of the learning environment in WSNs by advancing classical Q-learning through the use of virtual experience (VE), a technique that enables the update of multiple state-action pairs per learning iteration and, thus, accelerates convergence. Our simulations confirm the superiority of our learning-based MAC solution compared to traditional IRSA and provide insights into the effect of WSN characteristics on the quality of learned policies.

show abstract

Section: Related Workmentioning

confidence: 99%

Fast Q-Learning for Improved Finite Length Performance of Irregular Repetition Slotted ALOHA

Nisioti

Thomos

2020

IEEE Trans. Cogn. Commun. Netw.

View full text Add to dashboard Cite

show abstract

“…Teng et al [27] have discussed a scheme which adopts a -learning-based auction game to help nodes compete channel access opportunity. Kakalou et al [28] and Saleem et al [29] use cluster-based architectures instead of the central entity, in which cluster head observes the traffic of primary user (PU) to avoid collisions while keeping other member nodes synchronized. In [30], Lin et al have investigated a novel dynamic spectrum access framework with control information exchange through beacons.…”

Section: Related Workmentioning

confidence: 99%

“…They are different from conventional channel selection strategies by taking advantage of the sense information around external environment to make a decision in the channel selection process. The intelligent methods can be broadly divided into two categories: the game-based category that focuses on applying game theoretical tools to make a real-time decision [5][6][7][12][13][14][15][16][17][18][19][20][21][22][23] and the learning-based category that focuses on introducing reinforcement learning techniques to select optimized resource [8][9][10][11][24][25][26][27][28][29][30][31].…”

Section: Related Workmentioning

confidence: 99%

Optimal Channel Selection Based on Online Decision and Offline Learning in Multichannel Wireless Sensor Networks

Qiao

Zhao

Huang

et al. 2017

Wireless Communications and Mobile Computing

View full text Add to dashboard Cite

We propose a channel selection strategy with hybrid architecture, which combines the centralized method and the distributed method to alleviate the overhead of access point and at the same time provide more flexibility in network deployment. By this architecture, we make use of game theory and reinforcement learning to fulfill the optimal channel selection under different communication scenarios. Particularly, when the network can satisfy the requirements of energy and computational costs, the online decision algorithm based on noncooperative game can help each individual sensor node immediately select the optimal channel. Alternatively, when the network cannot satisfy the requirements of energy and computational costs, the offline learning algorithm based on reinforcement learning can help each individual sensor node to learn from its experience and iteratively adjust its behavior toward the expected target. Extensive simulation results validate the effectiveness of our proposal and also prove that higher system throughput can be achieved by our channel selection strategy over the conventional off-policy channel selection approaches.

show abstract

“…A LA is a finite state machine tool which improves its performance by interacting with the random environment in which it operates. Given the dynamic nature of a networking environment, LA are ideal for implementing adaptive protocols ([96], [97], [98], [99], [100], [85], [101], [102]) by using network feedback information. The main purpose of a LA is to find within a set of actions the optimal one, that is the action that causes the minimum average penalty received by the environment (this criterion is equivalent to maximizing the average reward received by the environment).…”

Section: Learning Automata Mechanismmentioning

confidence: 99%

Energy efficient optical backbone networks

Beletsioti¹,

Μπελετσιώτη²

View full text Add to dashboard Cite

Η πυρετώδης ανάπτυξη του Διαδικτύου επέφερε την εξέλιξη των οπτικών δικτύων σε παγκόσμιο επίπεδο. Η ευρεία χρήση των οπτικών δικτύων οφείλεται όχι μόνο στο αυξημένο εύρος ζώνης που παρέχουν, αλλά ταυτόχρονα επειδή πληρούν τις απαιτήσεις χαμηλού κόστους, υψηλής αξιοπιστίας και εκτεταμένης γεωγραφικής κάλυψης. Επιπλέον, η ταχεία αυτή εξάπλωση του Διαδικτύου συνέβαλε σημαντικά στην αύξηση της κατανάλωσης ενέργειας του δικτυακού εξοπλισμού, ένα εξίσου σημαντικό ζήτημα που προβληματίζει την ερευνητική κοινότητα. Έτσι, παράλληλα με τη σημαντική βελτίωση των οπτικών δικτύων την τελευταία δεκαετία σχετικά με την παρεχόμενη χωρητικότητα, πρέπει να αναληφθούν πρωτοβουλίες προκειμένου να βελτιωθεί περαιτέρω και η ενεργειακή απόδοσή τους. Οι στόχοι της παρούσας έρευνας είναι να προσδιοριστούν οι βασικές αιτίες της κατανάλωσης ενέργειας στα οπτικά δίκτυα κορμού σταθερού και ευέλικτου πλέγματος IP Over WDM και IP Over EON αντίστοιχα, και να προταθούν και να συγκριθούν στρατηγικές για την αύξηση της ενεργειακής τους απόδοσης. Όσον αφορά στα οπτικά δίκτυα σταθερού φάσματος IP Over WDM, παρουσιάζονται νέα ενεργειακά αποδοτικά σχήματα, με στόχο την αύξηση του ρυθμού επαναχρησιμοποίησης των μονοπατιών φωτός κατά τη φάση του σχεδιασμού της Εικονικής Τοπολογίας (ΕΤ). Οι προτεινόμενοι αλγόριθμοι καταφέρνουν να μειώσουν τον αριθμό των προεγκατεστημένων μονοπατιών φωτός στην ΕΤ και να επωφεληθούν από την εναπομένουσα χωρητικότητα των οπτικών διαδρομών εκμεταλλευόμενοι τους πόρους των μονοπατιών φωτός με πιο αποτελεσματικό τρόπο. Επιπλέον, τα δίκτυα κορμού σε χώρες με υψηλή σεισμικότητα υποφέρουν από απροσδόκητες αστοχίες συνδέσεων που προκαλούνται από σεισμούς, οι οποίοι με τη σειρά τους, προκαλούν τεράστια απώλεια εύρους ζώνης και διακοπές υπηρεσιών. Προς αυτή λοιπόν την κατεύθυνση, προτείνεται ένα νέο σχήμα που χρησιμοποιεί πραγματικές σεισμικές πληροφορίες προκειμένου να διατηρήσει τη συνδεσιμότητα του δικτύου μετά από έναν σεισμό μεγάλης κλίμακας, ενώ ταυτόχρονα υποστηρίζει την ενεργειακή του απόδοση. Ο στόχος του προτεινόμενου σχήματος είναι ο σχεδιασμός ενός δικτύου WDM, που καθορίζοντας τον ελάχιστο αριθμό εναλλακτικών διαδρομών στην ΕΤ διατηρεί τη συνδεσιμότητα στο δίκτυο. Μια άλλη σημαντική προσέγγιση όσον αφορά στην εξοικονόμηση ενέργειας στα οπτικά δίκτυα είναι η επιλεκτική απενεργοποίηση των δικτυακών στοιχείων κάτω από συνθήκες χαμηλής χρησιμοποίησης, διατηρώντας παράλληλα τις ζωτικές λειτουργίες του δικτύου έτσι ώστε να εξυπηρετείται η υπολειπόμενη κίνηση. Όσον αφορά στα δίκτυα μεταβλητού φάσματος IP Over EON, εισάγεται ένας νέος ενεργειακά αποδοτικός αλγόριθμος, ο οποίος εφαρμόζεται υπό δυναμική κίνηση και απενεργοποιεί επιλεκτικά τους συνδέσμους του δικτύου σε σενάρια χαμηλής χρήσης, διατηρώντας παράλληλα την πιθανότητα αποκλεισμού των συνδέσεων σε χαμηλά επίπεδα. Στο τελευταίο μέρος αυτής της διατριβής παρουσιάζεται και αναλύεται ένας νέος προσαρμοστικός ενεργειακά αποδοτικός αλγόριθμος, ο οποίος απενεργοποιεί επιλεκτικά τους μεταδότες μεταβλητού εύρους ζώνης για να επιτύχει ενεργειακή απόδοση υπό συνθήκες χαμηλής χρήσης, κατά τη λειτουργία του δικτύου. Ο νέος αυτός προσαρμοστικός αλγόριθμος χρησιμοποιεί ένα Μανθάνων Αυτόματο προκειμένου να περιορίσει τη συνολική κατανάλωση ενέργειας του δικτύου διατηρώντας παράλληλα την πιθανότητα αποκλεισμού των συνδέσεων σε χαμηλά επίπεδα.

show abstract

A Reinforcement learning-based cognitive MAC protocol

Cited by 15 publications

References 9 publications

Fast Q-Learning for Improved Finite Length Performance of Irregular Repetition Slotted ALOHA

Fast Q-Learning for Improved Finite Length Performance of Irregular Repetition Slotted ALOHA

Optimal Channel Selection Based on Online Decision and Offline Learning in Multichannel Wireless Sensor Networks

Energy efficient optical backbone networks

Contact Info

Product

Resources

About