Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks

Dey, Rahul; Salem, Fathi M.

doi:10.48550/arxiv.1701.05923

Cited by 5 publications

(6 citation statements)

References 0 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Such aggregations require manual feature engineering for each specific rule, with an implementation effort comparable to direct implementation of rule algorithms by policy experts. The deep neural network, which we implemented as a recurrent neural network [44][45][46] to capture the temporal nature of historical claims data, also has very poor performance. Besides the well-known problems of this type of network (vanishing or exploding gradient 47 ), we observe that rules defined in policy documents usually have different temporal aggregations (ranging from months to years).…”

Section: Discussionmentioning

confidence: 99%

See 1 more Smart Citation

Collaborative artificial intelligence system for investigation of healthcare claims compliance

Sbodio,

López,

Hoang

et al. 2024

Sci Rep

View full text Add to dashboard Cite

Healthcare fraud, waste and abuse are costly problems that have huge impact on society. Traditional approaches to identify non-compliant claims rely on auditing strategies requiring trained professionals, or on machine learning methods requiring labelled data and possibly lacking interpretability. We present Clais, a collaborative artificial intelligence system for claims analysis. Clais automatically extracts human-interpretable rules from healthcare policy documents (0.72 F1-score), and it enables professionals to edit and validate the extracted rules through an intuitive user interface. Clais executes the rules on claim records to identify non-compliance: on this task Clais significantly outperforms two baseline machine learning models, and its median F1-score is 1.0 (IQR = 0.83 to 1.0) when executing the extracted rules, and 1.0 (IQR = 1.0 to 1.0) when executing the same rules after human curation. Professionals confirm through a user study the usefulness of Clais in making their workflow simpler and more effective.

show abstract

Section: Discussionmentioning

confidence: 99%

“…The deep neural network baseline uses a Recurrent Neural Network (RNN) architecture [44][45][46] to learn dependencies between elements in a sequence. The sequence used to classify a claim consists of all the preceding claims and related features in chronological order, in addition to the claim being classified.…”

Section: Baseline Modelsmentioning

confidence: 99%

Collaborative artificial intelligence system for investigation of healthcare claims compliance

Sbodio,

López,

Hoang

et al. 2024

Sci Rep

View full text Add to dashboard Cite

show abstract

“…Many of these variants have already been validated to produce comparable performance to the standard LSTM RNN in recent publications [9][10][11][12][13][14][15]. The remaining ones are currently being investigated in case studies.…”

Section: Discussionmentioning

confidence: 99%

“…We will describe a diverse set of variant networks with the intended goal of providing a host of choices, balancing parameter-reduction and quantitative performance in (validation-testing) accuracy. We have already demonstrated the quantitative performances of these new network variants in recent publications ( [9][10][11][12][13][14])-albeit for initial datasets. Here, we describe the insight and reasoning into the reduced networks' developments in a comprehesive way [15].…”

Section: The Rationale In Developing the Slim Lstmsmentioning

confidence: 94%

SLIM LSTMs

Salem

2018

Preprint

Self Cite

View full text Add to dashboard Cite

Long Short-Term Memory (LSTM) Recurrent Neural networks (RNNs) rely on gating signals, each driven by a function of a weighted sum of at least 3 components: (i) one of an adaptive weight matrix multiplied by the incoming external input vector sequence, (ii) one adaptive weight matrix multiplied by the previous memory/state vector, and (iii) one adaptive bias vector. In effect, they augment the simple Recurrent Neural Networks (sRNNs) structure with the addition of a "memory cell" and the incorporation of at most 3 gating signals.The standard LSTM structure and components encompass redundancy and overly increased parameterization. In this paper, we systemically introduce variants of the LSTM RNNs, referred to as SLIM LSTMs. These variants express aggressively reduced parameterizations to achieve computational saving and/or speedup in (training) performance-while necessarily retaining (validation accuracy) performance comparable to the standard LSTM RNN.

show abstract

“…Перевагами нейронних мереж є [9][10][11]:  можливість їх навчання та адаптації;  можливість виявлення закономірностей у даних, їх узагальнення, тобто отримання знань з даних, тому не потрібні знання про об'єкт (наприклад, його математична модель);…”

Section: метод динамічного управління буфером запасів на основі м'яки...unclassified

Метод Динамічного Управління Буфером Запасів На Основі М’яких Обчислень

Fedorov¹,

Nechyporenko²

2023

Вісник ЧДТУ

View full text Add to dashboard Cite

У роботі пропонується метод динамічного управління буфером запасів на основі м’яких обчислень. Новизна дослідження полягає в тому, що для динамічного управління буфером запасів було створено метод на основі нечіткої логіки та штучної нейронної мережі, дві моделі штучної нейро-нечіткої мережі динамічного управління буфером запасів, вибрано три критерії оцінки ефективності запропонованих моделей, ідентифіковано параметри запропонованих моделей на основі методу зворотного поширення в пакетному режимі, орієнтовані на технологію паралельної обробки інформації. Запропоновані моделі та процедури їх параметричної ідентифікації дозволяють підвищити швидкодію, точність і надійність прийняття рішення. Запропонований метод динамічного управління буфером запасів на основі м’яких обчислень може використовуватись у різних інтелектуальних системах.

show abstract

Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks

Cited by 5 publications

References 0 publications

Collaborative artificial intelligence system for investigation of healthcare claims compliance

Collaborative artificial intelligence system for investigation of healthcare claims compliance

SLIM LSTMs

Метод Динамічного Управління Буфером Запасів На Основі М’яких Обчислень

Contact Info

Product

Resources

About