The New Approaches of Heterogeneous Data Consolidation

Melnykova, Nataliia; Marikutsa, Uliana; Kryvenchuk, Yurii

doi:10.1109/stc-csit.2018.8526677

Cited by 11 publications

(4 citation statements)

References 4 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The available sources of context data and traffic data are consolidated in a multi-dimensional database [25]. Traffic records (whether associated with point, origin-destination or trajectory annotations) are stored in dedicated fact-tables and linked to shared dimensions, including time, space and mode-operator dimensions.…”

Section: Automated Acquisition and Consolidation Of Context Datamentioning

confidence: 99%

On how to incorporate public sources of situational context in descriptive and predictive models of traffic data

Cerqueira

Arsénio²,

Henriques

2021

Eur. Transp. Res. Rev.

View full text Add to dashboard Cite

Background European cities are placing a larger emphasis on urban data consolidation and analysis for optimizing public transport in response to changing urban mobility dynamics. Despite the existing efforts, traffic data analysis often disregards vital situational context, including large-scale events, weather factors, traffic generation poles, social distancing norms, or traffic interdictions. Some of these sources of context data are still private, dispersed, or unavailable for the purpose of planning or managing urban mobility. Addressing the above observation, the Lisbon city Council has already established efforts for gathering historic and prospective sources of situational context in standardized semi-structured repositories, triggering new opportunities for context-aware traffic data analysis. Research questions The work presented in this paper aims at tackling the following main research question: How to incorporate historical and prospective sources of situational context into descriptive and predictive models of urban traffic data? Methodology We propose a methodology anchored in data science methods to integrate situational context in the descriptive and predictive models of traffic data, with a focus on the three following major spatiotemporal traffic data structures: i) georeferenced time series data; ii) origin-destination tensor data; iii) raw traffic event data. Second, we introduce additional principles for the online consolidation and labelling of heterogeneous sources of situational context from public repositories. Third, we quantify the impact produced by situational context aspects on public passenger transport data gathered from smart card validations along the bus (CARRIS), subway (METRO) and bike sharing (GIRA) modes in the city of Lisbon. Results The gathered results stress the importance of incorporating historical and prospective context data for a guided description and prediction of urban mobility dynamics, irrespective of the underlying data representation. Overall, the research offers the following major contributions: A novel methodology on how to acquire, consolidate and incorporate different sources of context for the context-enriched analysis of traffic data; The instantiation of the proposed methodology in the city of Lisbon, discussing the role of recent initiatives for the ongoing monitoring of relevant context data sources within semi-structured repositories, and further showing how these initiatives can be extended for the context-sensitive modelling of traffic data for descriptive and predictive ends; A roadmap of practical illustrations quantifying impact of different context factors (including weather, traffic interdictions and public events) on different transportation modes using different spatiotemporal traffic data structures; and A review of state-of-the-art contributions on context-enriched traffic data analysis. The contributions reported in this work are anchored in the empirical observations gathered along the first stage of the ILU project (see footnote 1), providing a study case of interest to be followed by other European cities.

show abstract

Section: Automated Acquisition and Consolidation Of Context Datamentioning

confidence: 99%

On how to incorporate public sources of situational context in descriptive and predictive models of traffic data

Cerqueira

Arsénio²,

Henriques

2021

Eur. Transp. Res. Rev.

View full text Add to dashboard Cite

show abstract

“…LHS RHS підтримка довіра піднесення номер [1] {Охорона здоров'я} => {Фінанси} 0.007692308 0.09090909 0.5371901 1 [2] {Фінанси} => {Охорона здоров'я} 0.007692308 0.04545455 0.5371901 1 [3] {Спорт} => {Розваги} 0.015384615 0.14285714 1.1607143 2 [4] {Розваги} => {Спорт} 0.01538461 0.12500000 1.1607143 2 [5] {Спорт} => {Фінанси} 0.015384615 0.14285714 0.8441558 2 [6] {Фінанси} => {Спорт} 0.015384615 0.09090909 0.8441558 2 [7] {Забави} => {Фінанси} 0.007692308 0.06250000 0.3693182 1 [8] {Фінанси} => {Розваги} 0.007692308 0.04545455 0.3693182 1 [9] {Покупки} => {Водіння} 0.046153846 0.46153846 1.8181818 6 [10] {Водіння} => {Покупки} 0.046153846 0.18181818 1.8181818 6 [11] {Відпочинок} => {Фінанси} 0.015384615 0.11111111 0.6565657 2 [12] {Фінанси} => {Відпочинок} 0.015384615 0.09090909 0.6565657 2 Отже, правила 3, 4, 9, 10 важливі для аналізу. Далі знайдено підтримку наступних правил (рис.…”

Section: табл 2 параметри асоціативних правилunclassified

“…Порівняємо наші результати з відомими методами. У роботах [5,12] використовують двоступеневу модель для розпізнавання образів людини. Перша частина мо-делі, заснована на розширенні ConvNets до 3D-випадку, автоматично вивчає просторово-часові особливості.…”

Section: табл 5 матриця невідповідностейunclassified

Нові Методи Та Рішення Щодо Побудови Моделі Поведінки Користувачів

Shakhovska¹,

Melnykova²

2020

SBUNFU

View full text Add to dashboard Cite

Наведено нові методи та рішення щодо побудови моделі поведінки користувачів, які дадуть змогу виявити закономірності планування зустрічей друзів на підставі аналізу їхнього щоденного руху. Для цього попередньо проаналізовано низку методів і алгоритмів кластеризації даних і виокремлено особливості їхнього застосування. З'ясовано, що основними перевагами методів кластеризації даних на підставі їхньої щільності є можливість виявлення кластерів вільної форми різного розміру та стійкості до шуму та викидів. Однак до недоліків цих методів можна віднести високу чутливість до встановлення вхідних параметрів, не чіткий опис класів і непридатність для кластеризації даних великих розмірів. З'ясовано, що основною проблемою всіх алгоритмів кластеризації є їх масштабованість із збільшенням обсягу оброблених даних. Встановлено, що основними проблемами більшості з них є складність налаштування оптимальних вхідних параметрів (для алгоритмів щільності, сітки чи моделі), ідентифікація кластерів різної форми та щільності (алгоритми розподілу, алгоритми на підставі сітки), нечіткі критерії завершення (ієрархічний, розділовий та на підставі моделі). Оскільки процедура кластеризації є тільки одним із етапів оброблення даних системи загалом, обраний алгоритм повинен бути простим у використанні та простим для налаштування вхідних параметрів. Дослідження показують, що ієрархічні методи кластеризації містять ряд алгоритмів, придатних як для оброблення даних невеликого обсягу, так і для аналізу великих даних, що є актуальним у галузі соціальних мереж. На підставі виконаного аналізу даних, зібрано інформацію для заповнення розумного профілю користувача. Значну увагу приділено дослідженню асоціативних правил, на підставі чого запропоновано алгоритм для вилучення асоціативних правил, що дало змогу знаходити статистично значущі правила, а також шукати тільки залежності, визначені загальним набором вхідних даних, та має високу обчислювальну складність, якщо існує багато правил класифікації. Розроблено підхід, що орієнтований на створення та розуміння моделей поведінки користувачів, прогнозування майбутньої поведінки за допомогою створеного шаблону. Досліджено методи моделювання попереднього оброблення даних (кластеризація) та виявлено закономірності планування зустрічей друзів на підставі аналізу щоденного руху людей та їхніх друзів. Наведено методи створення та розуміння моделей поведінки користувачів, застосовано алгоритм k-means для групування користувачів, що дало змогу визначити, наскільки добре кожен об'єкт знаходиться у своєму кластері. Введено поняття правил асоціації, розроблено метод пошуку залежностей, оцінено точність моделі.

show abstract

“…The validity and relevance of data that is provided by the OLAP persistent layer for analysis are ensured in part by the architecture of that layer. The persistent layer architecture implies that information 1 Anatoly Zhirnov toluol_88@mail.ru Olga Kudryashova olgakudr@inbox.ru 1 Federal Research Center for Information and Computational Technologies (FRC ICT), Academician Lavrentiev avenue 6, Novosibirsk 630090, Russia consistency, coherency and chronological integrity is checked (e.g., Melnykova et al 2018). On the other hand, if we speak about factual and documentary information being gathered from publicly available sources on the Internet, it is important that its validity and relevance be assessed while searching for and loading it into a database.…”

Section: Introductionmentioning

confidence: 99%

Information validity problems in OLAP systems

Zhirnov¹,

Kharlampenkov²,

Kudryashova³

et al. 2023

Preprint

View full text Add to dashboard Cite

Here, we deal with the notion of information validity and relevance, and data source reliability as applied to the design, development and information updating in contemporary OLAP systems. Many up-to-date information systems employ a great many external data sources but the reliability of these sources and data validity therein raise doubts. In addition, the data is continually changed and updated from the old to the latest, which needs to be borne in mind. The problem is that there is no unified system for qualitative and quantitative assessment of information attributes such as degrees of relevance and validity, and data source reliability. On the other hand, there is an array of information attributes that can be the judge of relevance and validity. The present study aimed to elaborate approaches to assessing information relevance and validity, and data source reliability for an OLAP database system and propose units of measure, algorithms and computational methods for the same. The elaborated approaches will further be actualized as algorithms and programs as part of the OLAP database system under development.

show abstract

The New Approaches of Heterogeneous Data Consolidation

Cited by 11 publications

References 4 publications

On how to incorporate public sources of situational context in descriptive and predictive models of traffic data

On how to incorporate public sources of situational context in descriptive and predictive models of traffic data

Нові Методи Та Рішення Щодо Побудови Моделі Поведінки Користувачів

Information validity problems in OLAP systems

Contact Info

Product

Resources

About