Efficient Algorithms for Mining Inclusion Dependencies

Marchi, Fabien De; Lopes, Stéphane; Petit, Jean-Marc

doi:10.1007/3-540-45876-x_30

Cited by 48 publications

(35 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…A frequent real-world use-case of multi-column profiling is the discovery of foreign keys [96,123] with the help of inclusion dependencies [14,100]. An inclusion dependency states that all values or value combinations from one set of columns also appear in the other set of columns-a prerequisite for a foreign key.…”

Section: Dependenciesmentioning

confidence: 99%

Profiling relational data: a survey

Abedjan¹,

2015

View full text Add to dashboard Cite

Profiling data to determine metadata about a given dataset is an important and frequent activity of any IT professional and researcher and is necessary for various use-cases. It encompasses a vast array of methods to examine datasets and produce metadata. Among the simpler results are statistics, such as the number of null values and distinct values in a column, its data type, or the most frequent patterns of its data values. Metadata that are more difficult to compute involve multiple columns, namely correlations, unique column combinations, functional dependencies, and inclusion dependencies. Further techniques detect conditional properties of the dataset at hand. This survey provides a classification of data profiling tasks and comprehensively reviews the state of the art for each class. In addition, we review data profiling tools and systems from research and industry. We conclude with an outlook on the future of data profiling beyond traditional profiling tasks and beyond relational databases.

show abstract

Section: Dependenciesmentioning

confidence: 99%

Profiling relational data: a survey

Abedjan¹,

2015

View full text Add to dashboard Cite

show abstract

“…Представленный алгоритм является полным аналогом алгоритма поиска избыточных функциональных зависимостей. В работах [11][12][13][14] представле-ны различные алгоритмы поиска зависимостей включения, основанные на исполь-зовании свойств схемы БД, анализе данных и обработке входящих запросов. Все эти алгоритмы не гарантируют корректность и полноту обнаружения зависимостей включения, но позволяют частично автоматизировать этот процесс.…”

Section: обзор результатовunclassified

Analysis of Typed Inclusion Dependencies with Null Values

Zykin¹,

Зыкин²

2017

Model. anal. inf. sist.

View full text Add to dashboard Cite

Анализ типизированных зависимостей включения с неопределенными значениями Зыкин В. С., Зыкин С. В. получена 24 августа 2016Аннотация. Неопределенные значения стали актуальной проблемой с момента создания ре-ляционной модели данных. Влияние неопределенностей сказывается на всех видах зависимостей, используемых при проектировании и эксплуатации базы данных. В полной мере это относится и к зависимостям включения, которые являются теоретической основой ссылочной целостности на данные. Попытки решения указанной проблемы содержат неточности как в постановке задачи, так и в самом ее решении. К постановочным ошибкам можно отнести использование в определе-нии нетипизированных зависимостей включения, что приводит к перестановкам атрибутов, хотя в технологиях баз данных атрибуты идентифицируются по имени, а не по их позиции. Кроме того, связывание зависимостью включения разнородных, пусть даже однотипных, атрибутов является признаком потерянной функциональной зависимости и приводит к взаимодействию нетривиаль-ных зависимостей включения и функциональных зависимостей. Зависимости включения должны определять количественное соотнесение объектов друг с другом, а не значений атрибутов. Неточ-ности в решении указанной проблемы содержатся в формулировках аксиом и доказательстве их свойств, в том числе полноты. В этой статье предлагается оригинальное решение этой пробле-мы только для типизированных зависимостей включения при наличии неопределенных значений: предложена система аксиом, доказана ее полнота и непротиворечивость. На основе правил вы-вода разработан алгоритм построения не избыточного множества типизированных зависимостей включения. Доказана корректность этого алгоритма.Ключевые слова: база данных, зависимости включения, аксиоматика, неопределенные значе-ния Для цитирования: Зыкин В. С., Зыкин С. В., "Анализ типизированных зависимостей включения с неопределен-ными значениями", Моделирование и анализ информационных систем, 24:2 (2017), 155-167. Об авторах:Зыкин Владимир Сергеевич, orcid.org/0000-0002-6492-2464, аспирант, Омский государственный технический университет, просп. Мира, 11, г. Омск, 644050 Россия, e-mail: vszykin@mail.ru Зыкин Сергей Владимирович, orcid.org/0000-0002-0576-2149, д-р техн. наук, профессор, Институт математики им. С.Л. Соболева СО РАН, ул. Певцова, 13, г. Омск, 644043 Россия, e-mail: szykin@mail.ru ВведениеЦелостность базы данных (database integrity) -соответствие имеющейся в базе дан-ных (БД) информации логике соответствующей прикладной области. Ссылочные ограничения целостности на данные (referential integrity) являются одним из основ-ных видов ограничений, которые позволяют сохранить структурную целостность Vol. 24, No 2 (2017) БД. В большинстве существующих систем управления базами данных (СУБД) под-держивается такой вид ограничений, и задаются эти ограничения в виде связей (relationship) на схеме БД.155 156 Моделирование и анализ информационных систем. Т. 24, № 2 (2017) Modeling and Analysis of Information Systems.Теоретической основой ссылочных ограничений являются зависимости включе-ния и...

show abstract

“…The most frequent real-world use-case is the discovery of foreign keys [30,41] with the help of inclusion dependencies [6,33]. Current data profiling tools often avoid checking all combinations of columns, but rather ask the user to suggest a candidate key/foreign-key pair to verify.…”

Section: State Of the Artmentioning

confidence: 99%

Data profiling revisited

Naumann

2014

SIGMOD Rec.

126

View full text Add to dashboard Cite

Data profiling comprises a broad range of methods to efficiently analyze a given data set. In a typical scenario, which mirrors the capabilities of commercial data profiling tools, tables of a relational database are scanned to derive metadata, such as data types and value patterns, completeness and uniqueness of columns, keys and foreign keys, and occasionally functional dependencies and association rules. Individual research projects have proposed several additional profiling tasks, such as the discovery of inclusion dependencies or conditional functional dependencies.Data profiling deserves a fresh look for two reasons: First, the area itself is neither established nor defined in any principled way, despite significant research activity on individual parts in the past. Second, more and more data beyond the traditional relational databases are being created and beg to be profiled. The article proposes new research directions and challenges, including interactive and incremental profiling and profiling heterogeneous and non-relational data.

show abstract

Efficient Algorithms for Mining Inclusion Dependencies

Cited by 48 publications

References 15 publications

Profiling relational data: a survey

Profiling relational data: a survey

Analysis of Typed Inclusion Dependencies with Null Values

Data profiling revisited

Contact Info

Product

Resources

About