A Theoretical and Experimental Comparison of Filter-Based Equijoins in MapReduce

Abstract

Abstract. MapReduce has become an increasingly popular framework for large-scale data processing. However, complex operations such as joins are quite expensive and require sophisticated techniques. In this paper, we review state-of-the-art strategies for joining several relations in a MapReduce environment and study their extension with filter-based approaches. The general objective of filters is to eliminate non-matching data as early as possible in order to reduce the I/O, communication and CPU costs. We examine the impact of systematically adding filters as early as possible in MapReduce join algorithms, both analytically with cost models and practically with evaluations. The study covers binary joins, multi-way joins and recursive joins, and addresses the case of large inputs that gives rise to the most intricate challenges.

Tối Ưu Hóa Join Đệ Quy Trên Tập Dữ Liệu Lớn Trong Môi Trường Spark

“…Join thường được sử dụng trong các câu truy vấn dữ liệu tiêu biểu với chi phí và độ phức tạp lớn. Các dạng Join có thể là Join hai chiều (two-way join), Join đa chiều (multi-way join) [13], Join chuỗi (chain join) [14] và Join đệ quy (recursive join) [15][16][17]. Các truy vấn Join trên các tập dữ liệu càng trở nên phức tạp trong ngữ cảnh Big Data.…”

“…Câu truy vấn Join đệ quy của một quan hệ cũng được xem như là một câu truy vấn bao đóng bắc cầu của quan hệ đó [17]. Trên thực tế, đã có rất nhiều thuật toán được thiết kế để tính bao đóng bắc cầu của một quan hệ trong cơ sở dữ liệu truyền thống như Naive [24], Semi-naive [1][2][3], Smart [27,28], Minimal evaluations [28], Warshall [30] và Warren [31].…”

“…Bộ lọc Bloom giao (Intersection Bloom Filter, IBF) đã được nhóm đề xuất trong nghiên cứu [17,41]. IBF là một cấu trúc dữ liệu xác suất được thiết kế để biểu diễn phần giao của hai tập hợp và được sử dụng để nhận ra những phần tử chung của các tập hợp với một xác suất dương tính giả (false positive).…”

“…Từ kết quả đã được chứng minh trong nghiên cứu của chúng tôi [17,41], xác xuất phần giao sai cho 3 tiếp cận được định nghĩa như sau:…”

“…Giải thuật này sẽ dùng bộ lọc Bloom giao để lọc trên cả hai tập dữ liệu nhằm loại bỏ hầu hết những phần tử không tham gia vào Join và giảm đáng kể các chi phí liên quan. Nó đã được chứng minh là hiệu quả hơn so với các thuật giải thuật Join khác [17]. Chính vì vậy mà giải thuật Intersection Bloom Join sẽ là giải thuật chính được sử dụng cho Join đệ quy của nghiên cứu này.…”