Evaluation of Diversification Techniques for Legal Information Retrieval

Abstract

"Public legal information from all countries and international institutions is part of the common heritage of humanity. Maximizing access to this information promotes justice and the rule of law". In accordance with the aforementioned declaration on free access to law by legal information institutes of the world, a plethora of legal information is available through the Internet, while the provision of legal information has never before been easier. Given that law is accessed by a much wider group of people, the majority of whom are not legally trained or qualified, diversification techniques should be employed in the context of legal information retrieval, as to increase user satisfaction. We address the diversification of results in legal search by adopting several state of the art methods from the web search, network analysis and text summarization domains. We provide an exhaustive evaluation of the methods, using a standard dataset from the common law domain that we objectively annotated with relevance judgments for this purpose. Our results: (i) reveal that users receive broader insights across the results they get from a legal information retrieval system; (ii) demonstrate that web search diversification techniques outperform other approaches (e.g., summarization-based, graph-based methods) in the context of legal diversification; and (iii) offer balance boundaries between reinforcing relevant documents or sampling the information space around the legal query.

Network analysis in the legal domain: a complex model for European Union legal sources

“…Finally, our modelling approach can be used to improve the effectiveness of legal information retrieval systems [57]. Our hypothesis is that the Legislation Network can be exploited for text retrieval, in the same manner as hyperlink graphs on the Web.…”

Solon: A Holistic Approach for Modelling, Managing and Mining Legal Sources

“…Additionally, as a means of improving user satisfaction by increasing the variety of information shown to user, we also employ search result diversification methods. In our previous works [24][25][26] we originally introduced the concept of diversifying legal information search results, we analysed the impact of various legal sources features in computing the query-document relevance and document-document similarity scores, we introduced legal domain-specific diversification criteria and performed an exhaustive evaluation of several state of the art methods from the web search, network analysis and text summarization domains. In Solon's information retrieval component, alongside the default ranking process, we offer alternative ranking models, based on diversification techniques, demonstrating notable improvements in terms of enriching search results with otherwise hidden aspects of the legal query space.…”

“…Based upon the initial feedback, we are preparing an on line survey as to qualitative and quantitative assess provided services, as perceived by end users. Individual methods and components of our platform have been extensively evaluated seperetaly [8,25,26], but we also plan on a more refined technical evaluation of the platform.…”

Μοντελοποίηση, Ανάλυση Και Διαφοροποιημένη Ανάκτηση Νομικής Πληροφορίας

“…Επιπλέον, χρησιμοποιούμε μεθόδους διαφοροποιημένης ανάκτησης αποτελεσμάτων αναζήτησης, ως μέσο βελτίωσης της ικανοποίησης των χρηστών, αυξάνοντας την ποικιλία των πληροφοριών που εμφανίζονται στον χρήστη. Σε προηγούμενες εργασίες μας, [72,73,74], που παρουσιάζονται στο Κεφάλαιο 4, αρχικά εισάγαμε την έννοια της διαφοροποίησης των αποτελεσμάτων αναζήτησης νομικής πληροφορίας, αναλύσαμε τον αντίκτυπο των διαφόρων χαρακτηριστικών των νομικών πηγών στον υπολογισμό των τιμών ομοιότητας ερωτήματοςεγγράφου και εγγράφου-εγγράφου, προτείναμε ειδικά κριτήρια διαφοροποίησης για το συγκεκριμένο τομέα και διεξήγαγε μια εξαντλητική αξιολόγηση διαφόρων δημοφιλών μεθόδων από τις περιοχές διαφοροποίησης αποτελεσμάτων αναζήτησης, ανάκτησης πληροφορίας σε γράφους και περίληψης κειμένων. Στο υποσύστημα ανάκτησης πληροφοριών του Solon, παράλληλα με την προεπιλεγμένη διαδικασία κατάταξης, προσφέρουμε εναλλακτικά μοντέλα κατάταξης βασισμένα σε τεχνικές διαφοροποίησης, επιδεικνύοντας αξιοσημείωτες βελτιώσεις όσον αφορά τον εμπλουτισμό των αποτελεσμάτων αναζήτησης με αλλιώς κρυφές πτυχές του νομικού χώρου του ερωτήματος.…”

“…Με βάση την αρχική ανατροφοδότηση, προετοιμάζουμε μια on line έρευνα για την ποσοτική και ποιοτική αξιολόγηση των παρεχόμενων υπηρεσιών, όπως την εκλαμβάνουν οι τελικοί χρήστες. Μεμονωμένες μέθοδοι και στοιχεία της πλατφόρμας μας έχουν αξιολογηθεί εκτενώς [78,73,74], αλλά σχεδιάζουμε επίσης μια ολοκληρωμένη τεχνική αξιολόγηση της πλατφόρμας συνολικά.…”