Overview of COLIEE 2017

Kano, Yoshinobu; Kim, Miyoung; Goebel, Randy; Satoh, Ken

doi:10.29007/fm8f

Cited by 11 publications

(10 citation statements)

References 8 publications

(8 reference statements)

Supporting

Mentioning

Contrasting

Order By: Relevance

“…For the semantic matching case (1), it is difficult to select appropriate pairs ("adult" and "adult ward") for replacement to make such a semantic mismatch sentence. For both cases (3), it is also difficult to make the data and to use these data for negative examples to identify types of errors to judge the entailment results.…”

Section: Data Augmentation Using Articlesmentioning

confidence: 99%

“…We constructed 10 different training and validation sets to make different BERT models. In addition to the training data constructed from the original data, all augmented data (3,331 examples for the submission system) were merged with the training data. As a result, we used 3,956 examples for training and 70 for validation.…”

Section: Coliee 2021 Submission Systemmentioning

confidence: 99%

“…A legal textual entailment task is a task to check whether a given statement is entailed by the relevant law article(s) and is one of the oldest tasks in the Competition on Legal Information Extraction/Entailment (COLIEE) [3,4,11,12,16].…”

Section: Introductionmentioning

confidence: 99%

See 2 more Smart Citations

Data-Augmentation Method for BERT-based Legal Textual Entailment Systems in COLIEE Statute Law Task

Aoki

Yoshioka

Suzuki

2022

Rev Socionetwork Strat

View full text Add to dashboard Cite

A legal textual entailment task is a task to recognize entailment between a law article and its statements. In the Competition on Legal Information Extraction/Entailment (COLIEE), this task is designed as a task to confirm the entailment of a yes/no answer from the given civil code article(s). Based on the development of deep-learning-based natural language processing tools such as bidirectional encoder representations from transformers (BERT), many participants in the task used such tools, and the best performance system of COLIEE 2020 was a BERT-based system. However, because of the limitation of the size of training data provided by the task organizer, training such tools to adapt to the variability of the questions is difficult. In this paper, we propose a data-augmentation method to make training data using civil code articles for understanding the syntactic structure of the questions and articles for entailment. Our BERT-based ensemble system, which uses this augmentation method, achieves the best performance (accuracy = 0.7037) in Task 4 of COLIEE 2021. We also introduce the results of additional experiments to discuss the characteristics of the proposed method.

show abstract

Section: Data Augmentation Using Articlesmentioning

confidence: 99%

Section: Coliee 2021 Submission Systemmentioning

confidence: 99%

See 1 more Smart Citation

Data-Augmentation Method for BERT-based Legal Textual Entailment Systems in COLIEE Statute Law Task

Aoki

Yoshioka

Suzuki

2022

Rev Socionetwork Strat

View full text Add to dashboard Cite

show abstract

“…Instead, standalone sentences are provided to determine their entailment. It is also the case of existing shared tasks for legal information extraction, such as COLIEE (Kano et al, 2017), where one has to recognize entailment between articles and queries, as considered in the question answering problem. Obviously, the tasks aimed at retrieving documents consisting of multiple sentences, such as TREC legal track (Baron The aim of this task is to identify spans in the requested documents (referred to as target documents) representing clauses analogous to the spans selected in other documents (referred to as seed documents).…”

Section: Review Of Existing Datasetsmentioning

confidence: 99%

Contract Discovery: Dataset and a Few-Shot Semantic Retrieval Challenge with Competitive Baselines

Borchmann¹,

Wiśniewski²,

Gretkowski³

et al. 2020

Findings of the Association for Computational Linguistics: EMNLP 2020

View full text Add to dashboard Cite

We propose a new shared task of semantic retrieval from legal texts, in which a so-called contract discovery is to be performed-where legal clauses are extracted from documents, given a few examples of similar clauses from other legal acts. The task differs substantially from conventional NLI and shared tasks on legal information extraction (e.g., one has to identify text span instead of a single document, page, or paragraph). The specification of the proposed task is followed by an evaluation of multiple solutions within the unified framework proposed for this branch of methods. It is shown that state-of-the-art pretrained encoders fail to provide satisfactory results on the task proposed. In contrast, Language Model-based solutions perform better, especially when unsupervised fine-tuning is applied. Besides the ablation studies, we addressed questions regarding detection accuracy for relevant text fragments depending on the number of examples available. In addition to the dataset and reference results, LMs specialized in the legal domain were made publicly available.

show abstract

“…ir in the legal domain is widely connected with the Competition on Legal Information Extraction/Entailment (coliee). From 2015 to 2017 (Kim et al, 2015a(Kim et al, , 2016aKano et al, 2017) the task was to retrieve Japanese Civil Code articles given a question, while in coliee 2018 and 2019 (Kano et al, 2018;Rabelo et al, 2019) the task was to retrieve supporting cases given a short description of an unseen case. However, the texts of these competitions are short compared to our datasets.…”

Section: Related Workmentioning

confidence: 99%

Deep neural networks for information mining from legal texts

Χαλκίδης¹

View full text Add to dashboard Cite

Η επεξεργασία νομικού κειμένου (Ashley, 2017) είναι ένας αναπτυσσόμενος τομέας έρευνας όπου οι τεχνικές επεξεργασίας φυσικής γλώσσας (NLP) εφαρμόζονται στον νομικό τομέα. Υπάρχουν πολλές εφαρμογές όπως η τμηματοποίηση νομικού κειμένου (Mencia, 2009; Hasan et al., 2008), η κατηγοριοποίηση εγγράφων σε νομικά θέματα (Mencia and Fürnkranzand, 2007; Nallapati and Manning, 2008), η πρόβλεψη και ανάλυση δικαστικών αποφάσεων (Wang et al. 2012; Aletras et al., 2016), η εξαγωγή νομικών πληροφοριών (Kiyavitskaya et al., 2008; Dozier et al., 2010; Asooja et al., 2015) και η νομική ανάκτηση πληροφορίας (Kim et al., 2015b, 2016b). Αυτές οι εφαρμογές και οι σχετικές τεχνικές NLP προέρχονται από τρεις κύριους υποτομείς: τη νομοθεσία, τις δικαστικές υποθέσεις και τις νομικές συμβάσεις (contracts). Και στους τρεις υποτομείς, τα έγγραφα είναι πολύ μεγαλύτερα από ό, τι στις περισσότερες άλλες σύγχρονες εφαρμογές NLP. Έχουν επίσης διαφορετικά χαρακτηριστικά σχετικά με τη χρήση της γλώσσας, τον τρόπο γραφής και τη δομή τους, σε σύγκριση με μη νομικό κείμενο. Δεδομένης της ταχείας ανάπτυξης τεχνολογιών βαθιάς μάθησης (Goodfellow et al., 2016; Goldberg, 2017), ο στόχος αυτής της διατριβής είναι να διερευνήσει και να αναπτύξει μεθόδους βαθιάς μάθησης για νομικές εφαρμογές, όπως εξαγωγή πληροφοριών και υποχρεώσεων από συμβάσεις, πρόβλεψη νομικής κρίσης, νομική κατηγοριοποίηση και ανάκτηση πληροφοριών, που έχουν ήδη συζητηθεί στη βιβλιογραφία (αλλά όχι στο πλαίσιο της βαθιάς μάθησης) ή που εξετάστηκαν για πρώτη φορά κατά τη διάρκεια της εργασίας αυτής της διατριβής. Σε αυτήν την κατεύθυνση, στοχεύουμε να απαντήσουμε δύο βασικά ερευνητικά ερωτήματα: Πρώτα απ 'όλα σχετικά με την προσαρμοστικότητα των μεθόδων, οι οποίες βασίζονται σε νευρωνικά δίκτυα και έχουν προταθεί για συναφή εφαρμογές NLP σε άλλους τομείς και τον τρόπο με τον οποίο επηρεάζονται από τη νομική γλώσσα, τη γραφή και τη δομή. Και δεύτερον σχετικά με την παροχή εξηγήσεων για τις αποφάσεις (προβλέψεις) των νευρωνικών δικτύων. Λαμβάνοντας υπόψη το πρώτο ερευνητικό ερώτημα επισημαίνουμε πολλές περιπτώσεις, όπου είτε η νομική γλώσσα επηρεάζει την απόδοση ενός μοντέλου, είτε απαιτείται κατάλληλη μοντελοποίηση επί της δομή του εγγράφου. Για τον σκοπό αυτό, προ-εκπαιδεύουμε και χρησιμοποιούμε αναπαραστάσεις λέξεων και γλωσσικά μοντέλα, τα οποία είναι εξειδικευμένα για την νομική γλώσσα, ενώ προτείνουμε επίσης νέες μεθόδους με καλύτερες επιδόσεις. Όσον αφορά την επεξήγηση των αποφάσεων, αρχικά πειραματιζόμαστε με γραφήματα προσοχής (attention heatmaps) και επισημαίνουμε τους περιορισμούς τους ως μέσο για την εξήγηση των αποφάσεων ενός μοντέλου, ιδιαίτερα στην πρόβλεψης δικαστικών αποφάσεων, όπου είναι πιο σημαντικό. Για να ξεπεράσουμε αυτούς τους περιορισμούς, μελετάμε περαιτέρω τις τεχνικές εξαγωγής ερμηνειών ως εξέχουσα μεθοδολογία για την επεξήγηση των αποφάσεων ενός μοντέλου. Ελλείψει δημόσια διαθέσιμων επισημειωμένων συνόλων δεδομένων για να πειραματιστούμε με μεθόδους βαθίας μάθησης, επιμελούμε και δημοσιεύουμε πέντε σύνολα δεδομένων για διάφορες νομικές εφαρμογές (εξαγωγή στοιχείων σύμβασης, κατηγοριοποίηση εγγράφων σε νομικά θέματα, πρόβλεψη νομικής κρίσης και εξαγωγή ερμηνειών, και ανάκτηση νομικών πληροφοριών), ενώ δημοσιεύουμε επίσης νομικές αναπαραστάσεις λέξεων και ένα νομικό προ-εκπαιδευμένο γλωσσικό μοντέλο για να βοηθήσουμε την έρευνα και ανάπτυξη της νομικής επεξεργασίας κειμένου. Θεωρούμε τη δουλειά μας, ένα πρώτο, θεμελιώδες, βήμα μεταξύ άλλων πρόσφατων προσπαθειών, προς τη βελτίωση της κατανόησης της νομικής γλώσσας χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης, η οποία προωθεί περαιτέρω την προσαρμογή των νέων τεχνολογιών και ρίχνει φως στον αναδυόμενο τομέα της νομικής επεξεργασία κειμένου.

show abstract

Overview of COLIEE 2017

Cited by 11 publications

References 8 publications

Data-Augmentation Method for BERT-based Legal Textual Entailment Systems in COLIEE Statute Law Task

Data-Augmentation Method for BERT-based Legal Textual Entailment Systems in COLIEE Statute Law Task

Contract Discovery: Dataset and a Few-Shot Semantic Retrieval Challenge with Competitive Baselines

Deep neural networks for information mining from legal texts

Contact Info

Product

Resources

About