Towards Visual Vocabulary and Ontology-based Image Retrieval System

Abstract

Abstract:Several approaches have been introduced in image retrieval field. However, many limitations, such as the semantic gap, still exist. As our motivation is to improve image retrieval accuracy, this paper presents an image retrieval system based on visual vocabulary and ontology. We propose, for every query image, to build visual vocabulary and ontology based on images annotations. Image retrieval process is performed by integrating both visual and semantic features and similarities.

A Model of Semantic-Based Image Retrieval Using C-Tree and Neighbor Graph

“…Jalila Filali et al (2017) proposed to build ontology based on visual annotations of the ImageCLEF dataset. The image retrieval process is accomplished by integrating both low-level features and visual semantic similarity.…”

Tìm kiếm ảnh dựa vào Ontology

“…Ontology là một mô hình dữ liệu có thể biểu diễn một cách rõ ràng các khái niệm và các mối quan hệ khác nhau giữa các khái niệm. Do các tính năng định hướng máy tính và dựa trên logic, kỹ thuật Ontology đã được áp dụng rộng rãi cho mô hình hóa và phân tích thông tin như tích hợp ngữ nghĩa của cơ sở dữ liệu không đồng nhất, truy xuất và quản lý thông tin hình ảnh [8,21]. Vì vậy, nhiều nghiên cứu nhằm tìm kiếm ngữ nghĩa ảnh trên Ontology được quan tâm như: khung khái niệm dựa trên Ontology để truy xuất hình ảnh của các hiện vật bảo tàng [21], nhận diện rủi ro trong xây dựng dựa vào ngữ nghĩa hình ảnh trên Ontology [28], sử dụng Ontology của hệ thống tim mạch của con người để cải thiện việc phân loại các hình ảnh mô học [16].…”

“…Nhiều công trình nghiên cứu về Ontology cho mục đích phân tích ngữ nghĩa, chú thích và tìm kiếm ngữ nghĩa ảnh. Phương pháp tìm kiếm ảnh dựa trên Ontology đã được đề xuất theo hai hướng chính bao gồm: tìm kiếm ảnh trên Ontology dựa trên văn bản đầu vào [5,17,23] và tìm kiếm ảnh dựa trên ảnh đầu vào [8,15] nhằm liên kết các đặc trưng cấp thấp và ngữ nghĩa cấp cao của ảnh trên Ontology.…”

“…Quá trình tìm kiếm hình ảnh phụ thuộc vào việc phân tích văn phạm của chú thích để tạo thành các từ khóa mô tả nội dung hình ảnh, tuy nhiên chưa thực hiện phân lớp nội dung hình ảnh từ các đặc trưng cấp thấp để tạo các từ khóa nhằm thực hiện tìm kiếm trên Ontology. Ontology [8] trình bày một hệ thống tìm kiếm hình ảnh dựa trên từ vựng thị giác và Ontology. Đề xuất cho mọi hình ảnh tìm kiếm, xây dựng từ vựng thị giác và Ontology dựa trên các chú thích hình ảnh.…”

“…Tập ảnh xây dựng Ontology là nhỏ, tính kế thừa và khả năng mở rộng chưa được thể hiện trong bài báo. Nhóm nghiên cứuFilali J. (2016)…”