Комбіновані методи ідентифікації неповних дублікатів у наукових публікаціях

Abstract

Розглянуто розпізнавання неповних дублікатів зображень та таблиць. З метою розпізнавання графічних даних (для класифікації та стиснення зображень) використовується вейвлет-аналіз з набором класичних характеристичних функцій: вейвлети Морле і Хаара, вейвлет мексиканський капелюх тощо. Застосовуються також особливі види фільтрів, що будуються на основі так званих риджлет-, курвлет-та бимлет-перетворень. Розглянуто основні класичні методи кластеризації колекції зображень, що можуть бути використані для пошуку неповних дублікатів у графічнихданих електронних документів. Проаналізовано метод Гарріса, який дає змогу визначати опорні точки зображень за рахунок вимірювання інтенсивності яскравості зображення. Також проаналізовано технологію SIFT (масштабно-інваріантне перетворення ознак), яка є потужним засобом формування системи інваріантних структурних ознак, розглянуто ще один клас методів, які вирізняються простотою реалізації та застосування для виявлення неповних дублікатів зображень –хеш-методи. Описано, що для RGB-зображення існує три таких сигнали: яскравість у каналах Red, Green та Blue. В обробці сигналів і суміжних галузей перетворення Фур'є зазвичай розглядається декомпозиція сигналу на частоти та амплітуди. Розглянуто метод виявлення контекстно-залежних значень та індексації текстових даних, який допомагає знаходити неповні дублікати в таблицях з урахуванням текстового і числового представлення даних. Аналогічно за описаним методом можна провести індексацію даних числового і текстового типів, якщо вони розміщуються не в таблиці, а всередині контенту електронного документа. Результати дослідження використовуються в комплексі із системою виявлення неповних дублікатів у наукових документах, зокрема дисертаціях на здобуття наукового ступеня