Міністерство освіти і науки України
Національний університет "Львівська політехніка"
КЛЮВАК АНДРІЙ ВОЛОДИМИРОВИЧ
УДК 004.896; 004.932
МЕТОДИ УСУНЕННЯ ЛОКАЛЬНИХ СПОТВОРЕНЬ ЗОБРАЖЕНЬ
05.13.23 – Системи та засоби штучного інтелекту
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Львів 2013
Дисертацією є рукопис
Робота виконана у Національному університеті "Львівська політехніка"
Міністерство освіти і науки України
Науковий керівник:
доктор технічних наук, доцент
Пелешко Дмитро Дмитрович,
Національний університет "Львівська політехніка"
професор кафедри інформаційних технологій
видавничої справи
Офіційні опоненти:
доктор технічних наук, с.н.с.
Винокурова Олена Анатоліївна,
Харківський національний університет радіоелектроніки,
провідний науковий співробітник Проблемної
науково-дослідної лабораторії АСУ;
кандидат технічних наук, доцент
Повхан Ігор Федорович,
ДВНЗ «Ужгородський національний університет»,
доцент кафедри програмного забезпечення систем.
Захист відбудеться "29" листопада 2013 р. о 1400 год. на засіданні спеціалізованої вченої ради Д35.052.14 у Національному університеті "Львівська політехніка" (79013, м. Львів, вул. Степана Бандери 28а, ауд. 807, V корпус).
З дисертацією можна ознайомитися у бібліотеці Національного університету "Львівська політехніка" (79013, м. Львів, вул. Професорська 1).
Автореферат розіслано "25" жовтня 2013р.
Учений секретар
спеціалізованої вченої ради,
кандидат технічних наук, доцент Батюк А.Є.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. Інтенсивний розвиток систем штучного інтелекту стимулює потребу у розробці нових методів попереднього опрацювання сигналів, у тому числі і зображень. Це зумовлено виникненням нових задач і висуненням принципово інших вимог до якості рішень вже існуючих. Однією із важливих задач попереднього опрацювання зображень є нівелювання спотворень, які виникають внаслідок різних причин. До цих причин відносяться розфокусування оптичних систем пристроїв реєстрування зображень, шум світлочутливих матриць цих пристроїв, надлишок чи недостатність освітлення, рух при експонуванні тощо. Щодо останньої причини, то рух може спотворити зображення дуже по-різному залежно від виду та природи походження цього руху. Спотворення внаслідок руху можуть виникати у випадках переміщення: камери при нерухомій сцені, одного чи декількох об’єктів при рухомій камері, одного чи декількох об’єктів при нерухомій камері, камери при слідкуванні за рухомим об’єктом. Два останні випадки є відносно менше досліджені, тому саме на них зосереджена увага в даному дисертаційному дослідженні. В обох цих випадках зображення зазнає локального спотворення рухом, на відміну від першого варіанту, де спотворення є повним, тобто на усю поверхню зображення, та рівномірним. Рівномірність спотворення означає, що воно реалізовується за однаковим законом для кожного пікселя зображення. Локальні, або часткові спотворення означають, що спотворення зазнає лише частина поверхні зображення. Значення функції яскравості у решті пікселів зображення не зазнає реконструктивних впливів.
У випадку руху окремого об’єкта його зображення буде спотворене, а навколишній фон залишиться без змін. При цьому краї рухомого об’єкта частково накладуться на пікселі фону, утворюючи буферну зону інтегральних значень функції яскравості. У іншому випаду – слідкуванні камери за рухомим об’єктом – буде спостерігатись протилежна картина: неспотворене зображення об’єкта буде оточене спотвореним фоном.
На відміну від повних спотворень, параметри яких є однакові для усієї площини зображення, обробка локальних спотворень довгий час залишалась поза широкою увагою в наукових дослідженнях. Так питанню реконструкції рівномірно спотворених зображень приділено достатньо уваги ще з середини минулого століття. Отримані результати є достатньо значимими, а методи та алгоритми сліпої та не сліпої розгортки (відомої також як деконволюція чи обернена згортка), наприклад, алгоритми Віннера та Люсі-Річардсона стали класичними і широко використовуються у системах цифрової обробки зображень. Достатньо ефективні результати демонструють сучасні алгоритми деконволюції зображень, спотворених рухом камери при незмінній сцені, наприклад ітеративний алгоритм Ці Шана або алгоритм сліпої розгортки Фергюса.
У випадку локальних спотворень, зокрема тих, що виникають внаслідок руху окремого елемента сцени при нерухомій камері, достатньо якісних результатів поки що не отримано. Це пояснюється складністю процедур виділення контурів рухомого об’єкта, обчислення параметрів його руху, тобто ФРТ (функції розсіяння точки), виконання розгортки з умовою мінімізації впливів на фон і ін. Але головна проблема полягає у необхідності розмежувати перед операцією розгортки ділянки зображення, які одночасно належать рухомому об’єкту і фону. Тут не можна застосувати єдиний підхід до усієї площини зображення. Навіть незначні похибки при опрацюванні такого зображення можуть призвести до ще більшого спотворення зображення замість його покращення: спотворені та неспотворені ділянки зображення при класичному підході сприятимуть спотворенню одне одного.
Дослідження процесу утворення локальних спотворень цифрових зображень і виділення його властивостей може бути підґрунтям побудови алгоритмів реконструкції зображень після усунення змазів, які виникають при експонуванні кадрів. А самі реалізації алгоритмів усунення локальних спотворень можуть використовуватись на етапах попереднього опрацювання зображень при інтелектуальному аналізі даних в системах штучного інтелекту.
Тому є актуальною наукова задача дослідження процесу формування локальних спотворень зображень, які виникають внаслідок руху камери або об’єктів при нерухомій камері, та розробки методів усунення таких спотворень і реконструкції спотворених зображень.
Зв’язок роботи з науковими програмами, планами, темами. Робота виконана в рамках навчальних та науково-дослідних робіт кафедр інформаційних технологій видавничої справи та автоматизованих систем управління Національного університету "Львівська політехніка", зокрема за держбюджетною темою “Розвиток теорії синтезу нейронних мереж на НВІС-структурах для обробки сигналів в робототехнічних системах” (0112U001204).
Метою дисертаційного дослідження є розробка методів усунення локальних спотворень зображень, спричинених динамікою об’єктів уваги або рухом пристрою реєстрації.
Для досягнення поставленої мети необхідно вирішити такі завдання:
-
Дослідити механізм утворення спотворень зображень, які виникли внаслідок руху окремих об’єктів чи пристроїв реєстрації, провести аналіз існуючих методів усунення повних та локальних змазів.
-
Модифікувати метод виділення контурів спотворених ділянок зображення з використанням статистки змазу.
-
Розробити метод визначення траєкторії спотворювального руху.
-
Розробити метод визначення функції розсіяння точки спотворених ділянок зображення.
-
Розробити метод відновлення локально спотворених зображень для випадку руху пристрою реєстрації.
-
Розробити метод відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
-
Розробити програмну реалізацію розроблених методів усунення локальних спотворень зображень.
Об'єктом дослідження є процес спотворень цифрових зображень.
Предмет дослідження – цифрові зображення, які зазнали локальних динамічних спотворень.
Методи дослідження. Результати дисертаційних досліджень отримані з використанням елементів теорії інтелектуального аналізу даних, представлення знань, методів цифрової обробки сигналів та зображень, дискретної математики, алгебри і топології, математичної морфології та теорії алґоритмів і програмування. Зокрема обробка вхідних зображень проводилась з застосуванням операцій дискретної математики, методи операційного числення та математичної морфології використовувались в методі детектування зони спотворення.
Наукова новизна. На основі виконаних теоретичних та експериментальних досліджень отримано такі нові результати:
Вперше розроблено:
-
метод визначення траєкторії спотворювального руху на основі дослідження закономірностей в розподілі флуктуацій функції інтенсивності, що дало можливість оцінювати траєкторію без апріорних припущень;
-
метод визначення функції розсіяння точки на основі характеристик траєкторії руху, який спричинив повне або часткове спотворення зображення, що дозволило з більшою точністю визначати функцію розсіяння точки спотвореного зображення;
-
метод заповнення прогалин на місцях вилучених фрагментів шляхом інтегрування зображення, який зробив можливим відновлення локально спотворених зображень для випадку руху пристрою реєстрації;
-
метод заміни фону рухомого об’єкта, який зробив можливим відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
Удосконалено:
-
метод несліпої деконволюції спотворених рухом зображень, шляхом застосування двостороннього та чотиристороннього віддзеркалення, що призвело до суттєвого зменшення проявів «ефекту дзвону».
Отримала подальший розвиток:
-
технологія виділення контурів спотворених рухом ділянок зображення шляхом використання інформації про характер спотворення, що дозволило з більшою точністю проводити реконструкцію зображень.
Практична цінність одержаних результатів. Розв’язання сформульованих завдань стало основою побудови алгоритмів реконструкції зображень, спотворених рухом. При цьому частина результатів може бути використана не лише для випадку локальних, а й для випадку повних (глобальних) спотворень.
Використання розробленого методу оцінки функції розсіяння точки спотвореного зображення дозволяє підвищити точність її оцінки. При проведенні експериментів на основі синтетичних даних, при порівнянні з дійсною функцією розсіяння точки, визначено, що застосування цього методу дало можливість отримати результати у середньому на 26% точніші у порівнянні з класичним методом сліпої розгортки.
Метод оцінки функції розсіяння точки може застосовуватись окремо як складова частина програмних систем обробки зображень, а також в системах штучного інтелекту для визначення траєкторії та рівномірності руху, зафіксованого на зображенні. Визначальною характеристикою методу є те, що він дозволяє отримувати траєкторію з окремого зображення, а не з послідовності кадрів (відео), що властиво методам відслідковування руху об’єктів. Це сприяє розширенню області застосування даного методу.
Підходи до розгортки на основі дзеркального відображення можуть використовуватись для реконструкції зображень з мінімумом артефактів т.зв. «ефекту дзвона» для зображень як повного, так і часткового спотворення. Чисельним критерієм якості усунення цих артефактів обрано величину ентропії. В процесі експериментальних досліджень виявлено, що зменшення ентропії при реконструкції одного і того ж зображення при застосуванні повностороннього віддзеркалення в середньому становить 1,04%.
Отриманий результат є цінним для систем обробки зображень ще й тому, що якість реконструкції зображення є незалежною від типу спотворення: позитивний вплив спостерігається як для зображень, спотворених рухом, так і для зображень, що були спотворені внаслідок розфокусування оптичної системи пристрою реєстрування.
Серед практичних результатів дисертаційного дослідження треба ще відзначити доведення твердження про інваріантність чорного фону при операції згортки та розроблений метод штучного перенесення спотвореної ділянки зображення на чорний фон. Їх практична цінність для систем обробки зображень полягає у можливості конструювання алгоритмів штучної заміни фону під напівпрозорою зоною сліду об’єкта, який рухається із великою швидкістю. Більше того, з’являється можливість практично повністю усунути прояви «ефекту дзвону» при реконструкції спотворених ділянок зображень, що, у свою чергу, може виступати основою для подальших розробок в напрямку покращення реконструктивних технологій.
Метод автоматизованої оцінки контурів спотворених областей та заповнення прогалин можуть використовуватись для розділення та відокремленої обробки спотворених областей зображення, а також для автоматизованого детектування руху та виділення зображення рухомого об’єкта для подальшої обробки та розпізнавання.
Розроблені на основі отриманих методів алгоритми були реалізовані в середовищі MATLAB і можуть бути використані як складові частини комп’ютерних систем попередньої обробки зображень.
Особистий внесок здобувача. В публікаціях, написаних у співавторстві, дисертантові належать: метод динамічного оновлення моделі фону послідовності зображень [6, 12], метод розрахунку флуктуацій градієнтів для оцінки траєкторії спотворювального руху [2, 5, 13], метод оцінки функції розсіяння точки спотвореного зображення [3, 9], спосіб оцінки рівномірності розподілу кольорів по траєкторії руху [10], метод заміни кольору фону буферних зон змазів та концепція усунення локального спотворення від руху окремих об’єктів [1, 7], метод розгортки з чотиристороннім віддзеркаленням та застосування оцінки функції розсіяння точки для відновлення зображення, локально спотвореного рухом камери [4, 11], метод оцінки зони змазу шляхом застосування перетворення Фур’є [8].
Публікації. За результатами дисертаційних досліджень опубліковано 13 друкованих праць, серед них 6 статей у наукових фахових виданнях України та 7 публікацій у збірниках праць конференцій. Результати досліджень зафіксовані свідоцтвом про авторське право на комп'ютерну програму.
Апробація результатів дисертації. Основні положення дисертації обговорювались на 7 науково-технічних міжнародних конференціях, зокрема:
-
The Vth International Scientific аnd Technical Conference [“Computer Science and Information Technologies” (CSIT 2010)], (Lviv, October 14-16, 2010) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2010.
-
The XIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2011)], (Polyana, Ukraine , February 23-25, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
-
The VIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 16 – 19, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
-
ІІ-а наук.-техн. конференція [«Обчислювальні методи і системи перетворення інформації»], (4-5 жовтня 2012р., Львів)/ Львів: ФМІ НАУНУ, 2012.
-
The VIIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 20-24, 2012) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2012.
-
The XIIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2013)], (Polyana, Ukraine, February 19-23, 2013) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2013.
-
Міжнародна наукова конференція [«Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту»], (Херсон, 20-34 травня 2013) / ХНТУ.- Херсон, 2013.
Структура та обсяг роботи. Робота складається із вступу, чотирьох розділів, списку використаних джерел та додатків. Загальний обсяг роботи становить 114 стор. друкарського тексту. Дисертація містить 48 рисунків на 22 стор. Список використаних джерел складається із 147 найменувань на 15 стор. Три додатки розміщено на 14 стор.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі наведено загальну характеристику роботи: обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та основні задачі досліджень, визначено наукову новизну роботи і практичне значення отриманих результатів, показано зв'язок роботи з науковими темами. Подано відомості про апробацію результатів роботи та публікації.
У першому розділі наведені результати аналізу процесу виникнення та модельного представлення як локального так і глобального спотворення. Зокрема розглянуто природу змазу, механізми формування локальних змазів та формування перехідних зон локальних спотворень. Проаналізовано сучасні методи та підходи до усунення локальних змазів і реконструкції цифрових зображень.
На підставі цих досліджень з’ясовано, що змази зображення утворюються безпосередньо в світлочутливих матрицях. Наразі існує дві принципові архітектури світлочутливих матриць: CCD матриці та CMOS матриці. Типово, будь-яка з них складається з великої кількості однорідних світлочутливих елементів, кожен з яких відповідає за генерування одного пікселя зображення.
Математична модель будь-якого змазу, подібно до спотворення, яке виникає внаслідок розфокусування, зводиться до операції згортки (згортки)
(1)
де знак означає операцію згортки; f(x, y) – дискретизоване зображення розміром M × N, яке піддається спотворенню під впливом ядра розмиття h(x, y) з розмірністю m × n, яке називається функцією розсіяння точки (ФРТ, анг. PSF – Point Spread Function). Додатково світлочутлива матриця накладає випадково розподілений адитивний шум n(x, y).
Результат спотворення, яке виникає на зображенні визначається значеннями ФРТ h(x, y). Саме вона визначає перетворення над значеннями функції інтенсивності у кожному пікселі зображення.
Зважаючи на (1) операцію згортки можна записати так:
, (2)
де a = (m - 1) / 2, b = (n - 1) / 2.
На основі аналізу результатів експериментів підтверджено тезу про те, що формування змазу зображення адекватно описується моделлю на основі згортки. Cам оператор згортки, інакше ядро розмиття або дискретна функція розсіяння точки, містить в собі інформацію про траєкторію та рівномірність руху, який є причиною виникнення спотворення зображення. Для дослідження сутності змазу зображення було використано перетворення Фур’є. Виявлено, що різниця між Фур’є образами спотвореного повним змазом зображенням і неспотвореним є сумою експоненційних функцій:
, (3)
Кількість цих функцій корелює з довжиною траєкторії спотворювального руху.
З’ясовано, що існує декілька видів локальних спотворень. Серед них найбільш поширеним на практиці є такий вид змазу, який утворюється при нерухомій камері, яка експонує кадр з присутнім об’єктом, що в цей момент швидко рухається відносно свого фону. Схема утворення такої розмитої ділянки наступна. В початковий момент часу t0 відкривається затвор пристрою реєстрації і елементи світлочутливої матриці починають набирати певного значення функції інтенсивності. У цей момент однаково відображаються і рухомий об’єкт і фон. У момент tn затвор закривається. За цей проміжок часу рухомий об’єкт подолав певну відстань, яку, враховуючи дискретну природу цифрової фотографії, можна оцінити в деяку кількість пікселів m. Це означає, що проміжок часу t = tn - t0 можна розділити на m рівних відрізків. Протягом кожного з цих відрізків часу кожен піксель рухомого об’єкту залишав відбиток власного значення функції інтенсивності на іншій позиції в зображенні шляхом накладання власного значення кольору на той, який існував на цій позиції раніше. У результаті значення функції інтенсивності у внутрішніх пікселах об’єкта накладаються на значення інших пікселів цього ж об’єкта і виникає типова задача деконволюції.
На краях зони розмиття ситуація є дещо іншою. Краями є область вздовж периметру об’єкта по обидва сторони в напрямку руху шириною m точок (буферна зона). У цій зоні відбувається змішування значень функції інтенсивності рухомого об’єкта із значеннями функції інтенсивності пікселів нерухомого фону. Оскільки увесь час експонування був дискетизований на m періодів, то можна вважати, що за одиницю часу = 1/m значення функції інтенсивності кожного пікселя буферної зони формується за рахунок -ї частини значення кольору рухомого об’єкту та 1- частини решти, яка, в свою чергу, утворюється в результаті адитивного накладання у тій же пропорції значень функції інтенсивності, що належать об’єкту та фону, над яким цей об’єкт рухався.
Для граничного пікселя об’єкта значення функції інтенсивності буде визначатись за описаним співвідношення. Для наступного пікселя об’єкта його значення функції інтенсивності с(xi, yi) буде визначатися у результаті скалярного добутку векторів v = (, , (1-2)) і Fi = (f(xi, yi), f(xi-1, yi), fф(xi, yi)):
с(xi, yi) = v Fi. (4)
Тут fф(xi, yi), f(xi, yi), f(xi-1, yi) – значення функції інтенсивності відповідно фону, у даному та у граничному пікселях. За подібною схемою визначатимуться значення функції інтенсивності у кожній точці буферної зони. Останній піксель буферної зони буде мати значення функції інтенсивності, яке лише на величину буде складатись із значення кольору фону.
Описаний підхід формування значень функції інтенсивності у пікселях буферної зони називатимемо операцією зважування значень функції інтенсивності, а сам вектор v – оператором зважування. Треба зазначити, що вказані вище параметри оператора v є можливими лише за умови рівномірного руху. У випадку нерівномірного руху ці параметри будуть іншими і формуватимуться за правилом: що менший час перебував піксель об’єкта в даній позиції, то меншою буде його частка значення функції інтенсивності в результуючому значенні. Проте закономірність отримана для випадку рівномірного руху буде зберігатись і для j-го пікселя буферної зони може бути записана так:
, (5)
де j [0; m]; hi – i-е ненульове значення дискретної функції розсіяння точки h; bj – значення кольору фону в даній точці; fj – інтегральне значення функції інтенсивності у пікселях рухомого об’єкта, які перебували в даній позиції під час руху об’єкта.
Зазвичай усунення спотворення зображення, спричиненого згорткою, здійснюється одним із методів деконволюції. Усі алгоритми, побудовані на її основі, ґрунтуються на використанні бієктивних гомоморфізмів, тобто такої ФРТ, яка б виконала зворотне перетворення до первісного зображення. Алгоритми несліпої деконволюції передбачають наявність заданої функції розгортки. Тобто робиться припущення про характер спотворення, і виходячи із нього будується функція, яка обробляє зображення. Сліпа деконволюція проводиться, виходячи із того, що ядро розмиття наперед невідоме, оскільки спотворення може бути спричиненим різними факторами і з різним впливом. При сліпій деконволюції ядро розмиття розраховується в процесі роботи алгоритму. За результатами аналізу найбільш відомих методів розгортки, зокрема методів Річардсона-Люсі, Тихонова, Вінера, Донателлі, Нееламані, Фергюса, виявлено, що найбільш ефективними у задачах усунення локальних спотворень є метод Річардсона-Люсі та фільтр Віннера.
Проведений аналіз причин виникнення спотворення і методів їх усунення засвідчив необхідність розробки нових методів реконструкції зображень у задачах усунення локальних змазів. У відповідності до цього сформульовано основні завдання наукового дослідження, викладеного у дисертаційній роботі.
|