Методи усунення локальних спотворень зображень

Національний університет "Львівська політехніка"

УДК 004.896; 004.932

05.13.23 – Системи та засоби штучного інтелекту

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів 2013

Дисертацією є рукопис

Робота виконана у Національному університеті "Львівська політехніка"

Міністерство освіти і науки України
Науковий керівник:

доктор технічних наук, доцент

Національний університет "Львівська політехніка"

професор кафедри інформаційних технологій

видавничої справи

доктор технічних наук, с.н.с.

Харківський національний університет радіоелектроніки,

провідний науковий співробітник Проблемної

науково-дослідної лабораторії АСУ;

ДВНЗ «Ужгородський національний університет»,

доцент кафедри програмного забезпечення систем.

Захист відбудеться "29" листопада 2013 р. о 14⁰⁰ год. на засіданні спеціалізованої вченої ради Д35.052.14 у Національному університеті "Львівська політехніка" (79013, м. Львів, вул. Степана Бандери 28а, ауд. 807, V корпус).

З дисертацією можна ознайомитися у бібліотеці Національного університету "Львівська політехніка" (79013, м. Львів, вул. Професорська 1).

Автореферат розіслано "25" жовтня 2013р.

Учений секретар

спеціалізованої вченої ради,

кандидат технічних наук, доцент Батюк А.Є.

У випадку руху окремого об’єкта його зображення буде спотворене, а навколишній фон залишиться без змін. При цьому краї рухомого об’єкта част­ково накладуться на пікселі фону, утворюючи буферну зону інтегральних зна­чень функції яскравості. У іншому випаду – слідкуванні камери за рухомим об’єк­том – буде спостерігатись протилежна картина: неспотворене зображення об’єкта буде оточене спотвореним фоном.

На відміну від повних спотворень, параметри яких є однакові для усієї площини зображення, обробка локальних спотворень довгий час залишалась поза широкою увагою в наукових дослідженнях. Так питанню реконструкції рівномірно спотворених зображень приділено достатньо уваги ще з середини ми­нулого століття. Отримані результати є достатньо значимими, а методи та ал­горитми сліпої та не сліпої розгортки (відомої також як деконволюція чи обернена згортка), наприклад, алгоритми Віннера та Люсі-Річардсона стали класичними і широко використовуються у системах цифрової обробки зобра­жень. Достатньо ефективні результати демонструють сучасні алгоритми де­кон­волюції зображень, спотворених рухом камери при незмінній сцені, напри­клад ітеративний алгоритм Ці Шана або алгоритм сліпої розгортки Фергюса.

У випадку локальних спотворень, зокрема тих, що виникають внаслідок руху окремого елемента сцени при нерухомій камері, достатньо якісних резуль­татів поки що не отримано. Це пояснюється складністю процедур виділення кон­турів рухомого об’єкта, обчислення параметрів його руху, тобто ФРТ (функ­ції розсіяння точки), виконання розгортки з умовою мінімізації впливів на фон і ін. Але головна проблема полягає у необхідності розмежувати перед операцією розгортки ділянки зображення, які одночасно належать рухомому об’єкту і фо­ну. Тут не можна застосувати єдиний підхід до усієї пло­щини зо­браження. На­віть незначні похибки при опрацюванні такого зобра­ження мо­жуть приз­вести до ще більшого спотворення зображення замість його покра­щення: спот­ворені та неспотворені ділянки зображення при класич­ному підході сприя­тимуть спотворенню одне одного.

Дослідження процесу утворення локальних спотворень цифрових зо­бражень і виділення його властивостей може бути підґрунтям побудови алго­ритмів реконструкції зображень після усунення змазів, які виникають при екс­по­нуванні кадрів. А самі реалізації алгоритмів усунення локальних спотворень можуть використовуватись на етапах попереднього опрацювання зобра­жень при інтелектуальному аналізі даних в системах штучного інтелекту.

Тому є актуальною наукова задача дос­лідження про­цесу формування локальних спотворень зображень, які виникають внас­лі­док руху камери або об’єктів при нерухомій камері, та розробки ме­тодів усу­нення таких спотворень і реконструкції спотворених зображень.

Для досягнення поставленої мети необхідно вирішити такі завдання:

1. 
   Дослідити механізм утворення спотворень зображень, які виникли внаслідок руху окремих об’єктів чи пристроїв реєстрації, провести аналіз існуючих методів усунення повних та локальних змазів.
   
2. 
   Модифікувати метод виділення контурів спотворених ділянок зображення з використанням статистки змазу.
   
3. 
   Розробити метод визначення траєкторії спотворювального руху.
   
4. 
   Розробити метод визначення функції розсіяння точки спотворених ділянок зображення.
   
5. 
   Розробити метод відновлення локально спотворених зображень для випадку руху пристрою реєстрації.
   
6. 
   Розробити метод відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
   
7. 
   Розробити програмну реалізацію розроблених методів усунення локальних спотворень зображень.
   

• 
  метод визначення траєкторії спотворювального руху на основі дослі­джен­ня закономірностей в розподілі флуктуацій функції інтен­сив­ності, що да­ло можливість оцінювати траєкторію без апріорних припущень;
  
• 
  метод визначення функції розсіяння точки на основі характеристик траєкторії руху, який спричинив повне або часткове спот­ворення зображення, що дозволило з більшою точністю виз­начати функцію розсіяння точки спотвореного зображення;
  
• 
  метод заповнення прогалин на місцях вилучених фрагментів шляхом інтегрування зображення, який зробив можливим відновлення локально спотворених зображень для випадку руху пристрою реєстрації;
  
• 
  метод заміни фону рухомого об’єкта, який зробив можливим відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
  

• 
  метод несліпої деконволюції спотворених рухом зображень, шляхом застосування двостороннього та чотиристороннього віддзеркалення, що призвело до суттєвого зменшення проявів «ефекту дзвону».
  

• 
  технологія виділення контурів спотворених рухом ділянок зобра­ження шляхом використання інформації про характер спотворення, що дозволило з більшою точністю проводити реконструкцію зобра­жень.
  

Використання розробленого методу оцінки функції розсіяння точки спот­вореного зображення дозволяє підвищити точність її оцінки. При про­веденні експериментів на основі синтетичних даних, при порівнянні з дійсною функ­цією розсіяння точки, визначено, що застосування цього методу дало мож­ли­вість отримати результати у середньому на 26% точніші у порівнянні з кла­сич­ним методом сліпої розгортки.

Метод оцінки функції розсіяння точки може застосовуватись окремо як складова частина програмних систем обробки зображень, а також в системах штучного інтелекту для визначення траєкторії та рівномірності руху, зафіксова­ного на зображенні. Визначальною характеристикою методу є те, що він доз­воляє отримувати траєкторію з окремого зображення, а не з послідовності кад­рів (відео), що властиво методам відслідковування руху об’єктів. Це сприяє роз­ширенню області застосування даного методу.

Підходи до розгортки на основі дзеркального відображення можуть ви­корис­товуватись для реконструкції зображень з мінімумом артефактів т.зв. «ефек­ту дзвона» для зображень як повного, так і часткового спотворення. Чи­сельним критерієм якості усунення цих артефактів обрано величину ентропії. В процесі експериментальних досліджень виявлено, що зменшення ентропії при рекон­струкції одного і того ж зображення при застосуванні повно­стороннього віддзеркалення в середньому становить 1,04%.

Отриманий результат є цінним для систем обробки зображень ще й тому, що якість реконструкції зображення є незалежною від типу спотворення: позитивний вплив спостерігається як для зображень, спотворених рухом, так і для зображень, що були спотворені внаслідок розфокусування оптичної сис­теми пристрою реєстрування.

Серед практичних результатів дисертаційного дослідження треба ще відзначити доведення твердження про інваріантність чорного фону при операції згортки та розроблений метод штучного перенесення спотвореної ділянки зо­браження на чорний фон. Їх практична цінність для систем обробки зображень полягає у можливості конструювання алгоритмів штучної заміни фону під на­півпрозорою зоною сліду об’єкта, який рухається із великою швидкістю. Біль­ше того, з’являється можливість практично повністю усунути прояви «ефекту дзвону» при реконструкції спотворених ділянок зображень, що, у свою чергу, може виступати основою для подальших розробок в напрямку покращення реконструктивних технологій.

Метод автоматизованої оцінки контурів спотворених областей та запов­нення прогалин можуть використовуватись для розділення та відо­кремленої обробки спотворених областей зображення, а також для автоматизованого де­тек­тування руху та виділення зображення рухомого об’єкта для подальшої обробки та розпізнавання.

Розроблені на основі отриманих методів алгоритми були реалізовані в середовищі MATLAB і можуть бути використані як складові частини комп’ю­терних систем попередньої обробки зображень.

1. 
   The V^th International Scientific аnd Technical Conference [“Computer Science and Information Technologies” (CSIT 2010)], (Lviv, October 14-16, 2010) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2010.
   
2. 
   The XI^th International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2011)], (Polyana, Ukraine , February 23-25, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
   
3. 
   The VI^th International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 16 – 19, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
   
4. 
   ІІ-а наук.-техн. конференція [«Обчислювальні методи і системи пере­тво­рення інформації»], (4-5 жовтня 2012р., Львів)/ Львів: ФМІ НАУНУ, 2012.
   
5. 
   The VII^th International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 20-24, 2012) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2012.
   
6. 
   The XII^th International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2013)], (Polyana, Ukraine, February 19-23, 2013) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2013.
   
7. 
   Міжнародна наукова конференція [«Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту»], (Херсон, 20-34 травня 2013) / ХНТУ.- Херсон, 2013.
   

У вступі наведено загальну характеристику роботи: обґрунтовано ак­туаль­ність теми дисертаційної роботи, сформульовано мету та основні задачі дос­ліджень, визначено наукову новизну роботи і практичне значення отри­ма­них результатів, показано зв'язок роботи з науковими темами. Подано відомості про апробацію результатів роботи та публікації.

На підставі цих досліджень з’ясовано, що змази зображення утворю­ються безпосередньо в світлочутливих матрицях. Наразі існує дві принципові ар­хі­тек­тури світлочутливих матриць: CCD матриці та CMOS матриці. Типово, будь-яка з них складається з великої кількості однорідних світлочутливих еле­ментів, кожен з яких відповідає за генерування одного пікселя зображення.

Математична модель будь-якого змазу, подібно до спотворення, яке вини­кає внаслідок розфокусування, зводиться до операції згортки (згортки)

(1)

де знак означає операцію згортки; f(x, y) – дискретизоване зображення розміром M × N, яке піддається спотворенню під впливом ядра розмиття h(x, y) з розмірністю m × n, яке називається функцією розсіяння точки (ФРТ, анг. PSF – Point Spread Function). Додатково світлочутлива матриця накладає випадково розподілений адитивний шум n(x, y).

Результат спотворення, яке виникає на зображенні визначається значен­нями ФРТ h(x, y). Саме вона визначає перетворення над значеннями функції інтенсивності у кожному пікселі зображення.

Зважаючи на (1) операцію згортки можна записати так:

де a = (m - 1) / 2, b = (n - 1) / 2.

На основі аналізу результатів експериментів підтверджено тезу про те, що формування змазу зображення адекватно описується моделлю на основі згортки. Cам оператор згортки, інакше ядро розмиття або дискретна функція розсіяння точки, містить в собі інформацію про траєкторію та рівномірність руху, який є причиною виникнення спотворення зображення. Для дослідження сутності змазу зображення було використано перетворення Фур’є. Виявлено, що різниця між Фур’є образами спотвореного повним змазом зображенням і неспотвореним є сумою експоненційних функцій:

, (3)

Кількість цих функцій корелює з довжиною траєкторії спотворюваль­ного руху.

З’ясовано, що існує декілька видів локальних спотворень. Серед них найбільш поширеним на практиці є такий вид змазу, який утворюється при нерухомій камері, яка експонує кадр з присутнім об’єктом, що в цей момент швидко рухається відносно свого фону. Схема утворення такої розмитої ді­лян­ки наступна. В початковий момент часу t₀ відкривається затвор пристрою ре­єс­трації і елементи світлочутливої матриці починають набирати певного значення функції інтенсивності. У цей момент однаково відображаються і ру­хо­мий об’єкт і фон. У момент t_n затвор закривається. За цей проміжок часу рухо­мий об’єкт подолав певну відстань, яку, враховуючи дискретну природу циф­рової фотографії, можна оцінити в деяку кількість пікселів m. Це означає, що проміжок часу t = t_n - t₀ можна розділити на m рівних відрізків. Протягом кожного з цих відрізків часу кожен піксель рухомого об’єкту залишав від­би­ток власного значення функції інтенсивності на іншій позиції в зображенні шляхом накладання власного значення кольору на той, який існував на цій позиції раніше. У результаті значення функції інтенсивності у внутрішніх пік­селах об’єкта накладаються на значення інших пікселів цього ж об’єкта і ви­ни­кає типова задача деконволюції.

На краях зони розмиття ситуація є дещо іншою. Краями є об­ласть вздовж периметру об’єкта по обидва сторони в напрямку руху ши­риною m точок (буферна зона). У цій зоні відбувається змішування значень функ­ції інтенсив­ності рухомого об’єкта із значеннями функції інтенсивності пік­­селів нерухо­мого фону. Оскільки увесь час експонування був дискети­зова­ний на m періодів, то можна вважати, що за одиницю часу = 1/m значення функ­ції інтенсивності кожного пікселя бу­фер­ної зони формується за рахунок -ї частини значення кольору рухомого об’єкту та 1- частини решти, яка, в свою чергу, утворюється в ре­зуль­таті ади­тивного накладання у тій же пропорції зна­чень функції інтен­сив­ності, що на­ле­жать об’єкту та фону, над яким цей об’єкт рухався.

Для граничного пікселя об’єкта значення функції інтенсивності буде виз­начатись за описаним співвідношення. Для наступного пікселя об’єкта його зна­чення функції інтенсивності с(x_i, y_i) буде визначатися у результаті скаляр­ного добутку векторів v = (, , (1-2)) і F_i = (f(x_i, y_i), f(x_i-1, y_i), f_ф(x_i, y_i)):

с(x_i, y_i) = v F_i. (4)

Тут f_ф(x_i, y_i), f(x_i, y_i), f(x_i-1, y_i) – значення функції інтенсивності відповідно фону, у даному та у граничному пікселях. За подібною схемою визначатимуться значення функції інтенсивності у кожній точці буферної зони. Останній піксель буферної зони буде мати значення функції інтенсивності, яке лише на величину буде складатись із значення кольору фону.

Описаний підхід формування значень функції інтенсивності у пікселях буферної зони називатимемо операцією зважування значень функції ін­тен­сивності, а сам вектор v – оператором зважування. Треба зазначити, що вка­зані вище параметри оператора v є можливими лише за умови рівномірного руху. У випадку нерівномірного руху ці параметри будуть іншими і форму­ва­тимуться за правилом: що менший час перебував піксель об’єкта в даній по­зиції, то меншою буде його частка значення функції інтенсивності в резуль­ту­ючому значенні. Проте закономірність отримана для випадку рівномірного руху буде зберігатись і для j-го пікселя буфер­ної зони може бути записана так:

, (5)

де j [0; m]; h_i – i-е ненульове значення дискретної функції розсіяння точки h; b_j – значення кольору фону в даній точці; f_j – інтегральне значення функції інтенсивності у пікселях рухомого об’єкта, які перебували в даній позиції під час руху об’єкта.

Зазвичай усунення спотворення зображення, спричиненого згорткою, здійснюється одним із методів деконволюції. Усі алгоритми, побу­до­вані на її основі, ґрунтуються на використанні бієктивних гомомор­фізмів, тобто такої ФРТ, яка б виконала зворотне перетворення до первісного зобра­жен­ня. Алго­ритми несліпої деконволюції передбачають наявність заданої функції роз­гортки. Тобто робиться припущення про характер спотворення, і ви­ходячи із нього будується функція, яка обробляє зображення. Сліпа деконволюція про­водиться, виходячи із того, що ядро розмиття наперед не­відоме, ос­кільки спот­ворення може бути спричиненим різними факторами і з різним впливом. При сліпій деконволюції ядро розмиття розраховується в процесі ро­боти алгоритму. За результатами аналізу найбільш відомих методів розгортки, зокрема методів Річардсона-Люсі, Тихонова, Вінера, Донателлі, Нееламані, Фергюса, виявлено, що найбільш ефективними у задачах усунення локальних спотворень є метод Річардсона-Люсі та фільтр Віннера.

Проведений аналіз причин виникнення спотворення і методів їх усу­нен­ня засвідчив необхідність розробки нових методів реконструкції зображень у задачах усунення локальних змазів. У відповідності до цього сформульовано ос­новні завдання наукового дослідження, викладеного у дисертаційній роботі.