運用擴增實境技術建立數位學習環境(精簡版)

1. 國防大學理工學院資訊工程學系 資訊科學碩士班碩士學位論文運用擴增實境技術建立數位學習環境研究生 ： 李 正 豪指 導教 授 ： 王 順 吉中 華 民 國 一 Ｏ Ｏ年 五 月 九 日 2. 碩士學位論文指導教授推薦書國防大學理工學院資訊工程學系資訊科學碩士班 李正豪 君所提之論文運用擴增實境技術建立數位學習環境 係由本人指導撰寫，同意提付審查。 此 致系主任 指導教授 : 日期 : 100 年 月 日 ii 3. iii 4. 誌謝本研究論文之完成，首先感謝恩師王順吉老師悉心無私教誨、耐心指導與督促，得以順利完成，使本人不僅能在學識上有所獲益，更能在為人處世及事理分析等各方面更成熟穩健，師恩浩蕩，特於卷首致上最誠摯的謝意！論文口試期間，幸蒙銘傳大學資電學院賈叢林院長、台北大學資訊工程學系黃俊堯主任及本院賴義鵬教授、陳丙堃教授，鼎力斧正，使論文更完整，衷心感謝。在學習過程中，感謝實驗室智仁、鼎捷學長於課業及研究 領域的指導，以及鍾德煥同學與陳昭瑞同學的互相勉 勵，加上佳萱、宣羽和捷文同學，蒼昱、周志偉及沈學弟在論文撰寫及口試期間的多方協助，在此一併誌謝。衷心感謝生育與教養的父母，於求學過程中給予的鼓勵。也感謝憲兵司令部刑事鑑識中心同事給予求學階段各項幫助，使本人能無後顧之憂在課業上專心研究。最後謹將這份成果獻給每一位幫助過我的貴人，有你們支持及鼓勵，才能使本論文達臻善臻美。 iv 5. 摘要隨著擴增實境技術日趨成熟，為了製作更活潑的數位教材或建立更有效率的數位學習環境，運用擴增實境技術建立數位學習環境之應用與日俱增。目前相關應用大部分均侷限在標記(marker)擴增實境技術，但無標記(markerless)擴增實境技術使用上更具彈性，不必受限於標記的使用，應用層面更廣。視覺追蹤技術是擴增實境重要底層核心技術之一，但在實際應用上會受周邊環境光源、辨識圖樣角度、影像解析度、辨識圖樣材質等 4 項因素影響。另外，在「無標記擴增實境數位學習系統」相關應用中追蹤物件的複雜度及移動速度更會影響追蹤辨識效果，因為好的物件辨識與追蹤效能，學習者在操作系統時，才可以隨心所欲的移動辨識的物件，以增加系統的實用性。本論文主要提出如何運用擴增實境的技術來製作數位教材及建立數位學習環境，並分析現有運用在「無標記擴增實境數位學習系統」追蹤技術的限制因素，進而提出能追蹤各式真實物件及降低物件移動速度對物件追蹤影響之無標記物件追蹤技術。本文所提之方法就技術層面而言能提昇無標記擴增實境的實用性及普及性；就應用層面而言可瞭解製作擴增實境數位教材及實現數位學習環境相關問題。例如運用於國軍軍事裝備維修上，可有效降低人員訓練時間及成本，並能迅速維修以提昇裝備妥善率；用於軍中的戰術教學，可使內容更加生動，以提昇學習者之學習興趣。關鍵字：標記擴增實境，無標記擴增實境，數位學習，虛擬實境，特徵追蹤 v 6. ABSTRACTAs the techniques of creating augmented reality become more advanced, there isan increase in its use to create engaging digital teaching materials or a more efficiente-Learning environment. Recently, most relevant applications are limited tomarker-based augmented reality techniques. However, markerless augmented realitytechniques are more flexible and not limited by the use of markers, providing abroader range of applications. Visual tracking techniques is a critical core techniqueof augmented reality, and its use is often affected by the four factors ofenvironmental lighting, image angle recognition, image resolution and image texturerecognition. On the other hand, in a “markerless augmented reality e-Learningsystem”, the complexity and moving speed of the tracked object will also stronglyaffect tracking recognition. Only with high quality object identification and trackingabilities will the learners recognize objects and move them as they wish whenoperating the system, making it more applicable for its purpose.The purpose of this thesis is to provide recommendations on the use ofaugmented reality techniques to create digital learning material and e-Learningenvironments, and to analyze limiting factors in tracking techniques currentlyemployed in “markerless augmented reality e-Learning systems”. We alsorecommend apply object tracking techniques for real-time tracking in which objectspeed has reduced effects on tracking ability. The methods that this study suggestswill be able to raise the practicality and popularization of markerless augmentedreality systems on a technical basis. On the basis of application, the methods willalso allow people to understand the relevant issues in the creation of augmentedreality digital learning materials and e-Learning environments. For example, whenapplied to the military equipment maintenance in the army of Taiwan, such digitallearning schemes can effectively reduce personnel training time and costs, helping to vi 7. improve maintenance quality and hence the performance of military equipments.When applied to training schemes of military tactics, the contents can be madedynamic to increase learners’ motivation and interest.Keywords: Marker-based Augmented Reality, Markerless Augmented Reality,e-Learning, Virtuality Environment, Feature Tracking。vii 8. 目錄誌謝 .............................................................................................................................. iv摘要 ............................................................................................................................... vABSTRACT ................................................................................................................. vi目錄 ............................................................................................................................ viii表目錄 .......................................................................................................................... xi圖目錄 ......................................................................................................................... xii1. 緒論 ....................................................................................................................... 1 1.1.研究動機 .................................................................................................. 1 1.2.研究目的 .................................................................................................. 2 1.3.論文架構 .................................................................................................. 32. 文獻探討 ............................................................................................................... 4 2.1.數位學習 .................................................................................................. 4 2.1.1. 數位學習緣起.................................................................................... 4 2.1.2. 數位教材類別.................................................................................... 5 2.1.3. 數位學習趨勢.................................................................................... 7 2.1.4. 小結.................................................................................................... 8 2.2.擴增實境 .................................................................................................. 8 2.2.1. 擴增實境緣起.................................................................................... 9 2.2.2. 擴增實境基本原理 ......................................................................... 10 2.2.3. 擴增實境類別.................................................................................. 12 2.2.4. 擴增實境技術在數位學習之應用 ................................................. 14 2.2.5. 小結.................................................................................................. 16 2.3.無標記擴增實境追蹤技術分析 ............................................................ 16 viii 9. 2.3.1. 現有開發平台.................................................................................. 162.3.2. 影響追蹤技術因素分析 ................................................................. 18 2.4. 物件偵測與追蹤相關技術 .................................................................... 192.4.1. 移動物偵測...................................................................................... 192.4.2. 物件追蹤.......................................................................................... 232.4.3. 物件特徵擷取.................................................................................. 252.4.4. 座標轉換.......................................................................................... 373. 無標記擴增實境視覺追蹤系統 ......................................................................... 39 3.1. 影響無標記擴增實境視覺追蹤辨識因素分析 .................................... 393.1.1. 物件複雜度...................................................................................... 393.1.2. 物件移動速度.................................................................................. 403.1.3. 小結.................................................................................................. 41 3.2. 無標記擴增實境視覺追蹤技術 ............................................................ 413.2.1. 框選追蹤物件.................................................................................. 423.2.2. 色彩空間轉換.................................................................................. 423.2.3. 物件偵測追蹤.................................................................................. 423.2.4. 定位顯像.......................................................................................... 47 3.3. 運用無標記擴增實境技術建立數位學習環境 .................................... 503.3.1. 先期準備階段.................................................................................. 503.3.2. 系統開發階段.................................................................................. 513.3.3. 完成測試階段.................................................................................. 514. 全文下載 ............................................................................................................. 52 4.1. 無標記擴增實境實驗平台建置與追蹤技術驗證 ................................ 52 4.2. 運用擴增實境技術建 立數位學習環境 ................................................ 53ix 10. 參考文獻 ..................................................................................................................... 55論文發表 ..................................................................................................................... 59自傳 ............................................................................................................................. 60x 11. 表目錄找不到圖表目錄。xi 12. 圖目錄圖 2.1：數位教材種類 ................................................................................................ 5圖 2.2：虛擬連續性的理論[6] ................................................................................... 9圖 2.3：擴增實境的基礎架構[9] ............................................................................. 10圖 2.4：擴增實境運作步驟 ...................................................................................... 11圖 2.5：標記圖樣[10] ............................................................................................... 12圖 2.6：標記擴增實境示意圖 .................................................................................. 13圖 2.7：標記擴增實境運作流程圖 .......................................................................... 13圖 2.8：無標記擴增實境示意圖 .............................................................................. 14圖 2.9：無標記擴增實境運作流程圖 ...................................................................... 14圖 2.10：電磁學教學系統[14] ................................................................................. 15圖 2.11：擴增實境坦克大戰遊戲[15] ..................................................................... 15圖 2.12：美軍維修LAV-25A1 裝甲運兵車[16]...................................................... 16圖 2.13：ARToolKit NFT無標記示意圖[12] .......................................................... 17圖 2.14：光流法示意圖[25] ..................................................................................... 21圖 2.15：時序差異法示意圖[28] ............................................................................. 21圖 2.16：背景相減法結果圖[29] ............................................................................. 23圖 2.17：高斯差分濾波示意圖[34] ......................................................................... 28圖 2.18：極值搜尋示意圖[34] ................................................................................. 28圖 2.19：特徵點描述示意圖[34] ............................................................................. 31圖 2.20：GLOH特徵描述子示意圖[36] .................................................................. 32圖 2.21：積分影像運算示意圖[39] ......................................................................... 33圖 2.22：積分影像計算矩形框示意圖[38] ............................................................. 33 xii 13. 圖 2.23：SIFT與SURF金字塔尺度空間建立示意圖： ......................................... 34圖 2.24：主方向示意圖[38] ..................................................................................... 36圖 2.25：特徵點描述示意圖[38] ............................................................................. 37圖 3.1：物件複雜度對物件辨識追蹤之影響： ...................................................... 40圖 3.2：物件移動速度對追蹤物件之影響： .......................................................... 40圖 3.3：無標記擴增實境系統流程圖 ...................................................................... 41圖 3.4：物件偵測追蹤流程圖 .................................................................................. 43圖 3.5：SIFT與SURF特徵點表示圖：.................................................................... 44圖 3.6：金字塔L-K光流法連續追蹤表示圖 ........................................................... 46圖 3.7：單應性計算示意圖 ...................................................................................... 47圖 3.8：定位顯像流程圖 .......................................................................................... 47圖 3.9：物件近距離擴增實境畫面 .......................................................................... 49圖 3.10：物件中距離擴增實境畫面 ........................................................................ 49圖 3.11：物件遠距離擴增實境畫面 ........................................................................ 50 xiii 14. 1. 緒論1.1. 研究動機 21 世紀以來由於網際網路的蓬勃發展，使得地理上的距離不再是距離，人們籍由電腦科技的進步使得在資訊搜集上更加容易，讓世界各地的人們在知識的獲得上，不再有時間和空間的落差。在這個知識經濟的時代，如何有效且快速的學習，可以說是生存在 21 世紀的人們，一個很重要的課題，而「數位學習」是提供學習者一個没有環境、時間、空間及地域限制，且更有效率及學習自由度高的途徑及方法，因此「數位學習」成了人們快速學習的方法之一。 由於數位學習與傳統課堂教學方式不同，現今數位學習大多由學習者經由網際網路來進行學習，相較傳統課堂教學少了一份真實感，故在數位學習的教材製作上，就變的相當重要。2008 年吳聲毅在「數位學習觀念與實作」書中[1]，依教材呈現的方式不同，將教材分成網頁式、演講式、模擬式、視訊式及電子書等 5 類教材，其中演講式、模擬式及視訊式等 3 類教材可使用於正式授課，而網頁式及電子書等 2 類教材可使用於補充教學。 在2010年美國新媒體聯盟(The NEW MEDIA CONSORTIUM)和主動學習教育機構(EDUCASE Learning Initiative)「The Horizon Report 2010 Edition」報告中[2]，提出未來五年的數位學習科技技術發展6項預測，其中「行動運算(MobileComputing)」可以提供人們隨心所欲在任何地方上網，而「簡單擴增實境(SimpleAugmented Reality)」讓學習者有身歷其境的感受， 逹到快速且有效的學習。故近年來已有許多研究提出相關應用，如運用在英語學習、電磁學教學、化學元素的化學分子結構、太陽系的運轉、汽車維修教學及球類運動教學等等。 而其中擴增實境系統的底層技術是以影像處理之物件追蹤為核心，若以視覺追蹤技術來分類的話，可分為「標記 (Marker)」或「無標記 (Markerless)」2 1 15. 大系統。近年來擴增實境在「數位學習」的應用絶大多數都為「標記」系統，原因不外乎大多數開發平台都為使用「美國華盛頓大學人機介面實驗室」所開發出來的ARToolkit，而ARToolkit本身所使用就是「標記」系統，故相對所開發出來的系統，均為「標記」系統。然就運用於「數位學習」上來說，要開發出操作人性化、內容豐富，且多樣化的教材系統，顯然「標記」較為不適用，因為會受限於使用上不方便之問題，例如：操作介面較不美觀，進而影響學習系統的實用性。綜上所述，要開發出操作介面可以更加便利、親切及人性化，且實用性高的擴增實境數位學習系統，本文建議應採用「無標記」系統，因為其受限於「標記」之限制，在追蹤、辨識及定位的物件，可由系統開發者或學習者自行設定，使用上更為方便，實用性也隨之提昇。無標記擴增實境之物件追蹤辨識正確與否，易受周邊環境光源、辨識圖樣角度、影像解析度以及辨識圖樣材質等 4 點因素影響[3]。而且物件本身的複雜度及移動速度更會影響系統的實用性，高複雜度物件表示「多特徵點」、「與環境顏色成強烈對比」或「明顯紋理與輪廓」，這類物件容易從影像中辨識與追蹤。反之，低複雜度物件則表示「較少特徵點」、「與環境顏色相似」或「無明顯紋理與輪廓」，這類物件不易從影像中辨識與追蹤。另外在即時追蹤辨識中，系統運算速度必須夠快，否則移動物件速度太快，可能造成在系統運算完畢後，而物件已不在該位置，形成誤判。故在「無標記擴增實境數位學習系統」中物件的複雜度分析及移動速度之影響與評估是相當重要 事先瞭解物件特性 ，，學習者在操作系統時，才可以正確使用辨識的物件，以增加系統的實用性。1.2. 研究目的現行擴增實境數位學習系統大多採用標記系統，然而標記系統使用上較不方便，會降低系統實用性，故本論文提出如何運用擴增實境的技術，來製作數 2 16. 位教材及建立數位學習環境，並分析現有運用在「無標記擴增實境數位學習系統」追蹤技術之限制因素，進而提出能追蹤各式真實物件之技術，並且降低物件複雜度對物件追蹤造成之影響。本文所提之方法能提昇無標記擴增實境的實用性與普及性，製作更活潑更生動之數位教材及建置更有效率之實現數位學習環境。例如，運用於國軍軍事裝備維修上，可有效降低人員訓練時間及成本；另可迅速指引維修人員進行裝備檢修，有效提昇裝備妥善率；運用於軍中的戰術教學，更可提昇學習者的學習興趣。1.3. 論文架構本論文分為五章，第一章是緒論，介紹研究動機、研究目的和論文架構；第二章是相關文獻探討，介紹數位學習、擴增實境之既有技術與相關研究；第三章是研究方法；第四章實驗結果與分析；第五章是結論。3 17. 2. 文獻探討 本章首先對數位學習介紹，接著介紹何謂擴增實境，分析現行無標記擴增實境追蹤技術，最後說明物件偵測與追蹤相關技術。2.1.數位學習 本節首先介紹數位學習緣起，接著說明數位教材的分類及其在數位學習的重要性，最後介紹未來影響數位學習發展及教材製作之技術。2.1.1. 數位學習緣起 根據鄒景平在「數位學習最佳指引-數位學習概論」書中所提[4]，「數位學習(e-Learning)」這個名詞，最早係由一位美國數位學習大師 Jay Cross 於 1999年率先提出，然美國訓 練與發展協會ASTD (American Society for Training and Development)定義 e-Learning 為「學習者應用數位媒介學習的過程，數位媒介包括網際網路、企業網路、電腦、衛星廣播、錄音帶、錄影帶、互動式電視及光碟等。應用的範圍包括網路化學習、電腦化學習、虛擬教室及數位合作」，由此可知 e-Learning 包含的應用範圍相當廣泛，如利用網際網路、衛星廣播、互動電視、以及光碟片教材等來進行課程學習，都屬於數位學習的範疇。另外美國知名的網路科技公司思科(Cisco)對 e-Learning 的定義為「數位學習是透過網際網路，即時傳遞各種資訊及知識給所需要的人，包含有正式的訓練及課程，也包括資訊的傳遞及網路上的互動，知識管理及績效管理亦在其範圍之中」，由此可知 Cisco 對 e-Learning 定義，加入了在職訓練的觀念，不在侷限於我們一般所認知的知識學科上的學習。 4 18. 2.1.2. 數位教材類別 由於數位學習與傳統課堂教學的環境並不相同，傳統課堂教學是以授課老師口頭講授為主，教材為輔，學習者則以被動學習，而數位學習則以教材為主，由學習者主動學習，依自已的能力來設定學習進度，老師這時改變為輔助者的角色，故數位學習的教材製作設計，就相對顯的相當重要，2008 年吳聲毅在「數位學習觀念與實作」書中，依教材呈現的方式不同，將數位學習教材區分為下列 5 類[1]，如圖 2.1 所示：圖 2.1：數位教材種類2.1.2.1. 網頁式教材 這類教材是我們一般最為常見的數位教材，其將傳統課堂上的教材以網頁方式呈現，並加入多媒體（如動畫、圖片、Flash 等），製作方式可透過網頁製作軟體製作，或將文書、簡報軟體製作的教材直接另行輸出成網頁格式，此種數位教材製作最為簡易，但學生只是瀏覽教材，無法聽到教師講解，在學習效果上並無太大的幫助，適合用於補充教學。5 19. 2.1.2.2. 演講式教材 這類教材主要是以投影片的呈現為主，在播放投影片時，可以同步錄製解說視訊或音訊，並設立切換點，因此在畫面上學生可以自行選擇要閱讀的投影片，而視訊或音訊解說將同步播放，此種教材一般較易受學習者接受，適合用於正式授課，但教學素材大多只限於投影片而已，無法隨時切換到其他素材，如多媒體動畫、圖片等。2.1.2.3. 模擬式教材 這類教材主要是錄製電腦螢幕的畫面為主，輔以相關書寫或繪畫工具，將螢幕當成一個黑板進行教學，製作也非常簡單。而教材多以「邊下載邊播放」的視訊串流（streaming）方式進行，一般解析度都必須在 800×600 以上，故網路頻寬也是成為考慮因素之一。目前也有以 Flash 格式輸出的工具軟體，其在錄製後還可以另行編輯內容，包含註解、說明，甚至有測驗的輔助功能，教師可以讓學生學習後立即進行評量，適合用於正式授課，另外也有些專家認為所謂模擬式教材應該是模擬實際情境，如開飛機等，然這種教材需要專業的人士才可以製作。2.1.2.4. 視訊式教材 這類教材主要是透過攝影機（如 DV、Web Cam 等）錄製教材，且經過視訊編輯軟體，將相關素材加以整合、加入旁白字幕等，最後輸出成可以放在網路上的檔案，並籍由串流方式讓學生觀看的教材，此種教材較適合用於需要展演的課程，適合用於正式授課及補充教學。2.1.2.5. 電子書教材這類教材主將各式資料或圖書數位化，並可透過電腦、PDA、手機或電子書 6 20. 閱讀機來供人閱讀，一般多用於輔助教學之用，製作方式是將所有的教學素材加以編輯後，包裝儲存成一個檔案，好處是可以讓學生可以下載教材並隨時觀看，學生並可利用查詢功能快速搜尋， 逹到快速學習的目的。2.1.3. 數位學習趨勢 依據由美國新媒體聯盟和主動學習教育機構所提出的「The Horizon Report2010 Edition」報告中[2]，提出未來五年的數位學習科技技術發展幾項預測，在1 年內成熟的技術「行動運算(Mobile Computing)」及「開於式內容(Open，在 2~3 年內成熟的技術「電子書(Electronic Book)」及「簡單擴增實Content)」境(Simple Augmented Reality)」，在 5 年內成熟的技術「互動手勢操作技術(Gesture-Based Computing)」及「資料視覺化與分析(Visual Data Analysis)」，本文主要為提出對現有運用在「無標記擴增實境數位學習系統」追蹤技術的限制因素來進行分析，故僅對上述「行動學習」及「簡單擴增實境」做說明，說明如下 ：2.1.3.1. 行動運算 在 The Horizon Report 2009 的預測中[5]，預測「行動學習」將於未來的 1~2年內成熟，而在 2010 年的報告中預測「行動運算」的技術也已逐漸成型，原因是近年來由於無線網路的蓬勃發展及結合上智慧型手機(Smart Phone)、筆記型電腦(Notebook Computer)的普及化，使得人們可以隨心所欲在任何地方上網，這也表示學生可以藉由智慧型手機或筆記型電腦，透過無線網路來學習。在美國許多研究指出，由學生使用 iPhone、iPod 或 BlackBerry，經由自行開發平台或現有互動平台，如 Facebook、Twitter，來進行討論、提問和回答問題，研究指出成效良好；此外在美國富蘭克林馬紹爾學院，長達一年的行動學習試驗性計劃中，使用 iPod Touches 來探討行動運算，可應用於教學、學習和研究，這7 21. 些在都證明了行動運算及行動學習，將成為未來數位學習的主流。2.1.3.2. 簡單擴增實境 擴增實境的技術雖然已經發展 10 多年了，但一直受限於需要攝影機、桌上型電腦及顯示螢幕，才能觀看得到現實世界與虛擬物件的結合的影像，但是現在只需要一部有攝影機的智慧型手機或筆記型電腦，即可達成，因此對於使用者來說，擴增實境是很容易融入操作的技術；此外目前擴增實境的發展大多在於娛樂的商業行為上，然目前這個趨勢，將促使擴增實境的技術可以一直被改良操作更加簡單並讓更多的使用者接受並使用，故文中預測在未來的 2~3 年內「擴增實境」的技術成熟後，未來運用到數位學習上是指日可待的。2.1.4. 小結 綜合本節所述，就美國新媒體聯盟和主動學習教育機構所提出的「TheHorizon Report 2010 Edition」報告中，指出在未來幾年「行動運算」及「簡單擴增實境」的技術便會成熟；另外就教材分類而言，本文所研究的內容就本質而言應屬模擬式教材，適合用於正式授課，而若未來可結合「行動運算」那便可開發成網頁式教材，適合用於補充教學，所以本文所提「無標記擴增實境數位學習系統」可以同時運用在正式授課或補充教學的教材。2.2.擴增實境 何謂「擴增實境」？對許多人而言是一個新的名詞，但對另一個名詞「虛擬實境」一定不會感到陌生，故先說明擴增實境與虛擬實境之差別，根據 1994年 Milgram 等人[6]，將真實到虛擬之間的變化程度，提出了「真實-虛擬連續性(reality–virtuality Continuum)」的理論，為擴增實境與虛擬實境做了有所區別。如圖 2.2 所示，兩端點分別代表著真實的環境和虛擬的世界，統稱為混合實境(Mixed Reality，MR)，在不含兩端點的線段的「連續範圍」稱之為「真實-虛擬 8 22. 連續性(Reality–Virtuality Continuum，RV)」。若是比較靠近「真實」端者，即「真實」的成份高於「虛擬」者，則稱之「擴增實境」(Augmented Reality，AR)；相對而言，如果是「虛擬」之比例較高時，則稱之為「擴增虛境」(AugmentedVirtuality，AV)。 簡單的說，「擴增實境」是真實場景與虛擬物件結合，「擴增虛境」虛擬場景與真實物件結合。圖 2.2：虛擬連續性的理論[6]2.2.1. 擴增實境緣起 擴增實境相關技術早在 50 年前就有人提出，從 1960 年電腦繪圖先鋒 IvanSutherland 和他的學生，開發出第一套系統。1970 年代，美國空軍阿姆斯壯實驗室、航太總署艾密斯研究中心及北卡羅來納大學教堂山分校等機構，有幾個人從事擴增實境的研究。到 1990 年代初波音公司有幾個科學家才創造了「擴增實境」這個名詞，他們當時正在開發一種實驗性擴增實境系統，協助工人裝配管線設備[7]。到了 1997 年 Azuma 對擴增實境提出了定義[8]：「擴增實境是由虛擬實境（或俗稱虛擬現實，VE）所變化而來的，虛擬實境的技術是該使用者完全沉浸於一個合成環境中 使用者無法看到在他周圍真實的世界 相比之下，，。擴增實境在真實的世界與虛擬物體複合疊加後 則允許使用者看到真實的世界， 。9 23. 因此，擴增實境是增強的現實環境，而不是完全取代它」，Azuma 並提出擴增實境至少具有三大特性：(1)結合虛擬與真實世界(Combines real and virtual)，(2)可供即時性互動 (Interactive in real time)， (3)資訊必 需呈現在三 度空間內(Registered in 3-D)。2.2.2. 擴增實境基本原理本節首先介紹在 2005 年 Oliver Bimber 和 Ramesh Raskar 所提出擴增實境基礎架構，由當中可以瞭解擴增實境的底層技術，接著說明如何實現擴增實境運作步驟。2.2.2.1. 擴增實境基礎架構Oliver Bimber 和 Ramesh Raskar 在 2005 年「Spatial Augmented RealityMerging Real and Virtual Worlds」的書中提出擴增實境的基礎架構[9]，如圖 2.3所示。 圖 2.3：擴增實境的基礎架構[9]由於擴增實境是真實環境與 3D 虛擬物件結合，故最底層技術為「影像處理」領域的「追蹤及定位(Tracking and Registration)」負責辨識物件及追蹤物件位置，「電腦圖學」領域的「3D 物件顯示技術(Display Techniques)」和「渲染 10 24. (Rendering)」負責將 3D 虛擬物件繪製整合圖形於物件相對位置上。第二層由「人機互動控制(Interaction devices and techniques)」 、「展示(Presentation)」 及「創作(Authoring)」所組成，負責與使用者互動，如人機操作介面及劇本創作，而現今虛擬實境的研究大多已經邁向此階段。第三層為「應用層(Application)」，將結果呈現在使用者面前，第四層為「使用者(User)」。2.2.2.2. 擴增實境運作步驟擴增實境技術基本運作可分為四大步驟，如圖 2.4。首先從攝影機輸入影像 (載入)；接著擷取特定物件或標記，並分析圖標的角度及位置(追蹤辨識)；再來是載入及疊加 3D 物件(定位疊加)；最後將 3D 影像顯示於螢幕上(顯示)。圖 2.4：擴增實境運作步驟 11 25. 2.2.3. 擴增實境類別 擴增實境是將真實場景與虛擬物件結合，其基礎技術為影像追蹤及辨識，可區分為「標記」及「無標記」等二類[9]，定義分述如下：2.2.3.1. 標記系統 標記系統代表擴增實境系統 必須經由特定標記 圖樣供系統辨識及定位， ，、而其標記的圖樣如圖 2.5 所示[10]。而在標記系統大多數使用由美國華盛頓大學人機介面實驗室所開發出來的 ARToolkit 免費軟體來進行開發 然而為 了3D，定位準確及快速，ARToolkit 標記必須符合「必須是正方形」「邊框必需與背、景是對比顏色」及「標記圖案 不可旋轉對稱」等 3 個原則，才可以準確且快速的定位[11]。圖 2.5：標記圖樣[10] 標記技術需透過系統特別的標記，來當作觸發的媒介，當攝影機畫面比對出符合標記的圖樣時，便即時在圖樣上置放預先設定好的虛擬物件，並同時在螢幕上顯示出擴增實境的畫面，示意圖如圖 2.6，本文將完整流程圖整理如圖2.7 所示。然而標記受限於上述 3 個原則，在應用上較不美觀，但也因為符合上述原則，使用標記時，可方便追蹤、辨識及定位。12 26. 圖 2.6：標記擴增實境示意圖 圖 2.7：標記擴增實境運作流程圖2.2.3.2. 無標記系統 無標記系統代表擴增實境系統不須特定標記、圖樣來辨識及定位，可依使用者喜好自行設計圖樣或使用真實物件來進行辨識及定位，示意圖如圖 2.8。故無標記技術為使用没有固定標記的圖像來當作觸發的媒介，在使用前需先擷取辨識物件圖像或其特徵點(如：紋理、顏色、輪廓等等)，當攝影機畫面比對出符合物件圖像或特徵點時，便即時在圖樣上置放預先設定好的虛擬物件，並同時在螢幕上顯示擴增實境的畫面，本文將完整流程圖整理如圖 2.9 所示。然因無標記使用為非物件圖像或特徵點，故在應用上較方便及美觀，但必須配合正確的追蹤辨識技術，方能順利呈現 3D 物件。 13 27. 圖 2.8：無標記擴增實境示意圖 圖 2.9：無標記擴增實境運作流程圖2.2.4. 擴增實境技術在數位學習之應用 近年來已有許多研究提出擴增實境在數位學習的運用，在考量篇幅關係，故列舉「電磁學教學」「電腦兵棋推演」及「軍事裝備維修」等 3 例，分別介、紹如下：2.2.4.1. 電磁學教學 2009 年德國 Andre´ Buchau 等人[14]提出運用擴增實境可視化特性，將人眼無法看見的電磁場模擬出來，這樣的技術運用在電磁學教學上，可以使得學生輕鬆瞭解其特性及物理現象，如圖 2.10 所示。 14 28. 圖 2.10：電磁學教學系統[14]2.2.4.2. 電腦兵棋推演 在 2005 年紐西蘭坎特伯雷大學 Trond Nilsen 及 Julian Looser 等人[15]，設計出可 2 人以上同時操作使用的擴增實境坦克大戰遊戲，如圖 2.11 所示，這項技術若引進至軍方，運用在爾後軍中的戰術教學部份，相信更可提昇學習者的學習興趣。圖 2.11：擴增實境坦克大戰遊戲[15]2.2.4.3. 軍事裝備維修 在 2009 年美國哥倫比亞大學的 Steve Henderson 和 Steve Feiner 與美國海軍陸戰隊配合[16]，將擴增實境的技術運用在維修 LAV-25A1 裝甲運兵車，如圖2.12 所示，在繁複的維修作業中，透過擴增實境技術的幫助，使用者可以藉由頭戴顯示器(HMD)快速獲知維修機器時所需的資訊，逹到快速維修節省時間、15 29. 人力的目的。擴增實境的技術運用在軍事裝備維修上，除可以有效降低人員訓練時間及成本外，另外亦可迅速指引維修人員進行裝備檢修。圖 2.12：美軍維修 LAV-25A1 裝甲運兵車[16]2.2.5. 小結 綜觀近年的許多擴增實境在「數位學習」的應用發現， 絶大多數的應用系統，開發平台都為使用「美國華盛頓大學人機介面實驗室」所開發出來的ARToolkit 2.72.1 版，而 ARToolkit 2.72.1 版本之前，所使用就為「標記」系統，故相對所開發出來的系統，均為「標記」系統，然就運用在「數位學習」上來說，要開發出操作人性化、內容豐富，且多樣化的教材系統，建議使用「無標記」。因為其不受「標記」的限制，操作介面可以更加便利、親切及人性化。2.3.無標記擴增實境追蹤技術分析 本節將首先介紹現有無標記擴增實境開發平台，接著分析影響追蹤技術因素。2.3.1. 現有開發平台 擴增實境現有絶大多數的開發平台均有支援「標記」，而支援「無標記」的開發平台不多，以下僅介紹支援無標記的開發平台。 16 30. 2.3.1.1. ARToolkit Professional Edition ARToolkit 是由 C 語言撰寫的函式庫，透過 C 或 C++語言可以讓使用者輕鬆地使用「標記」開發出擴增實境的應用。起初是由「美國華盛頓大學人機介面實驗室」所開發出來的免費版本，目前最新的免費版本是 2.72.1，而在之後便推出 ARToolKit Professional Edition 商業化版本，其中結合了許多新的影像處理技術，而在「無標記」的部份 ARToolkit 也推出了 ARToolKit NFT[12]，對物件的自然特徵的紋理表面進行追踪，讓使用者可以輕鬆地使用開發出「無標記擴增實境系統」，但在無標記辨識時物件影像周圍必須設置傳統標記如圖2.13 所示，以利追蹤辨識。 圖 2.13：ARToolKit NFT 無標記示意圖[12]2.3.1.2. D’ FusionD’Fusion是由TOTAL IMMERSION公司所開發出來擴增實境應用軟體[17]，所使用的語言為Script ，其也支援「無標記」，但在物件追蹤會受限於物件本身的複雜度。物件複雜度越高，追蹤、辨識效果越好；反之，物件複雜度越低，追蹤、辨識效果越差。其目前「無標記」相關應用以平面圖卡為主，並未有以真實物件供追蹤辨識及在真實物件上呈現3D物件之運用案例。17 31. 2.3.1.3. Unifeye DesignUnifeye Design 是由 Metaio 公司的所開發出來擴增實境應用軟體[18]，所使用的語言為 C#，其也支援「無標記」，然他的限制在於目前所呈現出來均為運用於故事書上製作為主，並未有以真實物件供追蹤辨識及在真實物件上呈現3D 物件之運用案例。2.3.1.4. 小結綜觀上述無標記開發平台，其在追蹤辨識技術均有所侷限，ARToolkit 受限於辨識時物件影像周圍必須設置傳統標記 D’Fusion 及 Unifeye Design 就目 ，前所知，均無法對真實物件追蹤辨識，故無法滿足本文所提須能追蹤各式真實物件。2.3.2. 影響追蹤技術因素分析由於擴增實境的底層核心技術之一是影像處理領域的追蹤及辨識，然在進行影像追蹤、辨識及定位時，會受「環境光源」、「辨識圖樣角度」、「影像解析度」、「辨識圖樣材質」等 4 點因素限制[3]，原因分述如下：2.3.2.1. 環境光源一般我們從攝影機獲得影像通常為 RGB 色彩模型，而周邊環境的光源明亮會導致影像 RGB 值出現變化，當物件追蹤周邊光源有強烈變化時，將會因RGB 值出現變化而致使辨識錯誤，另外光線照射所產生的陰影，也都會造成辨識失敗。2.3.2.2. 辨識圖樣角度攝影機與辨識物件平面的夾角以 90 度為最佳，但會降低使用的靈活度。當18 32. 夾角超過 180 度時，會導致追蹤辨識失敗。換而言之，當辨識的夾角越大使用靈活度越高，但相對的辨識效果愈差；辨識的夾角越小使用靈活度越低，但相對的辨識效果愈高，故通常攝影機與辨識物件平面的夾角為 20 度~160 度，以保持操作靈活度。2.3.2.3. 影像解析度 影像的解析度會影響辨識及追蹤效果，原因在於解析度越高則辨識物件細節部份越清楚，但會增加系統運算時間。反之，解析度越低，雖然會減少系統運算時間，但可能會因畫素不足導致辨識物件細節部份模糊不清，故必須在二者之間取得平衡。2.3.2.4. 辨識物件材質 辨識物件平面的材質會影響到辨識追蹤，原因在於當光線照射於辨識物件平面時 由於物件材質本身的關係造成反光 使得物件平面上的部份特徵消失， ， ，致使辨識錯誤，因必須此審慎選擇物件材質。2.4.物件偵測與追蹤相關技術 就 2.2.2.2 節所述擴增實境運作步驟原理的四大步驟「載入」 ，、「追蹤辨識」、「定位疊加」及「顯示」，其中追蹤辨識部份，主要運用「移動物偵測」的相關方法將物件從影像中分 離出來，進一步再運用「物件追蹤」相關方法進行持續追蹤，最後用「座標轉換」方法取得物件所在位置之座標，並將虛擬物件疊加在追蹤物件的座標位置上。2.4.1. 移動物偵測 移動物偵測主要在擷取移動物件，以利後續移動物件追蹤，常見之移動物19 33. 件偵測追蹤方法可分為光流法(Optical Flow Method)、時序差異法(TemporalDifferencing)與背景相減法(Background Subtraction)等三類[19]，分述如下。2.4.1.1. 光流法 光流法係運用連續影像中，圖像像素的亮度變化，來找出影像中的光流場(Optical Flow Field)，再藉由光流場來估計移動物體的運動向量後進行特徵匹配。簡單來說，光流法就是藉由偵測光線強弱的變化來進行偵測移動物件，示意圖如圖 2.14 所示。 在眾多光流法中，目前常用的方法為「H-S光流法」[20]，以及「L-K光流法」[22]。前者為Horn及Schunck於1981年提出，此方法較不易受到雜訊之影響，但因使用疊代法求解，故在計算速度上會顯的較慢[21]。「L-K光流法」為Lucas及Kanade 於1981年所提出，其基本原理基於下列三項假設[23]：1.亮度不變性：以灰階影像而言，其意義為一物體的亮度不會在相鄰二幅影像中 出現巨大的變化。2.時間連續性：假設一物體在即時相鄰二幅影像中移動距離是很微小，然由於實 際上在即時環境下1秒為15至30張圖像，故物體在相鄰二幅影像 中所移動距離並不會移動過大。3.空間一致性：畫面中相鄰的點屬同一物體平面，則會有相似的移動，在影像內 不會距離太遠。 「L-K光流法」優點在於僅對部分區域的光流場進行分析計算，故在計算上相對更顯快速簡單，缺點則為僅能計算較短的移動向量，對於長距離的移動則無法有效的偵測。為解決上述問題，Bouguet於1999年提出「金字塔L-K光流法」[24]，主要將「L-K光流法」結合金字塔結構特性，追蹤時先從低解析度的影像開始追蹤，再追蹤到高解析度影像。藉由計算低解析度的移動矩離來對應回至20 34. 高解析度的矩離，便可解決因移動離過大導致無法正確追蹤物件之缺點。圖 2.14：光流法示意圖[25]2.4.1.2. 時序差異法 時序差異法的原理，是利用連續二幅或三幅的影像做一對一的像素相減，若是兩者差異不為零，則為前景物件[19]。在 1998 年 Lipton 等人成功的運用此方法檢測出前景物件[26]；2000 年卡內基美隆大學機器人研究所在其研究報告中，運用連續三張的影像來取得移動特徵，並利用設定一個門檻值來決定那些是前景物件[27]。上述二者方法在計算效能上都有非常好的效率，但缺點就是無法取得完整的前景物件[28]，如圖 2.15 所示，其中物件移動時，因影像 K-1及影像 K 部份區域有重疊，導致在比較時造成錯判，故無法取得完整的前景物件。 圖 2.15：時序差異法示意圖[28]21 35. 2.4.1.3. 背景相減法 背景相減法的原理，係先行運用幾秒的連續影像來建立初步背景，背景建立完成後，再以目前影像與背景影像比較，符合背景條件的則判定為背景，反之則判定前景物件。但因判定時完全參照背景影像，故在動態場景光線或背景改變時易形成誤判[19]。此方法之優點在於運算快速，且可擷取到完整的前景物件。 在 2005 年 Jacques 等人提出背景相減法，背景模型 B(x,y)建立公式如公式(2.1)[29]。 m(i, j)zV (i, j)min zB(i, j) = � n(i, j) � = � zV (i, j)max z� d(i, j)max|V z (i,j) − V z−1 (i, j)| (2.1)zwhere |V z (i, j) − λ(i, j)| < 2σ(i, j) 其中 V 為連續 n 張影像，Vz(i,j)為第 n 張影像中(i,j)的像素值，m(i,j)和 n(i,j)分別為 V 中相對位置(i,j)的最大值及最小值，而 d(i,j)則為二張相鄰影像相對位置(i,j)的最大差異值，λ(i,j)和σ(i,j)分別為連續 n 張影像中相對位置(i,j)的中位數(Median)和標準差(Standard Deviation) 當新影像 It(i,j)進入時 經由與公式(2.2)，，比對，擷取出前景物件。 0 , I t (i, j) > (m(i, j) − kμ) and I t (i, j) < (m(i, j) + kμ)F(i, j) = � 1 , otherwise (2.2)當中μ為最大差異值 d(i,j)的中位數，k 則為一常數，而 F(i,j)為前景物件，擷取結果如圖 2.16 所示。22 36. 圖 2.16：背景相減法結果圖[29]2.4.1.4. 小結分析上述 3 種方法，其中光流法及時序差異法都不需先行建立背景，然時序差異法問題在於無法擷取完整的前景物件，這樣對於後續的移動物件追蹤與辨識將無法提供完整的資訊 背景相減法則需先行運用一段時間影像建立背景。 ，所以前置準備作業較長。光流法雖易受光源影響且計算方式較複雜，但優點在於不需先行得知目標物的特徵，僅藉由影像亮度的變化， 即可求得物體位移距離。而「金字塔 L-K光流法」可以僅對部分區域光流場進行分析計算，計算上相對更顯快速簡單，再搭配其他特徵點尋找的方法(如 SIFT SURF 等等) 即可達成物件追蹤辨識， ：、 ，可應用在「無標記擴增實境數位學習系統」上開發出追蹤各式物件技術。2.4.2. 物件追蹤物件追蹤(Object Tracking)是藉由比對連續影像間物件的相似程度，此範疇涵蓋物件特徵擷取、目標物搜尋及物件辨識等，而現有物件追蹤的方法可分為「區域式追蹤 (Region-Based Tracking)」「主動式輪廓追蹤(Active Contour-Based 、Tracking)」 「特徵追蹤(Feature-Based Tracking)」及「模型追蹤(Model-Based、Tracking)」等四類[19][30][32]，分述如下：23 37. 2.4.2.1. 區域式追蹤 此類方法的原理係將影像變動的區域視為移動物件，藉著偵測這些變動區域的位置，來達到追蹤的目的。常用的方法是利用目前的影像與背景相減或運用連續二張影像相減，所偵測出變化的區域，然後再進一步設立規則做篩選，或劃分。2.4.2.2. 主動式輪廓追蹤 此方法的原理係為運用物件的輪廓線（例如影像邊緣、形狀等）來描述移動的物件，再利用每張影像上輪廓的資訊更新來追蹤物件。這種方法相對於區域式追蹤對描述物件較為簡單且更有效率，也因輪廓線是封閉曲線，即使物體交錯，也不會受到影響，但追蹤效果和初步輪廓的偵測或選取密切相關，故較難用於全自動的偵測追蹤系統。2.4.2.3. 特徵追蹤 這種方法的原理係運用物件本身的特徵來進行追蹤，但首先要對追蹤物件本身擷取其特徵。然而根據不同的特徵，可分為「整體性特徵（global featurebased），如重心、色彩、面積、紋理，」「局部性特徵（local feature based），如」線段、頂點， 「相依圖形特徵(dependence graph based)」，如特徵間的結構變化等3 類。此方法可以用來即時追蹤多個物體(相依圖形特徵方法除外)，並可利用運動特徵、局部特徵或相依圖形特徵來解決物體交錯的問題。 1999 年 Comaniciu 以及 Meer 提出「平均值移動的追蹤技術(Mean ShiftObject Tracking)」[33]，其原理是統計移動區域內的亮度值，依不同位置給予不同的亮度比重，組合成目標物的特徵模型，然後再從影像中找出和目標物模型最相像的區域，藉此達到追蹤的目的。 2004 年 由 Lowe 所 提 出 「 尺 度 不 變 特 徵 轉 換 (Scale-Invariant Features24 38. Transform，SIFT)」[34]，是目前最為熱門的局部性特徵，該特徵對旋轉、尺度縮放、亮度變化可保持不變性，另對視角變化、仿射變換也可以保有一定穩定性 2008 年 Bay 等人提出 。 「加速強健性特徵(Speeded-Up Robust Features SURF)」 ，[38]，該特徵係將影像轉換為積分影像並擷取特徵點，特徵點描述改良 SIFT 特徵點描述之方法，其優點為運算速度較 SIFT 快。2.4.2.4. 模型追蹤此類方法之原理係先建立物體模型，再利用已知或假設的運動特徵建立運動模型，用運動模型去預測下一張影像的物體模型變化，最後透過搜尋和比對來完成。而模型追蹤的方法會提供較精細且準確的判斷，因此需要良好的物體結構模型，所以基本上比較不受附近背景或其他物件干擾影響，也較能抵抗物體間交錯問題，但相對地運算量也比較大。2.4.2.5. 小結要開發出適用於「無標記擴增實境數位學習系統」的追蹤技術，如何選取有效的特徵將是非常重要的課題，從上述 4 種分類上來講，本文將採取「特徵追蹤」中的「局部性特徵」 ，因其中 SIFT 及 SURF 等 2 項特徵點，對旋轉、尺度縮放變化都可保持不變性，在開發「無標記擴增實境數位學習系統」追蹤技術上，可提供有效的特徵點，以逹即時且穩定快速追蹤的目的。2.4.3. 物件特徵擷取本節介紹「局部性特徵」中 SIFT 及 SURF 等 2 項特徵比對原理。2.4.3.1. SIFT特徵比對原理SIFT 是 1999 年 Lowe 所提出，並在 2004 年整合總結 [34]，是目前最為熱門的局部性特徵。該特徵對旋轉、尺度縮放、亮度變化可保持不變性，另對視25 39. 角變化、仿射變換也可以保有一定穩定性。SIFT 主要分成尺度不變特徵偵測(SIFT Detector)與特徵描述(Feature Descriptor)兩部份。其中，尺度不變特徵偵測主要是在可能的尺度中搜尋穩定的興趣點(Interest point) 為了保持其穩定性， ，SIFT 會將不穩定的邊緣響應(Edge responses)去除。而特徵描述是在保持興趣點獨特性，也就是運用統計興趣點周圍的梯 度變化程度，並轉換成 128 維的描述向量，以強化與趣點的獨特性。 SIFT 主要分為「尺度空間極值檢測」「特徵點最佳化及定位」「計算特徵、、點分向性」及「特徵點描述」等四個步驟，分述如下：2.4.3.1.1. 尺度空間建立與極值偵測 為了達成尺度不變特徵的目的，最基本的概念就是從所有的尺度空間中搜尋穩定的特徵，但實際上確是不可行，原因是尺度空間可以為無限大，故不可能在所有的尺度 空間中搜尋，所以 SIFT 採用高斯差分濾波 (Difference ofGaussian filter, DoG filter)來建立尺度空間，在建立完成尺度空間後，進而搜尋空間中的極值(Extrema)，所這個步驟可以分為 2 個流程。1. 高斯差分濾波在使用 DoG 濾波之前，首先我們先定義一個 Gaussian kernel，已知給定一個σ，並以高斯濾波函數(Gaussian filter)為公式(2.3)。1 −(x2 +y2)⁄σ2G(x, y, σ) =e 2πσ2(2.3) 假設 I(x, y)為影像 I 在(x, y)處之像素値(Pixel value) 利用 ， 公式(2.3)對 I(x, y)作迴旋積分(Convolution)，我們就可以得到一個尺度為σ且具有可變尺度 26 40. (Scale variable)的高斯濾波結果 L ，如公式(2.4)，其中 L 表示為尺度空間，(x, y)表示為影像 I 上的點，而σ表示為尺度因子，其值越小代表該影像平滑效果越小。反之，則代表平滑效果越大，大的尺度空間代表影像的概樣特徵，小的尺度空間則代表影像中細微特徵，所以尺度因子的選擇是最為關鍵的。L(x, y, σ) = G(x, y, σ) ∗ I(x, y) (2.4) 應用這個高斯濾波函數，DoG濾波就是給定兩個不同尺度的高斯濾波器對影像I做濾波，再將濾波後的影像相減，公式如(2.5) 。G(x, y, σ) = L(x, y, kσ) − L(x, y, σ) (2.5) 因此，DoG 濾波也相當於是把兩個Gaussian kernel 直接作相減，再將相減之後的結果對I(x, y)作迴旋積分，公式如(2.6) 。G(x, y, σ) = (G(x, y, kσ) − G(x, y, σ)) ∗ I(x, y) (2.6) 此流程主要應用影像金字塔(Image pyramid)的概念，完成一組(octave)尺度空間，取樣頻率就可以減半，也就是將原始影像縮小一倍，然後繼續產生下一組尺度空間，依此類推，這樣就可以產生多組尺度空間，其目的是在尺度縮減的情況下再建立一個尺度空間，以讓接下來步驟中取得更多可能的特徵。以圖2.17為例，其中最底層就是沒作高斯濾波的影像，接下來每做一次高斯濾波就將σ取k倍再做一次高斯濾波產生下一層，所以k就是兩層相近尺度的比例。依此類推，我們可以產生多層不同尺度的高斯濾波結果。接下來再將同一尺度高斯濾波的結果相減，所得到的差分結果即為高斯差分的結果，而這個利用高斯差27 41. 分濾波器所產生尺度空間，就是偵測極值的尺度空間。 圖 2.17：高斯差分濾波示意圖[34]2.尺度空間極值偵測從上一個步驟中所獲得的尺度空間，接下來就可以這尺度空間中搜尋可能的特徵點(也就是興趣點)，其方法是搜尋空間中的極値(Extrema)，以圖 2.18為例，若尺度空間中存在一個X點，為周圍26個點中的最大值或最小值(上一層9個鄰近點、同一層8個鄰近點與下一層9個鄰近點)，則該點即判定為特徵點。最後若確定興趣點為特徵點時，若當初該特徵點尺度縮減的取樣頻率為1/ f 倍，就將該特徵點的座標皆乘以f倍，即可得到該特徵點在原始影像尺 度中的座標位置。圖 2.18：極值搜尋示意圖[34]28 42. 2.4.3.1.2. 特徵點最佳化及定位由於高斯差分濾波器對邊緣響應較為敏感，故在這些興趣點中可能包含許多不穩定的邊緣響應，故為了去除這些不穩定的邊緣響應，步驟運用泰勒展開式(Taylor expansion)及海森矩陣(Hessian)消除雜訊、邊緣響應的影像，以增強特徵匹配時的穩定性。1.泰勒展開式點，T 為轉置矩陣，根據泰勒展開式可得偏移量 x ，並將其帶入公式(2.8)，如 �首先運用公式(2.7)刪除低對比點，其中 D 為 DOG 運算後結果，x 為興趣果計算出來絶對值小於 0.03 則視為雜訊。 ∂DT 1 T ∂2 DD(x) = D + x+ x x∂x 2 ∂x 2 (2.7)∂2 D−1 ∂Dx=−� ∂x 2 ∂x (2.8)2. 海森矩陣接著運用海森矩陣消除邊緣響應，首先在興趣點上運用公式(2.9)求得 H 矩陣，之後代入公式(2.10)求得 Tr(H)及 Det(H)，並代入公式(2.11)，若條件成立(其中γ部份為一門檻值，通常設為 10)，則該點則視為受邊緣響應影響並將其刪除，最後所剩餘的興趣點即為特徵點。Dxx DxyH=� � DxyDyy (2.9)Tr (H) = Dxx + Dyy = α + β(2.10)29 43. Det(H) = Dxx Dyy − (Dxy )2 = αβTr (H)2 (γ + 1)2 1時則判定該點為興趣點。Det�Happrox � = Dxx Dyy − (0.9 × Dxy )2(2.19)4.特徵點定位 興趣點確定後，接下來就以這些興趣點搜尋確定特徵點，方法與 SIFT 中尺度空間極值偵測相同。以圖 2.18 為例，若尺度空間中存在一個 X 點為周圍26 個點中的最大值(上一層 9 個鄰近點、同一層 8 個鄰近點與下一層 9 個鄰近點)，則該點即判定為特徵點。2.4.3.2.2. 計算特徵點方向性 為保持旋轉不變性，首先以特徵點為圓心取半徑大小為 6σ(σ 為特徵點所在尺度值)的圓形區域內，對每個點進行一階 Haar 小波遮罩運算(Haar 小波邊 35 49. 長為 4σ)，並以高斯加權進行加權，其一階導數可表示運算區域於與方向的梯度。再以圓心角(60 度)扇形視窗繞著特徵點掃描，並根據每個掃描角度，統計扇形視窗內的一階導數值(dx 與 dy)的加總，以扇形區域內有最大加總值的掃描角度作為其特徵的主要方向。如圖 2.24 所示，斑點部份為 Haar 小波遮罩運算一階導數值(dx 與 dy)，灰色扇形為掃描視窗，箭頭長度為經過加總後的大小，箭頭方向則表示為特徵點方向。 圖 2.24：主方向示意圖[38]2.4.3.2.3. 特徵點描述 SURF 特徵點描述的建立是以特徵點為中心建立一個邊長為20σ大小的正方形區域，並將區域內每5σ邊長大小劃分成子區域。在各個子區域中，進行以邊長為2σ大小的一階Haar 小波遮罩進行運算(dx與dy)，以最左上角第一個像素點起，每隔σ像素的距離進行一次運算，因此每個Haar 小波在每個子區域內共計算25次，如圖 2.25所示。 36 50. 圖 2.25：特徵點描述示意圖[38]最後每個子區域分別累計成 Σdx、Σdy、︱Σdx︱與︱Σ dy︱的一組四個加總值表示向量，此 16 個子區域的特徵向量便可形成一個描述該特徵點的 4＊4＊4=64 維度的特徵描述子。2.4.3.3. 小結在開發「無標記擴增實境數位學習系統」追蹤技術上，必須講求的是即時且穩定快速的追蹤，而上述 SIFT 及 SURF 等 2 項特徵點比對方法，對旋轉、尺度縮放等變化都可保持不變性 另對視角變化 仿射變換也保有相當穩定性，，、可用於「無標記擴增實境數位學習系統」追蹤技術極為合適。本文將於錯誤! 找不到參照來源。節比較分析兩種方法用在「無標記擴增實境數位學習系統」適用性，並採用效能較佳之方法。2.4.4. 座標轉換由於在3D物件要在螢幕上與現實場景結合，而螢幕上的影像平面為2D座標，故必需將3D圖形投影成2D圖形，並運用一些3D效果，讓2D圖形看起來有3D感覺。轉換公式如(2.20)，而攝影機的參數矩陣計算採用1997年Heikkila和Silven的方法[40]。 37 51. 1 0 0 0 R−Rtq ≅ K �0 1 0 0� � T �= K[R |−Rt] = M 0 1 0 0 1 0(2.20) 公式(2.20)中 K 為相機校正矩陣公式如(2.21)，當中 Cx 與 Cy 分別代表 x 與y 上的偏移量， 而 fx 與 fy 分別代表在真實的感光耦合元件(Charge CoupledDevices, CCD)相機中，在物理意義上 X 方向與 Y 方向之量值不一定為 1 比 1，而影像上的像素並非 1 比 1，則必須在 X 與 Y 方向各導入一個比例參數，故fx 與 fy 分別代表比例參數的座標點；另在感光耦合元件相機中，物理意義上的像素也不一定是矩形，故 s 則代表 X 軸與 Y 軸的歪斜參數。 fxscxK = �0fycy � 00 1 (2.21) R−Rt�代表相機座標系統( Q c )，展開後公式(2.22)，其中 0T1為世界座標系統三維座標點，t 為位移轉換代表攝影機在世界座標系統位置， 公式(2.20)中�R 為旋轉矩陣代表攝影機之方向。 R1R2R3 t x Xm R6 t y Ym�R 4 R5�� � R7R8R9 t z Zm 0 0 011(2.22)38 52. 3. 無標記擴增實境視覺追蹤系統 本章首先分析影響無標記擴增實境視覺追蹤辨識因素，接著介紹無標記擴增實境視覺追蹤技術，最後說明如何運用無標記擴增實境技術建立數位學習環境。3.1. 影響無標記擴增實境視覺追蹤辨識因素分析 影像處理領域的追蹤及辨識是擴增實境底層核心技術之一 如 2.3.2 節所述，當在進行影像追蹤、辨識及定位時，會受「環境光源」、「辨識圖樣角度」、「影像解析度」 「辨識圖樣材質」 4 項基礎因素影響，而就本文所提運用 、等「無標記擴增實境數位學習系統」能即時追蹤各式真實物件技術下，考量使用環境大都為室內，且影像解析度基本要求為 640＊480，故受「環境光源」及「影像解析度」因素影響不大。辨識物件本身複雜度會受「辨識圖樣角度」及「辨識圖樣材質」影響；移動速度快慢在視覺追蹤中會影響追蹤效能，故本節對「物件複雜度」及「物件移動速度」影響追蹤效果進行說明。3.1.1. 物件複雜度 物件的複雜度係指追蹤辨識物件上是否具有可供追蹤辨識的「特徵點」，高複雜度物件代表該物件具備「多特徵點」；反之，低複雜度物件則表示具備「較少特徵點」。具備高複雜度之物件容易從影像中辨識與追蹤，低複雜度之物件則不易追蹤與辨識，故追蹤辨識的效能會受物件複雜度影響。如圖 3.1 所示(a)為低複雜度物件，以及 SURF 之方法所找到之特徵點，(b)為高複雜度物件，以及 SURF 之方法所找到之特徵點。很明顯可以看出高複雜度之物件具備較多的特徵點，利於物件辨識與追蹤。39 53. 圖 3.1：物件複雜度對物件辨識追蹤之影響： (a) 低複雜度物件及 SURF 特徵點、(b) 高複雜度物件及 SURF 特徵點。3.1.2. 物件移動速度 追蹤物的移動速度，係指追蹤辨識物件在影像中的移動速度，通常在追蹤辨識物件時 運用目標物移動所造成與背景差異 再取得前景區域後進行辨識。 ， ，因此在即時追蹤辨識中，系統運算速度必須夠快，否則移動物件速度太快，可能造成在系統運算完畢後，而物件已不在該位置，形成誤判，如圖 3.2 所示。圖中(a)為設定追蹤物件 (b)及(c)以正常速度移動物件時 則都可順利追蹤物件； ， ；圖中(d)為當物件快速移動時，則因移動速度太快，導致追蹤誤判。圖 3.2 物件移動速度對追蹤物件之影響 (a)設定追蹤物件；(b)及(c)物件以正 ：：常速度移動；(d)物件快速移動。 40 54. 3.1.3. 小結 在「無標記擴增實境」中，如果追蹤辨識效能高，學習者在操作系統時，才可以隨心所欲的移動辨識的物件，增加系統的實用性。相對的如果追蹤辨識效能太慢，則學習者移動物件速度將受到限制，系統的實用性將有所侷限。3.2. 無標記擴增實境視覺追蹤技術 本提出適用於「無標記擴增實境數位學習系統」能即時追蹤各式真實物件技術，主要分為四步驟：「框選追蹤物件」「色彩空間轉換」「物件偵測追蹤」、 、及「定位顯像」。詳細流程如圖 3.3 所示。 預先定義3D物件 視訊影像 框選追蹤物件 擴增實 色彩空間轉換物件偵測追蹤定位顯像 境畫面圖 3.3：無標記擴增實境系統流程圖 首先於影像畫面中，框選出追蹤物件，其次將物件及視訊影像色彩空間轉換為灰階，增加運算效率。接著運用物件偵測方法，擷取出物件特徵值，並運用物件追蹤技術，持續追蹤移動物件。最後利用定位顯像技術，將座標轉換及疊加 3D 物件於追蹤物件上。41 55. 3.2.1. 框選追蹤物件為了能正確且快速將 3D 物件疊加於追蹤物件，本文採用手動方式框選追蹤物件，主要原因在於若採用自動偵測影像中移動物件，在取得初步移動物件影像後，仍需經過複雜程序以判斷或去除其他非移動物件之部份，以正確且完整取得移動物件。其次若欲同時處理多個移動物件，則須比對判斷出各正確物件，會增加系統運算時間且降低整體效能。故本文採用手動框選方式以降低運算複雜度，有效提昇整體系統效能。另在框選物件時須注意下列事項：1.框選時應儘量避免框選過多背景部份(非物件區域)。2.若物件外觀為不規則形，則框選時應以物件內最大矩形為框選區域。此外，可採用載入物件圖像的方法，來取代框選追蹤物件，以增加本文所提技術實用性。3.2.2. 色彩空間轉換為快速比對及追蹤移動物件，本文將框選之移動物件及擷取之視訊框轉換為灰階影像，以降低計算維度，增加運算效率，轉換公式如(3.1) [31]。I = 0.299 × R + 0.587 × G + 0.114 × B(3.1)3.2.3. 物件偵測追蹤本流程主要在於能持續辨識與追蹤框選物件，以獲取追蹤物件在影像中的相對位置及方向，俾利後續定位顯像放置 3D 物件使用。流程圖如圖 3.4 所示，主要步驟分為「擷取特徵點」「物件追蹤」「擷取移動區域特徵點」及「單應 、、性計算」等 4 項，詳細說明分述如后：42 56. 載入全幅區域影像 物件特徵點 框選擷取 框選區域影像特徵點設定影像全幅區域15 判斷載入 或是框選擷取移動 移動區域特徵點物件 區域特徵特徵點 比對 灰階影像影像 15 特徵點框選物件載入物件單應性 計算 物件移 動區域4個角點 追蹤物件灰階影像物件追蹤4個角點 定位顯像資訊影像 4個角點 圖 3.4：物件偵測追蹤流程圖3.2.3.1. 特徵點擷取 本文提出「無標記擴增實境數位學習系統」，期望能即時追蹤各式真實物件，且持續穩定呈現 3D 物件，以獲得良好學習成效，因此持續對物件偵測追蹤更顯相當重要，而且必須審慎擷取物件特徵點。在擴增實境實際運用中，物件會隨著不同的需求而有所旋轉、尺度縮放、亮度、視角及仿射變化等等，因此物件特徵點必須能抵抗這些變化。所以本文採用 SIFT[34]及 SURF[38]特徵點擷取方法，詳如方法如 2.4.3.1 節及 2.4.3.2 節所述，本文將分析兩種方法用在「無標記擴增實境數位學習系統」之優缺點。SIFT 方法係採用美國俄勒岡州州立大學 Rob Hess 所提供之 SIFT 函式庫[41]，影像金字塔層數設為 4 層，高斯模糊σ 設定為 1.6，共產生 16 個不同尺度空間，8 個尺度極值搜尋層，特徵向量維度設為 128 維。另 SURF 係採用 OpenCV2.2 版所提供函式庫[42]，參數設定為金字塔層數設為 4 層，共產生 16 個不同尺度空間，8 個尺度極值搜尋層，特徵向量維度設為 64 維。詳細步驟如下所述：步驟一：影像輸入可分為框選或載入物件，首先判斷影像來源為框選或載入。43 57. 步驟二：來源為框選物件時步驟如下： 對框選物件影像擷取 SURF 特徵點，並設定 3D 虛擬物件所相對方向。 計算 SURF 特徵點在影像中相對座標，以利後續物件追蹤流程進行追蹤。 將 64 維 SURF 特徵點資訊提供給特徵點比對流程，以確認物件在影像中的相對位置及方向。步驟三：來源為載入物件時步驟如下： 分別對全幅區域影像及物件影像擷取 SURF 特徵點，並設定 3D 虛擬物件所相對方向。 計算全幅區域影像 SURF 特徵在影像中相對座標，以利後續物件追蹤流程進行追蹤。 將物件影像 64 維 SURF 特徵點資訊提供給特徵點比對流程，以確認物件在影像中的相對位置及方向。 特徵點擷取結果如圖 3.5 所示，(a)為 SIFT 所擷取特徵點表示圖，影像大小為 387＊214，特徵點計 1,086 個，(b)為 SURF 所擷取特徵點表示圖，影像大小為 387＊214，特徵點計 274 個。由圖可知 SIFT 可取得特徵點較 SURF 多。圖 3.5：SIFT 與 SURF 特徵點表示圖： (a)SIFT 特徵點；(b) SURF 特徵點。 但經由錯誤! 找不到參照來源。節實驗結果得知 SURF 處理 1 幅 640＊480之影像，從擷取至完成比對特徵點時間約 1 秒，較 SIFT 快約 2.5 倍，就運用在44 58. 即時系統(每秒 15~30 張影像)上，SURF 較能實現在即時系統上，故本文採用SURF 特徵演算法擷取特徵。3.2.3.2. 物件追蹤 經由錯誤! 找不到參照來源。節實驗結果得知 SURF 處理 1 幅 640＊480 之影像，從擷取至完成比對特徵點時間約 1 秒，在匹配比對時，若對匹配影像全域擷取特徵點再與目標影像特徵點一一比對，然而當匹配區域越小相對匹配時間，可縮短幅度越大，但若縮小影像大小，則所獲得特徵點相對越少不利於後續追蹤匹配，故若配合光流法在獲得移動區域後，可以有效降低匹配區域大小而不是縮小影像大小，應可縮短匹配時間，且並不會減少匹配點，對後續追蹤可更加有利。 由上所述本流程主要目的為偵測出移動區域，以縮小 SURF 擷取特徵及影像比對匹配區域，以縮短 SURF 處理時間。而方法將採用 2.4.1.1 節所述「金字塔 L-K 光流法」[24]原因係其僅對所提供特徵點座標位置區域光流場進行分析計算，故在計算上更顯快速簡單。所使用 OpenCV 所提供函式，金字塔結構採用 5 層，為原始輸入影像解析度為 640＊480，故 L0 為原始影像解析度，L1 為L0 層解析度一半為 320＊240，L2 又為 L1 層解析度的一半為 160＊120，L3 又為 L2 層解析度一半為 80＊60，L4 又為 L3 層解析度一半為 40＊30，其連續追蹤情形如圖 3.6 所示，圖中最左第 1 張為手動框選追蹤物件，綠色點部份則為SURF 特徵點座標，依序為連續追蹤情形。詳細步驟如下所述：步驟一：輸入影像為框選物件時，則「金字塔 L-K 光流法」追蹤用特徵點座標 為框選物件 SURF 特徵點在影像中的相對座標。步驟二：輸入影像為載入物件時，首先「金字塔 L-K 光流法」追蹤用特徵點座 標為全幅區域影像 SURF 特徵點在影像中的相對座標，其後因可知物 件準確位置，故後續僅對物件準確位置特徵點座標進行追蹤。45 59. 步驟三：OpenCV 中「金字塔 L-K 光流法」函式，輸出結果為特徵點移動後座 標位置 而移動區域計算方式為取所有特徵點中 X 與 Y 座標最大值及， 最小值，二點可繪出一矩形，此矩形區域亦為移動區域。 圖 3.6：金字塔 L-K 光流法連續追蹤表示圖3.2.3.3. 擷取移動區域特徵點 本流程主要目的為對移動區域擷取 SURF 特徵點，以供後續特徵點比對使用，所用函數及參數設定均與 3.2.3.1 節相同。3.2.3.4. 特徵點比對 本流程主要目的為將物件特徵點與移動區域特徵點進行比對，使用方法係運用 SURF 作者於文中所提特徵匹配方法，在運用 RANSAC 演算法去除匹配錯誤特徵點，最後經由錯誤! 找不到參照來源。節實驗得知在後續在單應性計算時，至少需 15 個點特徵點方能計算出完整繪出矩形框，故條件限定當特徵點高於 15 點時判定為成功並將相關資訊傳至下一流程，反之，判定為失敗，失敗則改以擷取全螢幕特徵點，再重新進行追蹤比對。3.2.3.5. 單應性計算 本流程主要目的為運用單應性特性，計算物件在影像中完整相對位置，並對物件輪廓繪製矩形框，進而獲取 4 個角點，以利後續座標轉換使用，示意圖46 60. 如圖 3.7 所示 關於單應性計算本文採用 OpenCV 之 cvFindHomography 函式， 。此非本文之研究重點，故未做深入之探討。 cvFindHomography 函數之參數帶入特徵點座標來取得對應之 4 個角點座標，特徵點數量越多，輸出角點位置越準確，在前流程提及於錯誤! 找不到參照來源。節實驗中得知，至少需 15 個點特徵點方能計算出完整繪出矩形框。圖 3.7：單應性計算示意圖3.2.4. 定位顯像 在獲取移動物件在影像中的相對位置後，可將 3D 物件疊加在適當位置。但因螢幕上的影像平面為 2D 座標，故需先行將座標轉換，俾利後續 3D 物件的疊加。其流程分為「座標轉換」及「疊加 3D 物件」等 2 項，流程圖如圖 3.8所示，各項作法分述如下： 追蹤物 擴增實座標轉換疊加3D物件 件資訊 境畫面 圖 3.8：定位顯像流程圖 47 61. 3.2.4.1. 座標轉換 本流程為將影像平面之 2D 座標轉換為 3D 座標，以利後續 3D 物件疊加，座標轉換方法為 2.4.4 節所述 1997 年 Heikkila 和 Silven 所提出的計算攝影機的參數矩陣方法[40]，所使用函式 ARStudio 中所設計視覺追蹤模組之 Markerless功能，其設計原理為將單應性計算流程中所得 4 個角點座標帶入 ARToolKit 之座標轉換函式進行座標轉換。3.2.4.2. 疊加 3D物件 本流程為將 3D 虛擬物件疊加至移動物件在影像中的相對位置，關於相關繪製三維影像，本文採用 ARStudio 中所設計之影像繪製模組，其設計原理為運用 OpenVRML 函式庫繪製三維影像，故只需要將物件追蹤之座標資訊及虛擬物件資訊填入相對應之結構變數中，影像繪圖模組便可將指定之三維模型疊加在移動物件上。疊加後影像如圖 3.9 至圖 3.11 所示，其中分別為物件近、中及遠距離擴增實境畫面。48 62. 圖 3.9：物件近距離擴增實境畫面圖 3.10：物件中距離擴增實境畫面49 63. 圖 3.11：物件遠距離擴增實境畫面3.3. 運用無標記擴增實境技術建立數位學習環境 利用本文 3.2 節所提出之「無標記擴增實境視覺追蹤技術」 可用來製作 ，「無標記擴增實境」之數位教材，或建立「無標記擴增實境」之數位學習環境，主要分為「先期準備階段」「系統開發階段」及「完成測試階段」等三個階段，、分述如下：3.3.1. 先期準備階段 本階段主要依系統目的來決定「硬體」「開發平台」及「撰寫腳本」等三 、項，概述如下：1. 選擇硬體：選擇符合系統運算效能需求之電腦、3D 繪圖卡、顯示器或頭戴 顯示器及攝影機。2. 開發平台：系統開發人員，依系統目的選擇符合需求的開發平台，如 ARToolkit Professional Edition、D’ Fusion、Unifeye Design 或 ARStudio 等。 50 64. 3. 撰寫腳本：依系統目的設計所呈現內容及劇情，其中呈現內容包含決定系統 使用「標記」或「無標記」，虛擬物件相對真實物體的擺放位置，如在真實 物體之上或取代真實物體等等。3.3.2. 系統開發階段 本階段主要係依據所設計腳本，來開發相對應系統，區分為「程式撰寫」及「3D 物件繪製」等二項，概述如下：1. 程式撰寫：程式設計人員應依「腳本」開發程式，著重點在於設定真實物體 與虛擬物件彼此相關聯性及互動效果。2. 3D 物件繪製：3D 物件繪製人員應依力求 3D 物件實用及美觀，並可細分「骨 架」「模型」「貼圖」及「動作設計」等四項流程。 、、3.3.3. 完成測試階段 本階段係在於測試系統完整性，測試內容應依「設計腳本」逐一測試，另物件追蹤效能關係著系統的實用性，故物件追蹤效能應一併納入測試。51 65. 4. 全文下載本文僅節錄全文之前三章，若需要較詳細之實驗方法與數據，請參考下面兩篇論文之介紹。4.1. 無標記擴增實境實驗平台建置與追蹤技術驗證擴增實境技術是在真實視訊影像中加入虛擬物件 並透過追蹤與定位技術 ，，可以與人們產生良好之互動效果。在視覺追蹤應用領域裡，可分為標記與無標記兩類應用。標記識別技術較為成熟，目前擴增實境開發平台以採用標記識別為主；至於無標記則侷限在特定方法之識別追蹤應用領域，例如樂高玩具利用包裝盒上之印刷圖片當作辨識物件。面對無標記擴增實境之應用日趨重要，且必須因應不同物件採用不同特徵之識別追蹤方法來達成無標記擴增實境之應用。而目前擴增實境平台並不提供模組化方式來替換識別追蹤方法，因此本文提出無標記擴增實境實驗平台，以現有擴增實境套件 ARtoolKit 為基礎，整合OpenCV 與 OpenGL 函式庫，並採用模組化方式來設計視覺追蹤方法，做為驗證無標記擴增實境識別追蹤方法之平台，且透過視窗操作選擇不同視覺追蹤模組來呈現各式追蹤方法，以利分析驗證追蹤效能。作者： 鍾德煥簡介： 主要建置 ARStudio 並採用 SURF 來實現無標記擴增實境之應用。下載： http://ndltd.ncl.edu.tw連結： http://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi/login?o=dnclcdrs=id=%22099CCIT0394011%22.searchmode=basic52 66. 4.2. 運用擴增實境技術建 立數位學習環境隨著擴增實境技術日趨成熟，為 了製作更活潑的數位教材或建立更有效率的數位學習環境，運用擴增實境技術建立數位學習環境之應用與日俱增。目前相關應用大部分均侷限在標記(marker)擴增實境技術 但無標記(markerless)擴增 ，實境技術使用上更具彈性，不必受限於標記的使用，應用層面更廣。視覺追蹤技術是擴增實境重要底層核心技術之一，但在實際應用上會受周邊環境光源、辨識圖樣角度、影像解析度、辨識圖樣材質等 4 項因素影響。另外，在「無標記擴增實境數位學習系統」相關應用中追蹤物件的複雜度及移動速度更會影響追蹤辨識效果，因為好的物件辨識與追蹤效能，學習者在操作系統時，才可以隨心所欲的移動辨識的物件，以增加系統的實用性。本論文主要提出如何運用擴增實境的技術來製作數位教材及建立數位學習環境，並分析現有運用在「無標記擴增實境 數位學習系統」追蹤技術的限制因素，進而提出能追蹤各式真實物件及降低物件移動速度對物件追蹤影響之無標記物件追蹤技術。本文所提之方法就技術層面而言能提昇無標記擴增實境的實用性及普及性；就應用層面而言可瞭解製作擴增實境 數位教材及實現數位學習環境相關問題。例如運用於國軍軍事裝備維修上，可有效降低人員訓練時間及成本，並能迅速維修以提昇裝備妥善 率；用於軍中的戰術教學，可使內容更加生動，以提昇學習者之學習興趣。作者： 李正豪簡介： 主要利用 SURF 搭配 ARStudio 來運作無標記擴增實境之應用，有較多之 SURF 與 SIFT 之實驗數據。下載： http://ndltd.ncl.edu.tw連結： http://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi/login?o=dnclcdrs=id=%2253 67. 099CCIT0394007%22.searchmode=basic指導教授： 王順吉 副教授網頁： http://csie.ccit.ndu.edu.tw/files/14-1011-1274,r141-1.php 54 68. 參考文獻[1] 吳聲毅，數位學習觀念與實作，學貫行銷股份有限公司，台北、台灣，第3.2-3.3 頁，2008。[2] Johnson, L., Levine, A., Smith, R., and Stone, S., “The 2010 Horizon Report,”The NEW MEDIA CONSORT IUM and EDUCASE Learning Initiative,California, U.S.A, pp. 9-12、21-24, 2010[3] 薛凱文，“擴增實境應用探討—使用無標記技術”，嶺東科技大學數位媒體研究所碩士論文，台中，2009。[4] 鄒景平 數位學習最佳指引 ，-數位學習概論 資策會數位教育研究所 台北、 ，，台灣，第 1.2 頁-第 1.23 頁，2007。[5] Johnson, L., Levine, A., and Smith, R., “The 2009 Horizon Report,” The NEWMEDIA CONSORT IUM and EDUCASE Learning Initiative, California,U.S.A, pp. 8-10, 2009。[6] Paul Milgram, Haruo Takemura, Akira Utsumi, Fumio Kishino, “Augmentedreality:A class of display on the reality-virtuality continuum,” Telemanipulatorand Telepresence Technologies, SPIE Vol. 2351, pp. 282-292, 1994.[7] 吳鴻譯，Steven K. Feiner 撰文，“擴增實境-虛擬實境的無限延伸”，科學人雜誌，第 04 期，2002 年 06 月。[8] Azuma, R. T.,“A survey of augmented reality,” Teleoperators and VirtualEnvironments ,6,4, pp. 355-385,1997.[9] Oliver Bimber. and Ramesh Raskar., Spatial Augmented Reality Merging Realand Virtual Worlds, Wellesley, assachusetts, U.S.A ,A K Peters, Ltd ,Chap.1,pp. 1-7, 2005[10] ARToolket Maker, http://roarmot.co.nz/ar/。[11] ARToolket Support Library, http://www.artoolworks.com/support/library/Creating_and_training_new_ARToolKit_markers 55 69. [12] ARToolket, http://www.hitl.washington.edu/artoolkit/。[13] Georgia Tech Augmented Environments Lab，http://www.augmentedenvironments.org/lab/research/handheld-ar/arhrrrr/[14] Andre´ Buchau , Wolfgang M. Rucker , Uwe Wo¨ssner and Martin Becker, “Augmented reality in teaching of electrodynamics, ” The International Journal for Computation and Mathematics in Electrical and Electronic Engineering, Vol. 28 No. 4, pp. 948-963,2009.[15] Trond Nilsen, Julian Looser, “Tankwar Tabletop war gaming in augmented reality,” In Proceedings of 2nd International Workshop on Pervasive Gaming Applications, 2005.[16] Steve Henderson and Steve Feiner, “Evaluating the Benefits of AugmentedReality for Task Localization in Maintenance of an Armored Personnel CarrierTurret,” Proceeding of IEEE International Symposium on Mixed and AugmentedReality (ISMAR 09), October 2009, pp. 135-144.[17] TOTAL IMMERSION, http://www.t-immersion.com[18] METAIO, http://www.metaio.com[19] W. Hu, T. Tan, L. Wang, and S. Maybank, “A survey on visual surveillance ofobject motion and behaviors,” IEEE Transactions on Systems, Man andCybernetics, Part C: Applications and Reviews, Vol. 34, pp. 334-352, 2004.[20] B.K.P. Horn and B.G. Schunck, “Determining optical flow.,” ArtificialIntelligence, vol 17, pp. 185-203, 1981.[21] 陳冠儒，“光流值準確性之提升”，私立逢甲大學電機工程研究所碩士論文，台中，2007。[22] B. D. Lucas and T. Kanade,“An Iterative Image Registration Techniquewith an Application to Stereo Vision” Proceedings of Imaging Understanding Workshop , pp. 121-130, 1981. 56 70. [23] Bradski, G., Kaehler, A., “Learning OpenCV,” OReilly Media, September2008.[24] Bouguet, J.-Y. “Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm”, Intel Corporation, Microprocessor Research Labs., 1074－1082, 1999.[25] Aires, K.R.T., Stantana A.M, Medeiros A. A. D., “Optical flow using color ingormation : preliminary results,” ACM symposium on Applied computing table of contents, pp.1607-1611, 2008.[26] A. J. Lipton, H. Fujiyoshi, and R. S. Patil, “Moving target classification andtracking from real-time video,” in Proc. IEEE Workshop Applications ofComputer Vision, pp. 8–14 , 1998.[27] Collins, R., Lipton, A., Kanade, T. , Fujiyoshi, H. , Duggins, D. , Tsin, Y. ,Tolliver, D., Enomoto, N., Hasegawa, O., “A system for video surveillance andmonitoring,” Carnegie Mellon University of Robotics Institute of TechnologyReport, U.S.A, 2000.[28] 賴丙全，“利用多攝影機進行移動物三維定位及追蹤”，國立中央大學土木工程研究所碩士論文，桃園，pp. 3-6，2007.[29] J. C. S. Jacques, C. R. Jung, S. R. Musse, “Background subtraction and shadowdetection in grayscale video sequences, ” Proceedings of IEEE InternationalConference on Computer Graphics And Image Processing, pp. 189-196, 2005.[30] Qi Zang and Reinhard Klette, Object Classification and Tracking in VideoSurveillance, Computer analysis of images and patterns, Vol. 2756, pp.198-205, Aug. 2003.[31] Gonzalez, C., Woods,E., “Digital Image Processing, ” Pearson Education ,Inc,2008。.[32] 姚文翰、蔡孟修、陳宜賢及王聖智，“物體追蹤系統簡介技術報導”，電腦視覺監控產學研聯盟，桃園，No.2，2005。57 71. [33] D. Comaniciu and P. Meer, “Mean shift analysis and applications,” IEEEIntern ational Conference on Computer Vision, vol. 2, pp.1197, 1999.[34] Lowe, D.G. “Distinctive image features from scale-invariant keypoints,”International Journal of Computer Vision, pp.91-110, 2004.[35] Y. Ke and R. Sukthankar, “PCA-SIFT: A more distinctive representation forlocalimage descriptors,” In Proceedings of the Conference on ComputerVision and Pattern Recognition, pp. 506-513, 2004.[36] Mikolajczyk, K. and Schmid, C.“A performance evaluation of localdescriptors ”, IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 10, No. 27, pp.1615-1630, 2005.[37] Morel, J.M. and Yu, G., “ASIFT: A New Framework for Fully Affine InvariantImage Comparison,” SIAM Journal on Imaging Sciences, Vol. 2, Issue 2, 2009.[38] Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, “Speeded-UpRobust Features (SURF), ” Computer Vision and Image Understanding,pp.346-359, 2008.[39] 韓承翰，“以降維 SURF 為基礎的手勢辨識”，國立臺灣科技大學電機工程研究所碩士論文，台北，2010。[40] J. Heikkila and O. Silven, “A Four-Step Camera Calibration Procedure withImplicit Image Correction,” In Proc. of IEEE Computer Vision and PatternRecognition, pp. 1106-1112, 1997.[41] SIFT Library，http://blogs.oregonstate.edu/hess/code/sift/[42] OpenCV 2.2， http://sourceforge.net/projects/opencvlibrary/files/opencv-win/2.2/ 58 72. 論文發表[1] 李正豪、鍾德煥、王順吉，“運用擴增實境技術建立數位學習環境”，第十 九屆國防科技學術研討會論文集，桃園龍潭，pp.843-850，2010。[2] 王順吉、鍾德煥、李正豪、翁志嘉，“無標記擴增實境實驗平台建置與視覺 追蹤技術分析”，2011 電子商務與數位生活研討會論文集，台北，2011。59 73. 自傳作者李正豪(Cheng-Hau Lee)，民國 64 年 06 月 05 日出生於台北市。民國85 年 11 月畢業於中正理工學院電子工程科 秉承著對於影像研究領域的熱誠， ，於民國 98 年報考國防大學理工學院資訊科學研究所 如願錄取方得以對影像研 ，究領域做更深入的研究與探討，在進修碩士期間除了鞏固資訊領域的基礎知識外，更習得碩士生該有的精神－「研究與分析」。 60