適應性之物件萃取方法應用於變異光線及陰影環境中的研究

謝杰融
Digital matting technique are extensively applies to the compositing of the movies and animations, but it needs intensive artificial operations and hi-priced cost. Besides, the extraction of the foreground objects with fuzzy boundary, such as the hair is not an easy work. Besides, the unity of light state of foreground objects and the new background, also an important issue.

This thesis propose an integrated technique of digital matting and matting under variant lighting and shading environment. We improve the previous matting method in the color sampling and weighting procedures, which result in a better compositing result, especially for the fuzzy boundaries. Besides we further deal with the lighting consisting problem, compute the variations of hue, light, saturation, intensity and shading effect, then apply these parameter to adjust the extracted foreground object. The results are much more realistic and the unity of the foreground object and the background is better when we add the effect of the background with different lighting and shading condition. Experimental results demonstrate the effectiveness of our proposed method by compositing the object with fuzzy boundaries and new background with variant lighting and shading condition.

數位 matting 技術主要應用於電影的拍攝以及影像合成方面，在以往需要大量的人為操作，以及昂貴的成本，對於將要合成的前景物件的取出，在邊緣部份的處理是很困難的，例如毛髮或是複雜的邊緣。之前的相關研究並沒有提到另外有關合成的前景物件與新背景的光線狀態的一致性，畫面的協調感會被破壞，但這部份在影像中相當重要，因為如果光線狀態不一致，那很容易就會被看出來這影像是合成的，在應用上目前大部分還是需要以人工來調整，還沒有一個標準程序的作法。本篇論文提出一個更完整的數位影像物件萃取與變異性光線狀態合成的技術，由於在取影像的時候，在物件的邊緣部份，每個像素可能會因為光線折射造成同時接受到前景以及背景的光線，使得兩種不同來源的光線造成某種比例的混合，這個比例稱分割比。這時候用一般分割技術(segmentation)或是人工圈選的方法是沒有辦法處理這種情形的，所以需要matting的技術來萃取出前景物件，我們改良了以前的matting方法，在對顏色做取樣及給予權重(sampling and weighting)做了改良，還加入了遮罩(filter)來加強計算出來的分割比。除此之外，還提出新的方法使得matting的系統更加完整，加入了適應於不同光線狀態下的背景的合成技術，計算色差，飽和度，亮度，除此之外還去求出光線方向，加上了光影的變化，使得前景物件與新背景更加的具有一致性，結果也更為真實，因為在影像合成裡面，除了邊緣的處理之外，色調與光線狀態的調整，也是影像合成是否合成的好的重要考量因素，這方面以往也是需要由人工來處理，本論文提出的方法可以使得前景的物件可以更融入於新的背景環境裡，使得合成的前景物件就像是在新背景的環境底下一起被拍攝的一樣，這部份的研究是以前的研究所沒有提到的部份。