分享到微博 分享到人人 分享到LinkedIn 分享到Email
古物新“看”
作者 微软研究院
2010年9月21日

中国拥有悠久的文化和丰富的文物古迹,对于文物学家来说,如何更好地保护和展现这些珍贵文物是一直摆在他们面前的问题。而最近一段时间,微软亚洲研究院及其合作伙伴研发出了更加新潮的文物展现方式,可以让我们从新的视角来审视这些历史珍品。每件文物的背后都蕴含着历史的韵味,它们在向我们诉说着一个又一个的故事。虽然现代科技已经可以帮助我们以极高的清晰度将古代文物呈现出来,但是如果没有丰富的历史背景知识或者专业的解说,通常我们很难通过简单的“看”来理解古代文物背后的故事。高科技的多媒体手段拥有更好的信息传 达能力,但是如何将它们与传统的古代文物相结合,才能更好地表现它们的内涵?沉浸式数字音画立体声解说的《清明上河图》以及能够自动“变”新的毛公鼎就是在这一方面做出的有益尝试。。

原汁原味保留文物底蕴

“走进清明上河图”沉浸式数字音画展示项目是故宫博物院、微软亚洲研究院和北京大学三方共同合作发起的,整个项目历时一年左右的时间,并于最近正式完成并对公众开放。

CHIP第一次见到这幅“多媒体”版的《清明上河图》时,CHIP的老朋友,微软亚洲研究院主管研究员徐迎庆为我们详细解释并演示了这个项目。

外行看热闹,内行看门道,对于大部分的参观者来说,参观《清明上河图》往往都只是看个热闹,而“走进清明上河图”项目的设计初衷就是让广大的“外行”能够对《清明上河图》有更深层次的理解,可以看出一些门道。简而言之,“走进清明上河图”项目就是将数字化的高清晰度《清明上河图》扫描本辅以立体声解说,参观者在浏览画卷不同的部分时,对应的立体声背景音也会随之改变,达到实时解说的目的。

“原汁原味”是徐老师在为我们介绍这个项目时不断重复的一个词,这也是故宫博物院在开展这一项目时最希望实现的内容,从文化保护的角度来说,故宫博物院的文物和展示专家希望能够原汁原味地保留整幅画卷以及每个细节,同时不要破坏原图,不要改变原画的形态,从而将一个真实的北宋时期城市面貌展示给参观者,这也是整个项目没有采用任何动画或者3D展示手段的原因。

为了实现原汁原味,首先要保证画卷能够真实、清晰地展现在人们面前,走进清明上河图采用了对原作进行高精度扫描后获得的千兆级图像,整个数字图像的大小达到了3.15GB,在画面上甚至可以清晰地看到原始画布上的纹理细节。微软亚洲研究院和北京大学的研究员们根据专家的建议,将整张《清明上河图》分割成了54个独立场景并为这些场景配上了700多段人物对话。

3.15GB的图片对于目前的硬件设备来说,进行实时、平滑和快速地全部载入是有较大困难的,为了解决这个问题,课题组引入了微软的ICE(Image Composite Editor,图像合成编辑器)技术和Silverlight技术,通过这些技术,整张图片被分割成了1800多块,当浏览到画卷的某个局部时,系统会自动载入整幅画卷的某一块和它周边相邻的几块,这样就可以保证正在浏览的部分可以以最大的清晰度展示,还能避免一次性载入整个3.15G的图像影响载入的速度。

中国画的全新解析

将《清明上河图》更加清晰地展现出来只是“走进清明上河图”项目中最基础的部分,要想真正从根本上展现出《清明上河图》的历史内涵,就首先要从读懂中国画做起。中国的传统水墨画与注重写实的西方绘画有很大的不同,空间表现上的差异是中国画与西方绘画的一个重要区别。欧洲的文艺复兴之后把焦点透视运用于绘画,使画面能够获得强烈的纵深感。传统的西方绘画更像是照相机的照相效果,近大远小,视觉几何结构十分规范。但是传统的中国画实际上更强调的是一种感觉,画家在作画时可以随时变换焦点和视点,因此你无法在中国画中找到一个统一的公共视点,虽然很多中国绘画也有纵深感,但是深度错觉并不十分强烈,而且也没有一个统辖画面的“焦点”,于是便有人用“散点透视”来描绘中国画的空间处理方式,而”《清明上河图》”历来都被认为是散点透视的代表。

《清明上河图》里面的空间关系,是通过以下两个方面来实现的:其一是通过把握不同物体的相对位置,来营造一种向后退缩的错觉。同一场景中的人物、动物、树木、建筑按照一个统一的倾斜度来排列,确保任何一处画面本身的地面是连贯的。利用大量斜线来加强画面的这种倾斜感,如向右下方流淌的小河,以及向同样方向延伸的河岸与小路,都加强了画面的空间感;其二前后物体之间形成迭压关系,利用笔墨的浓淡加强两者之间的距离感。例如前景中位于前方的树木用浓墨,远处的树木则用淡墨,近树迭压在远树上,使人产生两者位于同一纵深方向但远、近不同的错觉。

传统的计算机图像分析技术所采用的算法都是基于几何学的,统一焦点的西方绘画可以使用这种光学几何的模型进行分析和计算,例如,在统一焦点的绘画作品中,在空间中大小类似的景物的尺寸如果近似,就说明它们二者距离观看者的深度类似。然而在传统的中国画中,两个类似物体即使尺寸近似,二者的深度也可能区别很大,因为它们可能位于不同的视角上。

那么如何才能确定画卷中两个物体的真实深度信息呢?课题组的研究员们发现,每幅中国画上都有很多不同的视角,在三维空间中,每个视角所决定的平面与真实的物理平面存在一定的夹角。他们首先通过交互的的方式找到每条视角线,将每个视角所决定的平面上绘制的景物统统都投射到一个统一的物理平面上,通过反求计算得到整幅画卷中每个景物在三维空间中的真实物理位置。

让声音变立体

为什么要费这么大力气来建立整个画卷在真实物理空间中的对应关系呢?这正好体现了中国画的神奇之处,在画卷中,处于同一条横线上的两个大小类似的某个景物(如一条横线上的两个推车)理论上按照单一焦点透视的结构,它们的深度应该是相同的。然而在散点透视的结构中它们可能代表着不同的深度,而这种散点的视觉感恰恰能够被人眼所辨识,也就是说人眼能看出这两个推车可能处在一远一近的不同位置上。人眼能够自动找到画卷中的视觉直线,并根据这条直线和物体的尺寸来判断深度,也就是说虽然两个物体处于同一横线上,但是人眼仍旧能够看出它们处于不同深度。“走进清明上河图”项目为每个主要场景都配上了人物对话、背景音乐、以及背景音效的立体声效,并且可以随着中心景物的改变而改变。比如说:当我们的视觉中心从画卷左边的茶馆移动到右边的小桥上时,声音的效果和位置也会应当地发生对应变化。

通过课题组研发的技术将图像都投影到统一的平面后,声音信息只要根据这个平面物体的实际位置进行标注,即可让立体声的变化与视觉焦点的远近变化相互匹配,也就是能实现更加自然的观赏效果。

为了让整个立体声效果能够更加真实地反映当时的历史风貌,所有的对话和故事都是经过故宫的史学专家考证之后才设定出来的,整个对话都是在专业的电影录音室中录制,所有声音的录制都聘请了专业的演员,而且还特地加入了一点地方口音,以尽量去与历史接近。整个系统的5.1声道环绕立体声文件也达到了770MB。

其他文物数字化项目

——微软亚洲研究院主任研究员童欣

除了“走进清明上河图”这个项目外,微软亚洲研究院还在通过尝试使用不同的技术手段来让文物展示变得更加生动。

微软亚洲研究院的研究员们尝试使用算法来模拟一个物品由新变旧的过程,在传统技术中,模拟这一过程通常的做法是,使用摄像机拍摄一个物体,通过改变环境状况来获取整个物体由新变旧的视频,再使用这套数据来套用和渲染计算机中的其他物体,以获得动态的变旧过程。但是这个方法存在较大的局限,如果一个物体变旧的过程比较缓慢,拍摄起来将非常困难;另外一种方法是模拟物理和化学的变化过程,比如铜生锈的化学过程用计算机来建模和计算,这种方法的最大局限是无法完全模拟自然界的真实变化过程,往往计算的结果与自然界的实际结果差异较大,同时也无法处理自然界中复杂丰富的风化,变旧过程。 而微软亚洲研究院研究员的技术思路更加巧妙,他们采用了样本法来计算和模拟物品变旧。通常一个物品变旧,比如一块铁皮生锈,在它表面的不同区域,生锈的过程或者生锈的程度是完全不同的。而这个特性十分值得利用,微软的研究员们首先对样品的外观和表面特征进行捕捉,一旦把这个数据捕捉下来之后,就可以通过算法将表面不同变化的数据记录和组织起来,例如铁皮那些地方生锈,那些地方不生锈。通过组织这些数据就可以自动创建铁皮从不生锈到逐渐生锈的过程。另外,物体变旧的过程并非是平均发生的,比如生锈就是首先出现斑斑点点的锈迹,然后才逐渐演变成大面积锈蚀,那么这种非规律的逐步锈蚀如何模拟呢?微软的研究员通过捕捉一个物品在全新、出现老化和彻底变旧3个阶段的样本,再配合特别的算法寻找3个变化阶段的规律,即可生成非常真实的物品变旧过程,整个算法完全脱离物品本身变旧的物理机制和化学机制,同时由于外观数据来自真实物体,所以整个变旧过程非常逼真。

这项技术有趣的一点在于,物品的变旧过程是可以加入环境参数的,用户可以根据自己的需要设置环境的情况,例如在潮湿的环境中,金属的锈蚀过程也会变的更快。这种变旧的算法还可以根据接触环境的不同发生改变,例如公园的石佛虽然整体会变旧,但是在游人平常可以触摸到的地方往往会被磨的光亮,通过修改算法的参数,石佛局部变化的特点也可以被忠实地反应出来。

通过与台北故宫博物院与国立台北大学的合作,目前这项技术被应用在了毛公鼎的演示项目上,(毛公鼎为西周晚期宣王时代的器物,清道光末年于陕西岐山出土,铭文长达497字,有很高的历史价值),借助采样文物专家提供的3块不同锈蚀程度的青铜板,微软的研究员成功地模拟了毛公鼎的新旧变化过程。从而能够将变化的数字毛公鼎在大屏幕展台上进行展示。当游人站在它面前时,随着人的呼吸,毛公鼎会也同步地变新、变旧,从而在呼吸间游人跨越了几千年的历史长河,体会了文物沧桑的历史,体验了中国传统文化中“天人合一”的境界。这个项目的成果最终被称为“点蚀成金”,并作为台北故宫博物院在台北桃园机场的虚拟博物馆的一个展室展出。

《清明上河图》身世素描

《清明上河图》是一幅北宋风俗画卷,绢本、淡设色,纵24.8 厘米,横528.7厘米,现藏于北京故宫博物院。

《清明上河图》描绘了清明时节,北宋京城汴梁以及汴河两岸的繁华景象和自然风光,画卷从商业、交通、漕运、建筑等具有代表性的角度,集中表现了北宋政治经济中心汴京当日繁盛热闹的城乡、街市、水道间的景象,刻划细致形象,是一幅反映古代社会生活情况的历史艺术名作。

画卷以长卷形式,采用散点透视的构图法,将繁杂的景物纳入统一而富于变化的画面中,画中人物 500 多,衣着不同,神情各异,其间穿插各种活动,注重戏剧性,构图疏密有致,注重节奏感和韵律的变化,笔墨章法都很巧妙。

全图分为汴京郊野的春光,繁忙的汴河码头和热闹的市区街道三个段落,在总计五米多长的画卷里,共绘了550多个各色人物,牛、马、骡、驴等牲畜50~60匹,车、桥20多辆,大小船只20多艘。房屋、桥梁、城楼等也各有特色,体现了宋代建筑的特征。

《清明上河图》作者:

张择端

字正道(又字文友),东武(今山东诸城)人,北宋末著名画家,宋徽宗时宫廷画家。张择端自幼好学,少年游学京城汴梁(今河南开封),后习绘画,徽宗朝供翰林图画院,宣和年间翰林待诏,善画市桥径郭,舟船车桥。《清明上河图》是他的代表作,曾经为宣和内府所收藏。

寻找:走进清明上河图

目前走进清明上河图这个项目的最终成果被放在了故宫博物院进行展示,大家在去故宫博物院参观时就可以在两个地方看到“走进清明上河图”,它们分别是武英殿和西南崇楼。

武英殿:

展示中国历史上最有名的绘画和书法,每3个月一轮换。在这里有一个独立的63寸屏幕对走进清明上河图进行永久展示。

西南崇楼:

在太和殿对边,在这里专门建立了一个独立的房间,进行独立的多媒体展示,配合43寸触摸屏、投影机和5.1环绕音响,参观者能够获得更加身临其境的感受。

微软的“冰”技术

微软ICE(Microsoft Image Composite Editor)是一款全景照片拼合工具,当你在某地拍了一组含有重叠部分的相片后,可以使用它来进行高质量的全景照片拼接。拼接完成后你可以把图片存为诸如JPEG、ITFF等多种格式。该技术支持多核心处理器,可以使拼接图像的工作更加有效率。该软件可以准确地识别照片的查看方向,用户还可以选择使用直线投影技术或圆柱投影技术来进行图片拼接。它支持360°全方位叠加功能,而且能够支持Silverlight的Deep Zoom(深度缩放)技术,能够更加平滑地载入和缩放大尺寸图片。目前新版本Windows Live照片库就采用了这项技术。

一句话:

中国画的散点透视有一个有趣的现象,当将中国画中的景物投影到一个真正的、统一的平面上以后,它们实际的距离与在画卷中的距离是不一样的,在这个投影屏幕上画一条直线的话,在实际画卷上就会变成一条曲线,这也是我们中国画的特点。

——徐迎庆 微软亚洲研究院主管研究员

走进清明上河图的结构分层

画卷层:无用户交互时,在雄壮交响乐的烘托下,壮观的画卷从右向左徐徐打开,引人入境。

场景层:生动的自然环境音效描绘村野、田园、集市、街巷、大河、激流、险滩等。

故事层:故事层以生动诙谐的对话形式讲述着一个个有趣的故事。

对象层:是故事层中的每个任务或者对象,在故事层中不同对象之间被建立联系,用户可以像听一个故事一样按照顺序浏览。