如今，“多模态”已成为横跨自然科学、工程技术以及人文社科领域的热门词，涉及的学科也包括语言学、符号学、人类学、社会学、生理学、医学、人工智能、教育学等。
多模态语言研究认识到人类语言交际与发展均需要多模态感官系统支撑这一事实。人类的语言交际本质上是多模态的，除词句结构和话语内容之外，我们还可以通过包括韵律、表情、动作等非语言媒介进行意义构建。但限于以往的研究视野和技术手段，传统上对言语交际的研究只关注语言本身的使用，而忽略了意义是由多模态资源构建的事实。
多模态研究是一种整合了多种路径的研究范式。在语言研究及其相关的领域中，这些路径包括：符号学属性的多模态研究、多模态语料库语言学研究以及神经语言学、人机交互和学习科学中的多模态研究。多模态语言研究的前景十分广阔，可以涉及语言学的多个领域。其中就包括从人们日常会话的多模态交互本质出发，重新考察语用学等传统课题和经典理论，对其进行验证、修补和发展。
在我国，符号学属性的多模态研究成果较为丰富，涉及多模态话语分析、多模态隐喻研究、多模态文体学、多模态教学等；神经语言学、人机交互及学习科学中的多模态研究涉及多个学术领域，各类成果也相对突出。相比之下，基于多模态语料库的研究相对较少，而该领域的研究在国外方兴未艾。
在这一背景下，笔者多年前决定尝试采用多模态语料库语言学（Multimodal Corpus Linguistics）方法对语用学课题进行研究。在语用学中，言语行为（Speech Act）是经典研究课题，被视为是语言交际的基本单位，相关研究在人机对话、人工智能等方面具有广阔的应用前景，由此成为目前语言学界重点关注的研究领域之一。因此，笔者决定对言语行为进行多模态考察。
多模态语料库是指文字、音频和视频语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计而进行研究的语料库，堪称“语料库4.0”。多模态语料库的语料采集、转写、切分、标注以及建库与传统文本语料库不尽相同。语言研究要以人们与外界的多模态互动作为重要的数据来源，面对具有充盈意义的现场即席话语，多模态语料库语言学是一种较为理想的研究方法。运用多模态语料库语言学方法对语用学课题进行研究具有重要意义，可以拓展语用研究视野、发展相关理论，逐渐成为目前国际语用学界的前沿领域。
本书运用多模态语料库语言学的基本方法，关注说话人在现场即席话语（Situated Discourse）中如何运用多种手段表达语力（Illocutionary Force）这一问题，以贴真建模（Simulative Modeling）思想为基本研究思路，以汉语现场即席话语多模态语料库为数据来源，以包括多模态研究、语用学、语料库语言学、语音学等多个学科分支的知识和技术拓展研究视野，考察语力与情感状态、韵律特征、体貌表现之间的关系，分析说话人在不同情感状态下，韵律特征、体貌表现如何帮助说话人表达语力，描写说话人在表达不同语力时各种手段之间的互动协同规律、现场即席话语中语力显示项的特点、呈现规律及其影响因素。
本书认为，言语交际本质上是一种复杂系统，需要在复杂系统范式下加以审视，可以借用自然科学与工程领域的贴真建模作为核心思路，参考“言思情貌整一原则”（STFE-Match Assumption）构建建模视角，对现场即席话语中的鲜活语力进行建模。在混合研究法的启示下，本书对语力进行了定性和定量相结合的考察。
在构建多模态语料库的基础上，本书对不同语力类型进行了概念分析，采用集合形式对这些语力类型的本体性质、实施条件与规则等进行呈现、建立语力的概念模型；结合具体情境对各个类型对应的语力实例进行了个案分析，并对不同语力实例的差异性和共同性特征进行了展现；绘制了说话人在各种情境下语力表达手段的资源系统，并分析其相应的功能承载；利用统计学方法描述说话人表达不同语力实例时，情感状态与韵律特征、体貌表现之间的互动规律；对说话人语力表达的多模态手段和语力显示项呈现的影响因素进行了推测。
同时，本书初步讨论了多模态语用学的构建必要与研究逻辑，认为多模态研究可以在研究方法上对语用学研究进行升级，这对研究者从人们普通行为的高度更为全面、准确地解读语言使用意义十分关键。
另外，本书还对多模态语言研究和相关领域中不同的多模态研究路径及其关系进行了论述，并对多模态语料库语言学的可能选题进行了展望。现场即席话语研究及对应的多模态研究方法，拓展了语言研究的视野，具有深刻的理论意义和广阔的应用前景，应当成为未来语言研究的新兴领域之一。
黄立鹤
于同济园