摘要：營銷服經過多年的數智化探索，未來即將走進AI技術的深水區。作為感知智能、認知智能、決策智能和生成式AI四大類技術的綜合呈現，多模態交互可謂是實現營銷服數智化的關鍵技術。本文作者系中關村科金技術副總裁張杰，分享了多模態交互在數智化營銷服中的技術實踐。

【資料圖】

關鍵詞：人工智能、多模態交互、人機協同、營銷服、數字化轉型

營銷服數智化進入人機協同階段

數字經濟從2019年起已連續4年寫入政府工作報告，數字經濟被看作是與農業經濟、工業經濟相對應的新的經濟形態，數字化轉型實際上是從工業經濟向數字經濟的轉變。在如今這樣一個充滿不確定性的經濟環境中，企業競爭的一個關鍵生產要素就是數據，或早或晚，任何組織都會走上利用數據創造價值的道路。

然而，數據本身很少直接創造價值，而是依托具體的業務場景。營銷服是大多數企業都會涉及到的核心價值創造過程，也是數字化轉型中最容易見到成效的環節，尤其是對于產品品類繁多或者業務邏輯復雜的行業。企業數字化轉型必然要經歷三個階段：信息化、網絡化和智能化。信息化是將核心生產要素（如：人、機、料、法、環）和關鍵價值創造過程（如：研、產、營、銷、服）納入信息系統。網絡化是通過大數據、區塊鏈等技術連接企業內外部數據，消除信息孤島。智能化是通過人工智能等技術輔助操作和決策，達到降本增效、開源節流的效果。

營銷服經過前些年的數智化探索，未來即將走進AI技術的深水區，主要原因在于：隨著大數據和AI技術的普及，很多企業對技術的心理預期和業務效果比較基線被拉高了，進一步的效果提升依賴更復雜的AI技術。同時，越來越多的傳統企業啟動數字化轉型項目，其中不乏產品種類繁多、業務流程繁瑣的企業，淺層AI技術無法滿足業務需求。拿呼叫中心舉例：第一代呼叫中心基本上是拿到客戶名單后做盲打；第二代呼叫中心為客戶添加了一些屬性維度，通過精準營銷模型做篩選和排序后再撥打；而新一代呼叫中心則要求從系統日志中沉淀出優秀話術，并根據客戶屬性將話術素材組織成標準操作流程，企業不但希望系統告訴它哪些客戶可營銷，還希望在一步步地話術提示下營銷。

營銷服數智化不單是技術問題，還是管理問題，最終可能都會涉及流程變革，將以往人工主導的方式改造成人機協同的方式。人機協同是一門綜合學科，它與人機工程學、多媒體技術、計算機科學、機器學習、認知心理學等密切相關，它通過合理有效的交互協調機制，集成人類智能和人工智能，由人類和機器人一起組成團隊，自主交互，協作共贏。

多模態交互是實現人機協同的重要途徑

傳統的營銷服系統（如呼叫中心、客服系統）僅僅起到連接客戶（Customer）和客戶經理（Agent）的通道作用，系統本身沒有決策能力。

在數智化階段，企業需要的不僅僅是另外一款連接用戶的溝通系統，還希望系統具備以下能力：

01實時交互能力

適時地介入到客戶經理與客戶的交互過程中，在其中增加客戶與機器的交互、客戶經理與機器的交互，判斷哪些任務交給客戶經理、哪些任務交給后臺機器人處理，并且選擇適當的交互方式。

02客戶洞察能力

全方位地了解客戶，既知道客戶的基本屬性，又能精準感知到客戶當前的情緒狀態和潛在需求。

03業務決策能力

同時具備領域事實知識（如產品、競品）和領域技能知識（如營銷話術、售后處理流程）。

04最佳實踐總結能力

快速發現用戶需求及其變化趨勢，并總結出應對的最佳實踐。在總結過程中，最好能通過傻瓜式的工具簡單、快速地完成，形成人機協同的閉環。

無論是售前營銷還是售后服務，數智化的背后都依賴多模態交互技術的支撐，都是感知智能、認知智能、決策智能和生成式AI這四大類技術的綜合呈現，多模態交互是實現營銷服數智化的關鍵技術。

三個模塊組成多模態交互引擎

中關村科金在過去8年間，服務了金融、零售、教育、醫療、智能制造等多個行業的500多家頭部企業，在營銷、服務、運營的三大類環節中提供了200多個細分場景的解決方案?；谏鲜鼋涷灒嘘P村科金打造了一款多模態智能交互引擎，主要包含三部分：多模態感知系統、領域知識中臺和交互式決策引擎，其邏輯架構如下圖所示。

01多模態感知系統

主要負責理解用戶的意圖和深層次需求。該系統的輸出是對客戶的結構化表示，包含但不限于：客戶人口統計學標簽、客戶短期狀態標簽、環境上下文特征、客戶意圖的類別標簽或嵌入式表示。

02領域知識中臺

主要負責對企業內的領域知識做全生命周期管理。通過與知識官人機交互的方式將企業的核心生產要素、核心價值活動做統一化、標準化處理，幫助企業解決知識難以集中管理、難分享、難傳承的問題。領域知識中臺可以同時支撐對內的知識檢索、員工培訓以及對外的精準營銷、客服系統等，具體內容包含但不限于：經營策略集、交互策略集、領域知識庫等。

03交互式決策引擎

主要負責兩類工作，一方面是實時客戶交互，通過對客戶的感知洞察，找到匹配的標準化策略，選擇與客戶經理協同的機制（如：互補人機協同機制、混合人機協同機制、多人多機協同機制），并在客戶交互中達成營銷服目標；另一方面是在交互過程中，發現現有活動策略的不足，通過流程挖掘的方法找出潛在的最佳實踐。

全棧科技能力的挑戰

數智化營銷服系統需要匯總的信息類型非常多，判斷的邏輯和流程非常復雜，它既是對產品設計能力的考驗，也是對ICT綜合技術能力的考驗。其中，面臨的技術挑戰可以歸納為四個方面：

01感知層面

如何在高并發、全渠道（如官網、APP客戶端、小程序、官方微信公眾號等）、全媒體（文本、語音、視頻等）環境下，兼顧系統穩定性、客戶便利性、識別準確性？這其中涉及融合通信、音視頻編解碼、融合通信、語音識別、圖像識別、自然語言理解、數字人渲染等技術。

02認知層面

如何從繁雜的系統日志中將隱性知識挖掘出來并做顯性化表示？如何解決領域知識庫的冷啟動問題，降低人工標注成本高？如何使各類知識、模型具備更新迭代能力，適應客群特征和外部環境的快速變化？這其中涉及流程挖掘、知識圖譜、在線學習、主動學習、沖突監測等技術。

03決策層面

如何從歷史日志中挖掘出最優執行策略（如優秀話術）？如何基于客戶特征和環境上下文等信息，自動地探索出潛在的執行策略以彌補現有策略集的不足？這其中涉及強化學習、因果推斷、反事實干預等技術。

04應用層面

如何在人機切換時保持平滑的用戶體驗？如何在客戶需求不明確的情況下逐步引導客戶？如何在技術準確度不夠時通過產品設計來彌補？如何讓不懂AI的運營人員經過短時間培訓就能接手整個系統？這其中需要恰當的人在回路（human-in-the-loop）的產品設計，需要對行業有深刻理解的產品經理，也需要經過與業務專家的長期共創。最好的AI是讓用戶察覺不到的AI。

多模態交互典型應用場景

新技術促生新場景，新場景激發新技術。移動網絡下的音視頻通信技術使得很多業務可以線上辦理，生物識別技術使得身份偽造的成本變得越來越高......中關村科金將音視頻通信、人工智能、大數據技術進行深度融合，并在金融、零售、教育、醫療、智能制造等產業的多個行業場景落地。幾類典型的應用場景包括：

基于OCR技術的RPA（機器人流程自動化）產品，應用在某財務公司，實現了應收對賬自動化、報告自動化、智能化核對信息，高效、高質量。基于語音合成技術的外呼機器人，應用在西南某市公安部門，單個機器人每年外呼量達數10萬通，配合人工坐席，與傳統全人工模式相比，可降低90%的成本?；谥R庫問答技術的客服機器人，應用在永安保險客服接待、咨詢等業務場景，問答準確率達到90%以上，提供7*24小時服務，可分流60%+的客戶咨詢?；谡Z音識別、圖像識別、視頻服務等能力的全自助智能視頻簽約系統，用在某信托公司的面向C端客戶提供全自助的智能視頻簽約服務，可批量化、自動化進行視頻面簽；在實現機構人力成本減少60%的同時，客戶滿意度提升90%基于音視頻技術的遠程雙錄系統，用在某大型股份制商業銀行，通過遠程方式，提高業務辦理效率，效率提升200%，投訴比例下降70%，抽檢比例由人工的1%-5%，實現100%全業務覆蓋，至今“0”騙貸行為。虛擬數字人技術在郵儲銀行某分行的智慧網廳落地，用于產品營銷講解、金融業務辦理、資訊播報、咨詢問答等多個業務場景，實現與用戶的可視化交互，進一步提升了智慧網廳的科技感和網廳的接待能力。

總結與展望

數字經濟是以新一代信息技術和智能技術為基礎設施和創新要素，以業務賦能和產業創新為核心內容，具有數據驅動、人機協同、跨界融合、共創分享四大特征。企業數字化轉型在催生新需求、新業態的同時，通過多模態交互的方式重塑企業的生產流程。營銷服的數智化已經在數據基礎較好的互聯網行業和金融行業中呈現出了從降本增效、到流程重塑、再到改變行業格局的態勢，在更多的傳統行業中也有很多成熟的應用案例。

中關村科金的多模態交互引擎是面向企業營銷服數智化的全生命周期、一站式的解決方案，它通過多模態客戶洞察組件感知客戶需求，通過領域知識中臺對業務知識進行聚合、關聯、融合、補全等形式的再組織，形成領域事實知識庫（KnowWhat）和策略集（KnowHow），最后再在交互式決策引擎的輔助下以人機協同的方式服務客戶，持續挖掘智慧金融、智慧政務、智慧零售等領域智能科技的創新場景應用，促進人工智能與實體經濟深度融合。

關鍵詞： 必經之路