多模態機器學習主要有五個方面的工作

1.Representation 主要任務是學習如何更好的提取和表示多模態資料的特徵資訊，以利用多模態資料的互補性

2.Translation 主要任務是如何將資料從一種模態轉換（對映）到另一種模態

3.Alignment 主要任務是識別在兩種或更多不同模態的(子)元素之間的直接關係

4.Fusion 主要任務是將來自兩種或兩種以上模態的資訊結合起來進行預測

5.Co-learning 協同學習是在不同模態資料、特徵和模型之間轉移知識

多模態特徵表示（representation）

對原始資料提取一個好的特徵表示一直是機器學習關注的重要問題，好的特徵表示主要有平滑性、時間和空間一致性、稀疏性和自然聚類等特性。特徵表示代表了一個實體資料，一般用張量來表示。實體可以是一個影象，音訊樣本，單個詞，或一個句子。多模態的特徵表示是使用來自多個此類實體的資訊，主要存在的問題有：（1）如何組合來自不同模態的資料 （2）如何處理不同模態不同程度的噪音 （3）如何處理缺失資料。

多模態表示有兩種：聯合特徵表示（Joint representations）和協同特徵表示（coordinated representations）。聯合特徵表示將各模態資訊對映到相同的特徵空間中，而協同特徵表示分別對映每個模態的資訊，但是要保證對映後的每個模態之間存在一定的約束，使它們進入所謂的協同空間。