為了說明正交，需要先解釋一種運算——內積. 內積的概念源自內積空間，下文摘自我的另一篇部落格 內積空間(傳送門)

  設 V \small VV 是實線性空間，在其上定義了內積運算 (   ⋅   , ⋅   ) : V × V → R \small (\,\cdot\,,\cdot\,): V \times V \to R(⋅,⋅):V×V→R，即 ∀    x , y ∈ V \small \forall \;x,y \in V∀x,y∈V，在 R \small RR 中都有唯一的一個元素 δ \deltaδ 與之對應，稱為 x xx 與 y yy 的內積，記為 ( x , y ) (x,y)(x,y)，且滿足以下性質：

 1.   ( x , x ) ≥ 0 1.\,(x,x)\geq01.(x,x)≥0 且   ( x , x ) = 0 ⇔ x = 0 \,\, (x,x)=0 \Leftrightarrow x=0(x,x)=0⇔x=0

 2.   ( x , y ) = ( y , x ) 2.\,(x,y)=(y,x)2.(x,y)=(y,x)

 3.   ( a x , z ) = a ( x , z ) ,   a ∈ R 3.\,(ax,z)=a(x,z),\,a \in R3.(ax,z)=a(x,z),a∈R

 4.   ( x + y , z ) = ( x , z ) + ( y , z ) 4.\,(x+y,z)=(x,z)+(y,z)4.(x+y,z)=(x,z)+(y,z)

則稱 ( V , (   ⋅   , ⋅   ) ) \small (V,(\,\cdot\,,\cdot\,))(V,(⋅,⋅)) 為內積空間.

  可以透過內積來定義向量的長度: ∥ x ∥ = ( x , x ) \small \Vert x\Vert=\sqrt{(x,x)}∥x∥=

(x,x)

，∥ k x ∥ = ( k x , k x ) = k 2 ( x , x ) = k ∥ x ∥ \small \Vert kx\Vert=\sqrt{(kx,kx)}=\sqrt{k^2(x,x)}=k \Vert x\Vert∥kx∥=

(kx,kx)

=

k

2

(x,x)

=k∥x∥.

  長度為 1 的向量稱為單位向量. 若 α ≠ 0 \small \alpha\neq0α



=0，則由上述性質，向量 α ∥ α ∥ \displaystyle\frac{\alpha}{\Vert \alpha \Vert}

∥α∥

α

就是一個單位向量，這一操作通常稱為將 α \alphaα 單位化.

  在解析幾何中，向量 α , β \small \alpha, \betaα,β 的夾角 ⟨ α , β ⟩ \small \langle \alpha,\beta \rangle⟨α,β⟩ 的餘弦可以透過內積來表示：

c o s   ⟨ α , β ⟩ = ( α , β ) ∥ α ∥ ∥ β ∥ cos\,\langle \alpha,\beta \rangle=\frac{(\alpha,\beta)}{\Vert \alpha\Vert\Vert \beta\Vert}

cos⟨α,β⟩=

∥α∥∥β∥

(α,β)

為了在一般的內積空間中利用上述公式引入夾角的概念，需要先證明一個重要的不等式：

柯西-施瓦茲(Cauchy-Schwarz)不等式 (證明傳送門)

( α , β ) 2 ≤ ( α , α ) ( β , β ) (\alpha,\beta) ^2\leq(\alpha,\alpha)(\beta,\beta)

(α,β)

2

≤(α,α)(β,β)

則 ( α , β ) ≤ ∥ α ∥ ∥ β ∥ \small (\alpha,\beta)\leq\Vert \alpha\Vert\Vert \beta\Vert(α,β)≤∥α∥∥β∥. 若 α , β \small \alpha,\betaα,β 均不為零向量，則有 ∣ ( α , β ) ∣ ∥ α ∥ ∥ β ∥ ≤ 1 \displaystyle\frac{\vert(\alpha,\beta)\vert}{\Vert \alpha\Vert\Vert \beta\Vert}\leq1

∥α∥∥β∥

∣(α,β)∣

≤1，由此可定義兩者間的夾角

⟨ α , β ⟩ = a r c c o s ( α , β ) ∥ α ∥ ∥ β ∥ , 0 ≤ ⟨ α , β ⟩ ≤ π . \langle \alpha,\beta \rangle=arccos\frac{(\alpha,\beta)}{\Vert \alpha\Vert\Vert \beta\Vert},0\leq \langle \alpha,\beta \rangle\leq\pi.

⟨α,β⟩=arccos

∥α∥∥β∥

(α,β)

,0≤⟨α,β⟩≤π.

則內積也可以表示為: ( α , β ) = ∥ α ∥ ∥ β ∥ c o s ⟨ α , β ⟩ (\alpha, \beta) = \Vert \alpha\Vert\Vert \beta\Vert cos\langle \alpha,\beta \rangle(α,β)=∥α∥∥β∥cos⟨α,β⟩.

  若兩向量 α , β \small \alpha, \betaα,β 的內積 ( α , β ) \small (\alpha, \beta)(α,β) 為零，則稱兩向量相互正交.

  顯然這裡正交的定義與解析幾何中向量垂直的說法是一致的，即兩個非零向量相互正交的充要條件是它們的夾角為 π / 2 \small \pi/2π/2.