Trong không gian với hệ trục tọa độ \[Oxyz\], cho hai điểm \(A\left( {1;1;0} \right)\), \(B\left( {0; - 1;2} \right)\). Biết rằng có hai mặt phẳng cùng đi qua hai điểm \(A\), \(O\) và cùng cách \(B\) một khoảng bằng \(\sqrt 3 \). Vectơ nào trong các vectơ dưới đây là một vectơ pháp tuyến của một trong hai mặt phẳng đó?

Phương trình đường thẳng qua hai điểm \(A\), \(O\) có dạng \(\left\{ \begin{array}{l}x = t\\y = t\\z = 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}x - y = 0\\z = 0\end{array} \right.\).

Gọi \(\left( P \right)\) là mặt phẳng cùng đi qua hai điểm \(A\), \(O\) nên \(\left( P \right)\): \(m\left( {x - y} \right) + nz = 0\), \({m^2} + {n^2} > 0\). Khi đó vectơ pháp tuyến của \(\left( P \right)\) có dạng \(\overrightarrow n = \left( {m; - m;n} \right)\).

Ta có \(d\left( {B,\left( P \right)} \right) = \sqrt 3 \Leftrightarrow \frac{{\left| {m + 2n} \right|}}{{\sqrt {{m^2} + {m^2} + {n^2}} }} = \sqrt 3 \) \( \Leftrightarrow 5{m^2} - 4mn - {n^2} = 0 \Leftrightarrow \left[ \begin{array}{l}n = m\\n = - 5m\end{array} \right.\).

+ Với \(n = m\), ta có \(\overrightarrow n = \left( {m; - m;m} \right) = m\left( {1; - 1;1} \right)\). Khi đó, \(\overrightarrow {{n_1}} = \left( {1; - 1;1} \right)\) là một vectơ pháp tuyến của mặt phẳng \(\left( P \right)\).

+ Với \(n = - 5m\), ta có \(\overrightarrow n = \left( {m; - m; - 5m} \right) = m\left( {1; - 1; - 5} \right)\). Khi đó, \(\overrightarrow {{n_2}} = \left( {1; - 1; - 5} \right)\) là một vectơ pháp tuyến của mặt phẳng \(\left( P \right)\). Chọn D.