Hình phẳng (H)  được giới hạn bởi đồ thị (C) của hàm đa thức bậc ba và parabol (P) có trục đối xứng vuông góc với trục hoành. Phần tô đậm của hình vẽ có diện tích bằng

Ta có $\overrightarrow{AB}=\left(0;0;-4\right)=-4\left(0;0;1\right)$. Hay AB có vectơ chỉ phương $\overrightarrow{k}=\left(0;0;1\right)$.

Mặt phẳng (ABCD) có một vectơ pháp tuyến $\left[\overrightarrow{OA};\overrightarrow{OB}\right]=\left(0;4;0\right)=4\left(0;1;0\right)$, hay $\overrightarrow{j}=\left(0;1;0\right)$ là một vectơ pháp tuyến của mặt phẳng (ABCD).

Vì $\left\{\begin{array}{l}AD\perp AB\\ AD\subset \left(ABCD\right)\end{array}\right.$ nên $\left\{\begin{array}{l}\overrightarrow{AD}\perp \overrightarrow{k}\\ \overrightarrow{AD}\perp \overrightarrow{j}\end{array}\right.$.

Đường thẳng AD có vectơ chỉ phương là $\left[\overrightarrow{j};\overrightarrow{k}\right]=\left(1;0;0\right)$.

Phương trình đường thẳng AD là: $\left\{\begin{array}{l}x=1+t\\ y=0\\ z=1\end{array}\right.$. Do đó $D\left(1+t;0;1\right)$.

Mặt khác $AD=AB\iff \sqrt{t^2+0^2+{\left(1-1\right)}^2}=4\iff \left[\begin{array}{l}t=4\\ t=-4\end{array}\right.$.

Vì điểm D có hoành độ âm nên D(-3; 0; 1).

Vì tâm I của hình vuông ABCD là trung điểm BD nên I = (-1; 0; -1).

Đường thẳng d là trục đường tròn ngoại tiếp hình vuông ABCD có vectơ pháp tuyến là $\overrightarrow{j}=\left(0;1;0\right)$, nên phương trình đường thẳng d là: $d:\left\{\begin{array}{l}x=-1\\ y=t\\ z=-1\end{array}\right.$.

Để hàm số có đạo hàm tại x = 2 thì hàm số phải liên tục tại x = 2.

Do đó $\underset{x\to 2^{-}}{\lim }\left(x^3-x^2-8x+10\right)=\underset{x\to 2^{+}}{\lim }\left(x^2+ax+b\right)\iff -2=4+2a+b\iff 2a+b=-6$.

Hàm số có đạo hàm tại điểm x = 2 nên

$$\begin{gathered} \underset{x\to 2^{-}}{\lim }\frac{f\left(x\right)-f\left(2\right)}{x-2}=\underset{x\to 2^{+}}{\lim }\frac{f\left(x\right)-f\left(2\right)}{x-2} \\ \iff \underset{x\to 2^{-}}{\lim }\frac{x^3-x^2-8x+10-\left(-2\right)}{x-2}=\underset{x\to 2+}{\lim }\frac{x^2+ax+b-\left(4+2a+b\right)}{x-2} \\ \iff \underset{x\to 2^{-}}{\lim }\left(x^2+x-6\right)=\underset{x\to 2^{+}}{\lim }\left(x+2+a\right) \\ \iff 4+a=0\iff a=-4 \end{gathered}$$

Suy ra b = 2. Vậy ab = -8.