平面内有向量OA=（1,7）OB=（5,1）OP=（2,1）,点M为直线OP上的一个动点.当向量MA·向量MB取最小值时

你这个题目不需要太多计算,只需要论证就可以了.
向量MA·向量MB = |MA|×|MB|×cos∠AMB
现在假设 M 从 O 移向 P.
不难判断在这个移动过程中 |MA| 和 |MB| 都在连续减小.同时 ∠AMB 在连续增大.
当 M 到达 P 点时,∠AMB 达到最大.现在计算下这个最大值是多少.
根据 OB=（5,1）OP=（2,1）,知道 B 与 P 的纵坐标相等,BP平行于 X轴.
从 A 向 X轴做垂线,从 B 向 Y轴 做垂线.交于 N 点 (1,1)
则 |NA| = 7-1 =6,|PN|=2-1=1
tg∠NPA = 6
tg∠APB = -6
cos∠APB = -1/√37
M 从 O 移向 P ∠AMB 在从 锐角∠AOB 至钝角 ∠APB 连续增大.cos∠AMB 在连续减小.与此同时,|MA| 和 |MB| 都在连续减小.
因此,当 M 到达 P 时候,MA·向量MB 取最小值.这时,向量OM的坐标 =（2,1）,∠AMB的余弦值 = -1/√37.
我觉得你的题目似乎没有叙述清楚.按我想象,应该在 “向量MA·向量MB”两侧 加绝对值符号.
还有另外一个疑问：向量MA·向量MB 这种写法,意指向量之间的 “点乘”,即 “向量MA·向量MB = |MA|×|MB|×cos∠AMB”,而不是通常的相乘.
但即使按照通常的相乘去理解,结论也是相同的.因为,移动过程中,|MA| |MB|一直在减小.