4.He never came to visit except to borrow something.

不能这样理解.
参见薄冰英语关于except
except +不定式
例：
1）I couldn’t do anything except just sit there and hope .我除了坐在那儿空盼以外,什么也做不.
2）There is no choice except to wait till it stops raining .除了等雨停,别无他法.
此用法时,如果前面有动词do 的某种形式,介词except 之后的不定式一般不带 to ,反之则须带to .
例4中前面有动词的过去式“came”所以后面带to,而例5中用的是动词的原型,所以可以不带to,

前含不定代词时，就要省to!

except是连词，保持前后一致就是了

”省略to“
用作介词except, but宾语的不定式有时带to，有时不带to。其大致原则是：若其前出现了动词 do，其后的不定式通常不带 to；若其前没有出现动词 do，则其后的不定式通常带 to。如：
I had no choice but to wait. 除了等，我没有别的选择。
He wanted nothing but to stay there....