赫伯特·胡佛父亲去世时他年仅六岁，母亲过世之前他将近九岁，因此母亲的温柔和谦逊便永远留在他心里。在孀居的三年里，赫尔达·胡佛靠在家承接缝纫活计养活三个孩子，但她真正的才能是讲道。全爱荷华的贵格会教徒都开始知道她温和、自然的口才。十岁刚过，孤儿胡佛便到俄勒冈跟他伯父亨利·约翰·明索恩医生一块居住，后来还在西北的拓荒者中生活了六年。正是在这儿，一位来访的采矿工程师激起这孩子对地质学的兴趣，给了他的生活一次决定性的转折。
1891年夏天，胡佛进入刚刚开办在加利福尼亚州帕洛阿尔托的斯坦福大学，成为该大学第一个班的学员。他靠给教授当秘书、当洗衣服务代理和干其他的家庭杂务来支付学费。他成了校园的学生领袖，在同学间建立起了持续至今的友谊。尤其是，在那儿他遇到了今后成为他妻子的高挑、漂亮和用功的女孩卢·亨利。