Nació el 14 de marzo de 1879 en la ciudad alemana de Ulm. Su padre tenía un negocio electrotécnico y se trasladó a Munich donde se educó Albert. Era tímido y retraído, prefería caminar y jugar solo. Su tío Jakob lo instruyó en una serie de materias, entre ellas álgebra: “...cuando el animal que estamos cazando no puede ser apresado lo llamamos temporalmente “x” y continuamos la cacería hasta que lo echamos en nuestro morral”, así le explicaba su tío. Albert llegó a temprana edad a dominar las matemáticas. El colegio no lo motivaba; era excelente en matemáticas y física pero no se interesaba por las otras materias. Cuando aún le faltaban tres años para terminar su educación media su familia se trasladó a Italia y Albert los siguió al poco tiempo, abandonando la escuela. En Italia tuvo toda la libertad que quería y gozó por un tiempo de su vida pero su padre lo obligó a pensar en la universidad. Por no haber completado la educación secundaria no podía volver a Alemania pero sí al Instituto Federal Suizo de Tecnología: logró entrar y estudió física y matemáticas con Heinrich Weber y Hermann Minkowski. Fue condiscípulo de Marcel Grossmann, que llegó a ser su gran amigo.

Su notoria posición en contra de lo establecido hizo que no le dieran un puesto académico en el Instituto Tecnológico Suizo. Finalmente consiguió un trabajo en la Oficina de Patentes, en Berna.