Nació en Hannover el 15 de noviembre de 1738. Heredó el talento musical de su padre, director de la banda de la Guardia Hannoveriana, ingresando a ella como oboísta a los quince años. En 1757 se marchó a Inglaterra para trabajar como músico. Además de oboísta fue también organista de la Capilla Octogonal en Bath.

Su popularidad como músico llegó a ser muy grande: componía, dirigía y tocaba; además enseñaba a una gran cantidad de alumnos. Su interés por ver con sus propios ojos las maravillas astronómicas lo llevó a construir un telescopio. Contó para ello con la valiosa ayuda de su hermano Alexander. Herschel pulió espejos en metal, en una aleación similar al bronce. En 1774, a los 35 años de edad, inicia su carrera astronómica como aficionado, explorando el cielo en forma sistemática.

El 13 de marzo de 1781 descubrió un objeto en la constelación de Gemini. Pensó que se trataba de un cometa pero el estudio posterior indicó que era un nuevo planeta, Urano, el primero descubierto desde tiempos inmemoriales. Esto lo hizo famoso en forma inmediata. Fue elegido miembro de la Royal Society y la Universidad de Oxford le otorgó un doctorado.

El rey Jorge III lo nombró constructor de telescopios de la corte, con un salario anual de 200 libras. Gracias a ello abandona la música para dedicar todos sus esfuerzos a la astronomía.