Creció en los Países Bajos, junto sus hermanas Leonor, Isabel y María, sin padre (muerto cuando él solo tenía 6 años), ni madre (fue declarada loca).
Su cuidado y educación quedó en manos de Margarita de Austria (su tía) y el señor Chievres.
Era un hombre de mediana estatura, ojos azules, nariz aguileña, cabellos rojizos y pronunciada barbilla. De carácter melancólico, parco en palabras y bastante serio.
Le gustaba la naturaleza y el aire libre, aunque donde más cómodo se encontraba era en la soledad de sus aposentos.
Se dice que era rencoroso y que pocas veces olvidaba las ofensas que se le hacían, además de testarudo, obligando a todos a cumplir sus ordenes, fueran justas o no.
Como caballero era honesto, justo, integro, odiaba la mentira y siempre mantenía su palabra.
Hombre religioso, que acudía a misa y cumplía con los preceptos católicos, comulgaba cuatro veces al día y diariamente daba limosna a los pobres.
Durante su estancia en Granada acudía regularmente al Monasterio de San Jerónimo a disfrutar de los sermones de su prior fray Pedro de Alva,
Fue un ferviente protector de la iglesia aunque desconfiaba de la decadente moral de los papas y de la Curia. Si el papa era la cabeza de la iglesia él como emperador era el “alférez de Dios”.
Tuvo tres grandes enemigos durante su regencia que fueron: turcos, protestantes y franceses. Que podemos ver representados como gorgonas en los bajos relieves de la puerta occidental de su palacio en la Alhambra.
En relación a su vida sexual durante su juventud fue desenfrenada entregándose sin ningún tipo de continencia a mujeres tanto de alta como baja cuna, fruto de ello fueron las tres hijas que tuvo anteriores al matrimonio: Isabel, Margarita y Juana muerta a la edad de 8 años.
No obstante, tras su matrimonio con su prima hermana Isabel de Portugal este quedo totalmente prendado de ella, así como ella de él.
Desde que se casaron este no tuvo ojos para otra mujer, ella era según narra Alonso de Santa Cruz:
La emperatriz era blanca de rostro, mirar honesto, poca palabra y baja nariz aguileña, pechos secos, buenas manos, garganta alta y hermosa, de condición mansa y retraída, callada, grave, devota, discreta y no entrometida.
Pasaron su luna de miel primero en Sevilla y después den Granada donde fue concebido su primogénito Felipe II, que nació el 21 de mayo de 1527, tras él vino al mundo María, después Fernando que murió al poco tiempo.
Tras recibir la corona hispánica e imperial su vida transcurrió entre sus múltiples reinos, transportando sus enseres y objetos personales de un lugar para otro.
Entre sus objetos personales que siempre llevaba consigo destaca el “collar de la orden del Toisón de Oro”, una colección de relojes, plumas de plata y los sellos imperiales.