В 2004 году Рамос дебютировал в составе молодежной сборной Испании, за которую сыграл шесть матчей, после чего стал приглашаться в основную команду страны. Первый матч за национальную сборную Рамос провел 26 марта 2005 года в возрасте 19 лет. Таким образом, он стал самым молодым игроком команды за последние 55 лет.
Рамосу довольно быстро удалось завоевать место в основном составе национальной сборной, и уже в 2006-м году он поехал на свой первый чемпионат мира. В отборочном турнире к Евро-2008 защитник провел 11 матчей, в которых забил 2 гола и, таким образом, помог Испании пробиться в финальную часть континентального первенства. На самом чемпионате Европы Рамос провел 5 матчей без замен, дважды (особенно заметно это было в полуфинале турнира) переиграв на своем фланге Юрия Жиркова и завоевав вместе с командой звание чемпиона Европы.