Современники окрестили его Великим Карлом, первой кистью России и покорителем Европы, сравнивали с Рафаэлем и Рембрандтом. В Академии художеств ее называли Картина, и никто не спрашивал - какая именно. Так величали одну-единственную, лучшую картину России первой половины XIX века - Последний день Помпеи. Во времена гонений на гугенотов семья Брюлло бежала из Франции в Германию. В Петербурге первый представитель этой семьи обосновался в 1773 году. Все предки Карла были художниками, а отец, Павел Иванович, добился звания профессора орнаментальной скульптуры. От первого брака у Павла Брюлло был сын Федор. Вторая жена, дочь придворного садовника Мария Шредер, родила ему четырех сыновей и двух дочерей. Третий сын Брюлло - Карл - родился 12 декабря 1799 года. Все детство мальчик проболел, до семи лет почти не вставал с постели. Но болезнь не отменяла ежедневных занятий. Не нарисовав положенное число человечков и лошадок, не сделав копию с гравюры, он лишался обеда. Отец был первым учителем своих сыновей. Он любил их и готовил к полной трудов жизни, какой жил сам. Воспитывал детей, как его самого воспитывали: в строгости, на затрещины не скупился. Карл однажды такой удостоился, что всю жизнь не слышал левым ухом. К нему отец предъявлял особые требования - Карл был талантливее братьев.
