Яшчэ 5 тыс. гадоў назад старажытныя кельты мелі тут свае ўмацаванні, як кажуць археалагічныя знаходкі ў раёне Ліндэнталь. Аднак гісторыя Кёльна як пастаяннага паселішча пачынаецца ў 38 г. да н.э. з заснаваннем Маркам Віспасіянам Агрыппай, вайскоўцам імператара Аўгуста, населенага пункту Аппідум Убіорум. У 50 г. н.э. горад атрымлівае новую назву – Colonia Claudia (Калонія Клаўдзія), а да сярэднявечча засталося толькі “Калонія”, на мясцовым дыялекце – Кёльн. 
З гэтага часу горад пачынае імкліва развівацца – з'яўляюцца адміністрацыйныя будынкі, храмы, тэатр. У сярэдзіне Х ст. Кёльн пачынае сваё ўзыходжанне да статуса аднаго з самых значных гарадоў сярэднявечнай Еўропы. У 1164 г. архіепіскапам кёльнскім робіцца Райнальд фон Дассель, блізкі сябр Фрыдрыха Барбаросы. Той даруе яму тытул Канцлера Італіі і дазваляе перанос у Кёльн з Мілана парэшткаў святых валхвоў. Хутка для гэтых парэшткаў пачынаецца будаўніцтва вялікага гатычнага сабора.
Акрамя сабора будуюцца і аднаўляюцца касцёлы, якія адносіліся да ліку самых знакамітых дастапрыкметнасцяў горада: касцёл Св. Марціна, касцёл Св. Марыі, касцёл Св. 12 Апосталаў, касцёл Св. Панцелеймона і Св. Урсулы, касцёл меннанітаў. У гэты час Кёльн робіцца адной са сталіц каталіцтва.
Горад перажывае эканамічны бум, перыяд свайго найвялікшага росквіту. Адзін англійскі манах, патрапіўшы ў Кёльн у ХІ ст., назваў яго “цэнтрам Германіі, горадам першай велічыні”. І гэта не было перабольшаннем, таму што на той момант у горадзе пражывала каля 20 тыс. чалавек.
Прызнаючы значэнне горада, імператар афіцыйна надае яму ў 1475 г. статус свабоднага імперскага горада. А ў 1584 г. у Кёльне адчыняецца нунцыят – афіцыйнае пасольства Папы Рымскага. Ён атрымлівае статус “святы”, які да да гэтага насілі толькі два гарады: Рым і Канстантынопаль.
Далейшая гісторыя горада была адзначана даволі працяглай французскай акупацыяй. Пасля Французскай рэвалюцыі пачаліся шматлікія войны Францыі са сваімі суседзямі. І ўжо ў 1794 г. французская армія стаяла пад брамай Кёльна. Усе тэрыторыі да Рэйна былі ўключаны ў склад Францыі, а Кёльн стаў звычайным правінцыйным французскім горадам. Такое становішча захоўвалася да 1814 г., калі французы пакінулі горад перад наступаючымі прускімі войскамі. На Венскім кангрэсе Кёльн і ўвесь Рэйнланд адыйшлі да Каралеўства Прусіі.
Менавіта ў гэты час Кёльн зноў робіцца значным горадам, і ўжо перад Першай Сусветнай вайной насельніцтва горада перавышала 600 тыс. чалавек.
Падзеі ІІ Сусветнай вайны сталі трагічнымі для гісторыі гораду. З самага пачатку вайны адбываліся бамбардаванні, якія знішчылі амаль увесь Кёльн (да 90% будынкаў). Толькі 31 траўня в 1942 г. было знішчана больш за 5 тыс. аб’ектаў. 12 красавіка в 1945 г. горад займаюць амерыканскія войскі, і з гэтага часу пачынаецца паступовае адраджэнне, якое працягваецца і сёння.