Le CCBE fut conçu en septembre 1960 par des passagers d'un bateau voguant vers Bâle (Suisse) lors d'un congrès de l'Union internationale des avocats (UIA). Les avocats craignaient que leur indépendance soit mise à mal du fait de la création de la Communauté économique européenne par le Traité de Rome en 1957. La mise en place d'une telle institution capable de fédérer la profession s'avérait nécessaire pour représenter les intérêts des avocats devant la CEE.
C'est lors de cette croisière sur le Rhin que l'on proposa de créer un organe représentant les six Etats membres fondateurs de la CEE (Allemagne de l'Ouest, Belgique, France, Italie, Luxembourg, Pays-Bas). Les personnes à bord, des Présidents des Barreaux et des associations d'avocat des pays concernés, donnèrent leur accord de principe.
Le projet se heurta toutefois rapidement à la résistance des Barreaux de Paris et Bruxelles qui souhaitaient créer leur propre organisation. Début décembre 1960, une réunion se tint au Palais de Justice de Bruxelles au cours de laquelle certains fondateurs réussirent à convaincre leurs confrères belges et français de la plus grande efficacité d'une organisation purement internationale.
Les délégations adoptèrent la dénomination "Commission Consultative des Barreaux et Associations Nationales des six pays de la C.E.E. (réunie à l'intervention de l'U.I.A.)". Cette dénomination fut finalement simplifiée en "Conseil des barreaux européens" tout en conservant l'abréviation originelle CCBE.
Le CCBE devint autonome en 1966 et définit dès lors sa mission comme à "l'étude de toutes les questions relatives à la profession d'avocat dans les Etats membres de la Communauté européenne et la formulation de solutions afin de coordonner et d'harmoniser l'exercice de la profession dans ces Etats".
Une étape important fut franchie en 1977 lors de l'introduction de la carte d'identité du CCBE, une sorte de passeport facilitant la fourniture de services juridiques par des avocats d'Etats membres européens dans les autres pays membres. Cette idée, fortement relayée dans la presse, fut un succès, avec quelque 700 demandes de carte enregistrées en deux ans.
En 1977, une autre législation communautaire essentielle concernant les avocats vit le jour: la directive services (77/249) qui permet aux avocats de fournir des services à titre temporaire dans un autre Etat membre européen différent de leur Etat d'origine.
L'année 1979 fut quant à elle marquée par une victoire historique dans le processus tendant à la reconnaissance officielle et à la légitimation du CCBE. La Cour de justice des Communautés européennes accepta le CCBE comme intervenant dans une affaire représentant les intérêts de la profession d'avocat en Europe. L'affaire, AM&S Europe Limited c. Commission des Communautés européennes, se concentrait sur la question du secret professionnel pour les juristes d'entreprise. Le CCBE rédigea pour la Cour une étude complète concernant les législations en la matière au sein des différents Etats membres. Par la suite, le CCBE établit en conséquence une délégation permanente auprès de la Cour de justice. En 1988, le Code de déontologie du CCBE, qui réglemente les activités transfrontalières des avocats, fut adopté et mis en oeuvre.
En 1998, la directive établissement (98/5), seconde directive spécifique à la profession d'avocat, fut adoptée par les institutions communautaires après de longues discussions au sein du CCBE. Cette directive permet aux avocats européens de s'établir dans un autre Etat membre pour autant qu'ils soient inscrits et réglementés par le barreau local d'accueil.
Le CCBE continue à être régulièrement consulté par la Commission et le Parlement sur les directives touchant aux intérêts de la profession d'avocat en Europe.
Une publication plus détaillée concernant l'histoire du CCBE peut être téléchargée ici.