Situé à la frontière entre le Périgord et le Limousin, l’Arboretum est implanté sur un site de prairies vallonnées, bordé par la rivière Côle et traversé par une forêt dominée par Quercus robur (chêne pédonculé).
En 2003, Béatrice Chassé et Gérard Lionet choisissent de constituer une collection de chênes (le genre Quercus), ne sachant pas que ce genre comprend plus de 450 espèces, ainsi qu’un grand nombre de sous-espèces et d’hybrides naturels, dont la majorité se trouvent en Amérique du Nord (Mexique et les USA) et en Asie.
Devenue la collection la plus importante en France, avec plus de 300 chênes différents (représentés par un peu plus de 1,000 arbres), et une des plus importantes au monde, cette collection de chênes a été labellisée Collection Nationale pour le genre Quercus par le Conservatoire des Collections Végétales Spécialisées (CCVS) en 2012. L’Arboretum a également reçu le label de Jardin Remarquable en 2021.
Mais l’Arboretum des Pouyouleix ne s’occupe pas uniquement du genre Quercus.
Les autres genres dans la famille Fagaceae – châtaigniers (Castanea), chinquapin (Castanopsis), hêtres (Fagus), chênes à tan (Lithocarpus, Notholithocarpus) – sont bien représentés, ainsi qu’une variétés de genres d’autres familles, par exemple, érable (Acer), caryer (Carya), aubépine (Crataegus), sorbier (Sorbus), faux poivrier (Zanthoxylum), cornouiller (Cornus), et encore d’autres.