Najważniejsze elementy konstrukcji kotła olejowego to zbiornik na paliwo, przewody olejowe oraz palnik. Olej jest przekazywany do zbiornika, a następnie transportowany z użyciem przewodów i spalany w wysokiej temperaturze przez palnik. W tym momencie woda w kotle ulega podgrzaniu – następnie może ona być przekazana do pozostałych elementów instalacji centralnego ogrzewania lub ciepłej wody użytkowej, w zależności od wybranego rodzaju pieca.

Podobnie jak kotły gazowe, urządzenia tego typu dzielą się na jedno- i dwufunkcyjne. Pierwsze z nich mogą obsługiwać wyłącznie instalację c.o., z kolei drugie – zarówno c.o., jak i c.w.u.