A hőszivattyúkat ezért gyakran emlegetik „kifordított hűtőszekrénynek”, ami kívül hűt, belül fűt.
Az elméleti tárgyalás alapját a Carnot-féle termodinamikai körfolyamat képezi, amely összesen négy, szabályosan ismétlődő és megfordítható (reverzibilis) állapotváltozásból áll, azaz két hőcserélőből, egy kompresszorból és egy fojtó (adagoló) szelepből. Ezeket csővezetékek kötik össze, melyekben a hűtőközeg kering. A folyamat megfordító szelep (FMSZ v. VIC) lehetővé teszi, hogy a körfolyamat irányát megfordítsuk, ezáltal a hőszivattyúval hűteni is lehet, mert a hűtött és fűtött oldal felcserélődik. (reverzibilis)
A fojtószelep/adagoló által lecsökkentett nyomású, hideg folyadék a elpárologtató hőcserélőbe jut.
Mivel, köztudott, hogy alacsonyabb nyomáson, a közegek alacsonyabb hőmérsékleten forrnak, az elpárologtatóban (EV) a hűtőközeg forrni kezd,, vagyis elpárolog, ezáltal hőt von el a környezettől, a kollektor oldalról.
A már gáz halmazállapotú hűtőközeget a kompresszor ismét összenyomja, és nagy nyomáson "cseppfolyósítja" vagyis kondenzálja (CN), a hűtőközeg a halmazállapot változáskor jellemző hőt ad le a környezetnek, vagyis a kondenzátor oldalt melegíti.
Ha az elpárologtató a talajban vagy valamilyen természeti közegben helyezkedik el, akkor azt hűti, míg a kondenzátor a házban lévő fűtési rendszer vízét melegíti. A ténylegesen megfizetendő energia a kompresszor működtetéséhez szükséges elektromos energia lesz. Mivel a tényleges hasznos hőt a hűtőközeg "beszállítja", a kondenzátoron leadott hőmennyiség 3-4-szer több lehet, mint a kompresszor által felvett elektromos energia.
Azt a számot, amely a felvett elektromos energia és a leadott hőenergia hányadosa, nevezzük hatékonysági mutatónak, vagy az COP számnak (angol Coeficient of Performance). Minél nagyobb az COP szám, annál hatékonyabb a hőszivattyú.
Az COP érték nagyban függ a kollektor oldali (forrás) hőmérséklettől, és a felhasználói oldali hőmérséklettől, vagyis minél melegebb a kollektor, annál hatékonyabban lehet a hőt átszállítani a felhasználói oldalra, illetve minél melegebb vizet akarunk előállítani, annál inkább leromlik a hőszivattyú hatékonysága.
Annak függvényében, hogy milyen a kollektor oldal, beszélhetünk vizes (kút), levegős, vagy földhős/geotermikus hőszivattyúkról.