První zprávy o obci Podbřezí pochází ze začátku 14. století, kdy je doložena existence tvrze s hospodářskými budovami v místě dnešního zámečku Skalka.
Na připomínku vzniku vsi a jejího odvozeného názvu, i k vyjádření životaschopnosti Obce Podbřezí, se stal ústředním motivem jejího znaku kmen břízy s kořeny. Dvě zlaté jehnědy na jeho olistěné koruně symbolizují její střediskové vsi – Podbřezí a Lhotu. Počet zelených listů koruny udává počet osad příslušných k obci - Skalku, Přímy, Chábory, Studánku, Netřebu a Škutinu. Závislost šlechtických pánů statku Skalka na podbřezských poddaných připomíná umístění fragmentů z jejich rodových znaků pod ochranné zastřešení březové koruny. Stříbrná ryba dokladuje zdejší zaniklé rybnikářství a plovoucí ryby užívali ve svém znaku také rytíři Ostrovští. Ze znaku starodávného mladotovského rodu byla použita červeň (jako základová barva znakového štítu) a černý broušený drahokam.
V obci Podbřezí se nachází množství kulturních a historických památek. Dominantou je zámeček Skalka, který sice není veřejnosti přístupný, ale jeho poloha a upravenost potěší oko i náročného turisty. V blízkosti zámku se nachází starobylý lesní židovský hřbitov. V dobách minulých zde žila poměrně velká židovská komunita. Ze zdejších 92 stélek (náhrobků) je nejstarší z r. 1725 a poslední je Kischův pomník z roku 1906. Ke hřbitovu se návštěvníci dostanou pěšinou, která vede podél potoka, který je zvaný Zlatý. Ten je opředen mnoha pověstmi o rýžování zlata a splavnosti dříví z nedalekých Orlických hor.
Obcí se během její historie několikrát prohnala Velká voda. Ta nejničivější ovšem byla povodeň v roce 1998. Více jak stoletá voda za sebou zanechala velké škody. Dokázala však stmelit zastupitelstvo obce, aktivní firmy a občany k opravě splavu, židovského hřbitova, mostu, chodníků, kanalizace, školy i školního hřiště a sportovního areálu. Proti obecnímu úřadu byl při této příležitosti postaven tzv. povodňový domek s třemi garsonkami. Dalšími stavebními aktivitami obec Podbřezí zkrásněla – včetně Lhoty Netřeby a příslušných osad. Firma AZ Satelit (nynější Proteco nářadí) v několika následujících letech opravila zámek Skalka do nynější podoby.
Podbřezí je malebná aktivní obec, která se stala v minulosti Vesnicí roku Královéhradeckého kraje, získala ocenění za práci s mládeží a ocenění za péči o zeleň. Nechybí zde ani občanská vybavenost jako je Pošta Partner, knihovna, základní a mateřská škola, obchod, hostinec a motel.
Škola v Podbřezí - Skalce byla postavena v letech 1896 –97 a svému účelu byla slavnostně odevzdána 12. září 1897. Prvním řídícím učitelem byl Otakar Sklenář. Léta plynula, ve škole se měnily jak počty žáků (nejvíce ve školním roce 1909/1910 - 220 žáků a nejméně v roce 1992/1993 – 20 žáků), tak zařízení a vybavení školy. V letech 2010 – 2019 prošla základní škola důkladnou rekonstrukcí s přistavením celého patra v půdních prostorách. Jednou z dalších etap v roce 2012 byl vznik mateřské školy, ve které jsou děti vzdělávány podle Montessori pedagogického systému. Touto širokou opravou vzniklo v Podbřezí moderní vzdělávací zařízení pro děti ze širokého okolí.
V roce 2021 v obci žije 570 obyvatel, kteří se aktivně zapojují do obecního života ať už jako jednotlivci nebo členové nějakého spolku. Ročně se zde koná na 30 společenských a sportovních akcí. Aktivních spolků je zde osm: SDH Podbřezí – Skalka, SDH Lhota Netřeba, Sdružení žen Podbřezí, Sportovní klub Skalka, Myslivecké sdružení, Oddíl Skaláci, Chovatelé poštovních holubů a Svaz včelařů.
Cennou památkou je židovský hřbitov s 92 náhrobky (nejstarší z r.1725). Karel Krpata: „…není na českém venkově židovského hřbitova, který by směl se skaleckým soutěžit v malebnosti a přitažlivosti polohy. Čtyři tóny vyjímečné působivosti se tu slily v strhující akord přírodní krásy – snivé lesní údolí, jará horská bystřina, ryčně rozhlaholený splav a v sebe stulené, roztodivně vrávorající kameny s hebrejskými nápisy…“).
Zděný sál synagogy (používaný do roku 1888) je klasicistní stavba s korunní římsou a střechou ukončenou v čele valbou. Postaven r.1820 na místě ubouraného dřevěného sálu synagogy (čp.55) se školou (čp.56). Oba objekty (proti lipové aleji) jsou již přestavěny (obvodové zdi sálu jsou zachovány).
Historickou památkou jsou i náhrobní kameny skaleckých feudálů, umístěné na zdi farního kostela v Bílém Újezdě.
Opředený pověstmi a tajemností je nejstarší dřevěný dvouramenný kříž, zv. Španělský, který od nepaměti stojí u bývalé obchodní trstenické stezky (nyní polní cesta k Cháborám). Údajně zde došlo k bitvě v třicetileté válce a prokazatelně zde jsou pohřbeni vojáci zemřelí v skaleckém lazaretu r.1809),
opředený tajemností vzniku je i tzv. Šedý křížek ve Lhotě.
Boží muka z r.1924 nad Chábory (místo dřevěného kříže),
pilířové sousoší Nejsvětější Trojice z r.1755 (nad zámkem),
Antonín Paduánský z r.1758 (se zvoničkou nad hostincem),
Panna Maria bez hříchu počatá z r.1760 (při vjezdu do vsi),
pilířová socha Jana Nepomuckého v Netřebě z r.1772,
Jan Nepomucký z r.1897 (před základní školou),
Boží muka z r.1867 (při výjezdu k Bílému Újezdu),
Boží muka ve Lhotě z r.1867 (se zvoničkou),
Boží muka v zatáčce Netřeby z r.1881,
Boží muka v Netřebě z r.1900 se zvoničkou z r.1867,
Boží muka na Škutině (Machovi) - zde umístěna r.1937,
Boží muka na Škutině (Plištilovi) ze starého doberského hřbitova zrušeného r.1885 - zde byla postavena v roce 1945,
soška Jana Nepomuckého ve výklenku zámecké terasy,
tzv. Neratovské schodiště (se čtyřmi sochami) v zámeckém parku,
Pomník padlých se schránkou s plstí ze zborovského bojiště. Roku 1928 byl postaven u paty zámeckého ostrohu – roku 1999 byl přestěhován na vkusně parkově upravený prostor po zbořeništi vrchnostenské vinopalny (k uctění padlých se koná každoroční posvícenský průvod s položením věnce u pomníku a se zahráním památné písně: „Hoši od Sborova“).
Ze zachovalých pamětních lip je to Lípa svobody z r.1920 (na kopečku - první z lipové aleje) a Švehlova lípa z r.1935 (v parčíku proti hostinci). Na paměť 50tého výročí republiky byly r.1968 zasazeny za Podbřezí a Lhotu dvě Lípy svobody (obě před podbřezskou prodejnou). Nejmladší z pamětních lip je tzv. Miléniová lipka v nově zřízeném parčíku proti bývalé synagoze (vysazena při sjezdu rodáků 12. května 2001).
Územím obce protéká romantickými zátokami Zlatý potok. Při sledování jeho toku můžeme navštívit splav s židovským hřbitovem, kamenný sklípek z dob vzniku statku Skalka, přírodní rezervaci Skalecký háj, cháborské hradiště či keltské osídlení na Chlumu s žárovým mohylovým pohřebištěm.