Od 7. století se zde usazovali Lužičtí Srbové, po kterých se dochovaly některé názvy vsí, včetně Řasnice a Srbské. Nejstarší zmínka o Horní Řasnici je z roku 1381, Srbská je poprvé zmiňována v roce 1463. Původní jméno obce Bernardova Ves pocházelo z německého vlastního jména Bernard.

Mezi nejzajímavější budovy v obci patří škola, kaple a panský dům čp. 62. U domu čp. 79 stojí železný kříž na kamenném podstavci. Tento kříž je památkově chráněný. Nedaleko obce se také nachází přírodní památka Bílá skála. Hraniční přechod v Srbské je od roku 1995 otevřen pro pěší, cyklisty a malé motocykly.