Historie pohraničního hradu Pajrek se začíná psát před cca. 650 lety – někdy v prvé polovině 14. století.

Máme-li věřit jedné německé lidové pověsti, byl hrad založen rytířem, který byl v Bavorsku křivě obviněn, dán do klatby a veškerý majetek mu propadl. Holý život svůj i své rodiny si zachránil útěkem do zdejších lesů. Zde si vybudoval své sídlo a v něm ústraní žil. Lid, který jméno tohoto rytíře neznal (či snad zapomněl) pojmenoval hrad „Bayer in der Eck“ . V doslovném překladu „Bavor v rohu“. Fonetickou transkripcí pak došlo k ustálení názvu Bayereck, česky pak Pajrek.

První písemná zmínka o hradu pochází z roku 1342, která se zmiňuje jeho majitele Bohuslav z Janovic, který patřil k pánům z Janovic. O pár let později (1356) je jako hradní pán uváděn Něpr z Pajreku, který též patřil k pánům z Janovic. V jeho majetku hrad zůstává, až na pár přestávek, až do roku 1512.

Díky své strategické poloze na jedné z obchodních cest významnou úlohu v ohraně hranic a v bojích s bavorskými vojsky.

Za husitské revoluce seděl na hradě Jan, který byl původně přívržencem Žižkovým, ale roku 1432 uzavřel příměří s Oldřichem z Košumberka a později přešel na katolickou stranu.
Toho později střídá v držbě hradu krajský hejtman a stoupenec krále Jiřího z Poděbrad Racek z Janovic. Ten kolem roku 1450 a ještě několikrát poté podniká úspěšné vojenské výpady na bavorskou stranu. Reakce z druhé strany byla jen otázkou času. Od roku 1467 vedou se v okolí hradu drobné potyčky s bavorskými vojsky. Ty vyvrcholí na podzim dalšího roku (1468) vpádem křižáckého vojska. To „cestou“ vypálí několik vesnic a konečně i město Nýrsko samotné. Reakce z druhé strany však na sebe nenechá dlouho čekat. 15. října královské vojsko svede s útočníky bitvu a porazí je. Vojsko pravděpodobně vede již zmíněný Racek z Janovic.
Nicméně zdejší hraniční území byla vždy „horká půda“. Po smrti Racka z Janovic kupuje od jeho manželky v roce 1470 polovinu hradu Mikuláš z Běšin. V červnu 1472 se opakuje vpád bavorských vojska na zdejší území a hrad Pajrek je dobyt. Různé prameny uvádějí že i vypálen, nicméně hodnověrné důkazy k tomuto tvrzení zatím chybí.
Nový majitel hrad neopravil a a tak se v roce 1504, kdy byl jeho držitelem Jindřich Pajrek z Janovic, připomíná jako pustý.

Rokem 1512 končí éra pánů z Janovic coby vlastníků hradu. Opuštěný hrad je prodán spolu se statkem a přechází do rukou Jindřicha Kostomlatského z Vřesovic. Novému pánovi hradu se snad mělo podařit hrad z větší části obnovit. Jindřich však patřil k loupeživým rytířům, kteří podnikali loupežná přepadení v blízkém okolí.  Nový majitel se tak z nově nabytého vlastnictví hradu dlouho netěšil. V roce 1519 byl prohlášen za zemského škůdce, zajat královským vojskem a deportován do Prahy. Zde byl po ročním věznění ve věži Daliborka roku 1520 na Pražském hradě stať.

Nicméně i po této tragické události zůstal hrad i nadále v majetku Vřesovců a s nimi spřízněných z Dlouhé Vsi. Hrad totiž udělil král Ludvík Jagellonský r. 1522 jako léno Albrechtovi ze Šternberka a na Zelené Hoře, ale ten se ho neujal, neboť vdova po popraveném Jindřichovi Kostomlatském měla na hradě pojištěno věno, takže hrad jí nakonec zůstal.

Když zemřela, zdědili Pajrek její synové Bohuslav a Podivín z Vidhostice a po nich jejich sestra Eva. Ta chtěla roku 1538 hrad se statkem prodat bratru popraveného Jindřicha Kostomlatského z Vřesovic Kryštofovi, ale zemský soud rozhodl, aby ho Eva držela i nadále. Nakonec ho roku 1541 předala svým synům Petrovi a Adamovi z Dlouhé Vsi, kteří se r. 1547 rozdělili tak, že Adam se stal jediným držitelem hradu, který jej s jedním městečkem a jednou vsí roku 1554 prodal Janu Kocovi z Dobrše; ten je připojil ke svému sousednímu bystřickému panství.
Kocové však sídlili na zámku v Bystřici nad Úhlavou a tak starý a neútulný strážní hrad ponechali napospas jeho osudu. A tak již v letech 1556 a znovu 1568, kdy Jan Koc z Dobrše dostal pajrecký lenní statek od krále Ferdinanda I. do alodního vlastnictví, se o něm mluví jako o pustém místě. 

1796 – nový majitel bystřického panství (ke kterému patří i panství pajrecké), knížecí rod Palm-Gundelfingen, prodává zříceninu hradu Antonínu Feldmannovi. 

Postupem času se dalšími majiteli zříceniny hradu a panství stávají Jan Rauscher, Antonín Jäckel a Josef Kordík. Za doby vlastnictví Josefa Kordíka došlo na severním rovinatém prostoru pod hradem k vytvoření polí, přičemž byly rozebrány zbytky zde stojících staveb a vápenná směs byla roznesena po těchto polích ke snížení kyselosti půdy. Posledním soukromým majitelem Pajreku byl knížecí rod Hohenzollern – Sigmaringen. Roku 1887 provedla správa bystřického velkostatku, jehož majiteli byli tehdy Hohenzollernové, některé zabezpečovací práce. Při první pozemkové reformě po roce 1918 zůstal hrad součástí bystřického velkostatku a Hohenzollernové se zavázali, že hrad opraví. Leč k tomu nikdy nedošlo.

1930 – zříceninu hradu kupuje město Nýrsko, v jehož majetku je dodnes.