Lokalita se těšila zájmu turistů již v 19. století. Roku 1883 zde byla přímo pod skalními útvary postavena hospoda, která však již v roce 1885 vyhořela. Další hospoda byla postavena v roce 1886 (někde se uvádí 1887). I tento objekt však 14. srpna 1906 zcela shořel. Ještě téhož roku zde byla postavena již třetí hospoda, ke které v roce 1928 přibyl velký sál a ve třicátých letech 20. století nová přístavba. Veškeré objekty však 24. listopadu 1937 vyhořely, ale podařilo se je obnovit. Po roce 1945 došlo k začlenění území do pohraničního pásma a restaurace i s nedalekou kaplí z roku 1870 byly odstřeleny.

Již dávno před vyhlášením zvláště chráněného území získala lokalita jistou ochranu. V roce 1907 vykoupil okres Kraslice pozemky se skalními útvary, aby zabránil těžbě kamene a lokalitu tak ochránil. Území bylo chráněno usnesením rady Okresního národního výboru v Sokolově ze dne 12. července 1974 jako chráněný přírodní výtvor Vysoký kámen. Nově vyhlásil chráněné území Okresní úřad v Sokolově s účinností od 24. července 2000 pod názvem Přírodní památka Vysoký kámen.

Na vrcholu Vysokého kamene je upravená vyhlídka, z níž je nádherný výhled široko daleko. Na jihovýchodě lze vidět Slavkovský les s vrchy Lesný a Lysina, dále vpravo v Českém lese vrch Dyleň s věží. Na jihozápadě je vidět německé pohoří Smrčiny a kopec Háj s rozhlednou, který leží nad Aší. Na severu vystupují Krušné hory se Špičákem a dále nejvyšší horou Klínovcem s rozhlednou a TV vysílačem.

O Vysokém kameni vznikla řada pověstí, o zlém rytíři a jeho hradu, o skřítcích nebo o bílé paní, která hlídá veliký poklad. Před staletími tu prý stával velký a pevný hrad, jehož krutý a nelítostný majitel zužoval své poddané. Jednou vstoupil do hradní brány starý, potulný zpěvák, aby panstvo pobavil. Rytíř na něj však poslal psy. Zraněný a ponížený pěvec pak toto nehostinné místo proklel a přivolal tím na zlého pána a jeho hrad zákazu. Země se otřásla a sídlo se propadlo do hlubin. Rytíř ani po smrti nenašel pokoje. Za temných nocí se prý z nitra skály ozývá hřmot, výskání a rev koní. Zůstaly zde jen vysoké skalní sloupy dodnes připomínající skalní věže.

Přírodní památka je zahrnuta do Evropsky významných lokalit v rámci soustavy Natura 2000. Území přírodní památky kopíruje vypreparovaný hřeben skalních výchozů táhnoucí se přibližně od jihu k severu v délce 300 metrů. Důvodem ochrany je zachování geologicky, geomorfologicky a esteticky významného skalního útvaru a na něj vázaných rostlinných a živočišných společenstev.

Zaslal Miroslav Šindelář. Děkujeme.