Zahrádkářská osada Bílý Kámen vznikla dne 6. 4. 1982 v rámci tehdejšího Československého ovocnářského a zahrádkářského svazu, po roce 1989 Českého zahrádkářského svazu. Po roce 1991 byly tyto zahrady vykoupeny původními majiteli do osobního vlastnictví.

Celková výměra osady činí přibližně 33 tisíc m². Z toho 5.890 m² je společná parcela, jež zahrnuje všechny přístupové cesty a rybník s parcelním číslem 137/1. Zbylé území představují samotné zahrádky.