Mmm pucha, creo que ahí hay un dilema. Si creas un programa "opensource" significa que usas licencias GPL, MIT, Apache o BSD y ninguna de esas te va a dar protección por derechos de autor (la idea es esa, compartir el código del programa para su mejoramiento).

Si aun así quieres protegerlo, creo que la mejor manera seria con una patente basada en la funcionalidad del programa (digamos que el programa cuenta manzanas, estarias patentando un programa para contar manzanas de X y Y maneras), sin embargo esto no protegería el código del programa per-se.

Si estas desarrollando basado en codigo que ya esta licenciado de manera "Open Source" te recomiendo que leas la licencia y que te permite hacer y que no para evitar malos entendidos. Igualmente te recomiendo que si es enserio, consultes con un profesional para que atienda el caso de manera específica.