Можно ли защищать сайт, который работает не по HTTP, а по другому прикладному протоколу, основанному на TCP?

Такой сайт можно защищать от атак вплоть до 6 уровня модели ISO/OSI включительно. Для защиты от атак прикладного уровня (в первую очередь, от злоумышленников, осуществивших реверс-инжиниринг системы клиента) необходимо краткое описание используемого протокола или данные о типичном трафике протокола в формате tcpdump.