Въпреки че няма нищо, което да попречи на решителен човек да изтрие публично достъпно съдържание, можете да направите няколко основни неща, за да смекчите притесненията на клиента:
-
Ограничение на скоростта по потребителски акаунт, IP адрес, потребителски агент и т.н... - това означава, че ограничавате количеството данни, които определена потребителска група може да изтегли за определен период от време. Ако откриете прехвърляне на голямо количество данни, затваряте акаунта или IP адреса.
-
Изисквайте JavaScript - за да се гарантира, че клиентът има някаква прилика на интерактивен браузър, а не на barebones spider...
-
RIA - направете данните си достъпни чрез интерфейс на богато интернет приложение. Решетки, базирани на JavaScript, включват ExtJs, YUI, Dojo и др. По-богатите среди включват Flash и Silverlight като 1kevgriff споменавания .
-
Кодирайте данните като изображения. Това е доста натрапчиво за обикновените потребители, но бихте могли да кодирате някои от вашите таблици с данни или стойности като изображения вместо текст, което би победило повечето текстови анализатори, но не е сигурно, разбира се.
-
robots.txt – за отхвърляне на очевидни уеб паяци, известни потребителски агенти на роботи.
Потребителски агент:*
Забрани:/
-
Използвайте метатагове на роботи. Това ще спре да се съобразяват с паяците. Това ще попречи на Google да ви индексира например:
Има различни нива на възпиране и първият вариант вероятно е най-малко натрапчивият.
