Полтора дня убил на то, чтоб поменять дизайн на этом блоге. Сразу же вылезли все недостатки в проектировании Lasto-блога. Даже нашел пару откровенных ошибок. Некоторые вещи нормально исправить так и не удалось. К сожалению.

Зато получил массу примеров, как не нужно проектировать движки. Постараюсь учесть накопленный опыт в своей CMS. :)

Microsoft открыла исходные коды .Net Framework (исходники)

Microsoft заявила, что позволит сторонним разработчикам проверять исходный код для библиотек .Net Framework, чтобы помочь создавать лучшие приложения. Правда, для этого разработчикам сначала придется запастись платформой Visual Studio 2008. Проект получил название .Net Reference Source, в него входят .Net Base Class Libraries, включая System, System.CodeDom и System.ComponentModel; ASP.Net, включая System.Web.Extensions; Windows Forms; и Windows Presentation Foundation. Также предлагаются ADO.Net и XML. Впервые о проекте Microsoft заговорила в октябре прошлого года, в течение последующих недель и месяцев компания добавит библиотеки LINQ (Language Integrated Query) и Windows Communication Foundation.

Запуск .Net Reference Source планировался на прошлый месяц, но Microsoft решила несколько продлить обратную связь и обсуждение с разработчиками. По словам Microsoft, запущенный проект "обеспечивает намного лучшее понимание того, как работают библиотеки .Net Framework и позволяет создавать лучшие приложения, совершенствуя их использование". Подробности, описания и инструкции по работе с предоставленными исходными кодами можно найти в блоге Шоуна Барки (Shawn Burke), руководителя отдела развития Microsoft.

Каждый человек характеризуется не только ростом, весом, цветом глаз, уровнем интеллекта (IQ), но и силой ленивости. И хотя этот показатель принято скрывать от окружающих, он все же время от времени выскакивает наружу, как чертик из коробки - в самый неожиданный момент.

Каждый из нас старается держать свою лень в узде, т.к. понимает, что гораздо легче ее удержать, чем потом бороться с ней. Ну, а если позволить ей вылезти наружу и остаться там дольше положенного срока, то есть нехилый риск поиметь значительные потери в своем привычном быте, доходе, карьере и социальном статусе.

Ладно, свобода лени каждого - дело этого самого каждого и тут обсуждаться не должна. Давайте лучше глянем, к чему приводит "объединение леней" - ситуация, когда один немножко наленился, потом другой тоже чуть-чуть схалтурил и т.д.

А получаются в результате довольно интересные "ленивые симбиозы". К слову сказать, интересностью они и ограничиваются, т.к. обычно имеют строго отрицательный эффект. Так уж выходит.

Давайте рассмотрим и оценим последствия ущерба от одного из таких симбиозов. Получился он сам собой в результате лени скрипто-писателя, замешанной с ленью вэб-мастера и тем многократно усиленной. Отдельно эти две лени так же приводят к отрицательным результатам, но настолько слабовыраженным, что их никто во внимание не принимает. Но зато когда они нашли друг-друга, то получился кумулятивный эффект, последствия которого вполне могут вылиться в потерю денег как вэб-мастером, так и (возможно) скрипто-писателем.

Рассмотрим ситуацию.

Есть некий сайт, построенный на некой CMS. Эта CMS обладает полезной особенностью - она все генерируемые страницы "выплевывает" в виде статичных HTML-документов. Получается, что на сайте вместо уродливых адресов типа: http://www.super-kontora.com/my_texts/show.php?text=article1, странички доступны по очень красивым ссылкам: http://www.super-kontora.com/article1.html.

Это хорошо и полезно и вызывает любовь поисковиков, но разработчик КМС, во время этой самой разработки, дал волю своей лени и не стал обрабатывать ситуацию, когда обращение происходит не в корень сайта, а в какой-нить каталог в глубине. То есть при вводе в браузере любого из этих адресов:

• http://www.super-kontora.com/article1.html
• http://www.super-kontora.com/text/article1.html
• http://www.super-kontora.com/musor/00/01/02/03/article1.html

серфер получает одну и туже страницу. Знакомо, да?

Правильный CMS должен был бы первый запрос обработать нормально (выплюнуть страницу с инфой), а в ответ на остальные показать серферу (да и и всему остальному миру) большую фигу с вытатуированным брутальным готическим шрифтом волшебным кодом "404". Это было бы правильно как с точки зрения вэб-стандартов, так и с точки зрения логики и здравого смысла.

Но разработчик решил так: мой скрипт все страницы представляет лежащими в корне сайта, поэтому ссылок вглубь иерархии папок быть не должно, если их только не наделает тупой вэб-мастер, но в этом случае он сам виноват.

Оправдав тем самым свою разгулявшуюся ленцу перед всем миром (и, в первую очередь, перед самим собой), он не стал разгребать сложные многопапочные запросы, а просто вырезал имя html-файла из строки адреса и этот файл и выдал в броузер. Что мы и имеем. И намного чаще, чем хотелось бы. Например, таким недостатком грешит и мотор блога, который Вы сейчас читаете. В строке адреса можно вводить что угодно - самое большее на что он способен - выдать надпись "Ничего не найдено". Но страница при этом все же будет сгенерирована.

Казалось бы, не так уж и страшно. Ну получит серфер страницу-дубль, якобы лежащую по левому адресу, ну и фиг с ним. Тем более, что адресов таких теоретически возникнуть не должно. Пока так и есть - трагических последствий от лени разработчика еще не наблюдается. Но двинемся дальше.

Вэб-мастер ленив по-своему. Его задача - сделать так, чтоб было красиво снаружи, а вот как оно внутри никто смотреть не будет. И как раз при построении этих внутренностей любой вэб-мастер с удовольствием выпускает свою лень на прогулку, чтоб не скулила под ухом и не отвлекала от работы.

Во что все это выливается - тема для отдельной многостраничной рукописи. Здесь же обратим внимание лишь на одну деталь - сокращенные ссылки. Это когда в коде страницы вместо:
< a hrеf="http://www.super-kontora.com/аbout.html">
присутствует куцый вариант ссылки:
< a hrеf="аbout.html">

В обычных условиях описанный подход тоже абсолютно безопасен. Браузер сам подставит имя домена перед именем страницы из ссылки и получит грамотный, правильный URL. А о том, что браузер подставляет с именем домена еще и папочный путь внутри сайта сейчас вэб-мастер не думает, т.к. купленная им CMS генерит все страницы в корень сайта и ссылок куда-то глубже быть просто не должно.

Потому, уверенный в полной безопасности такого подхода, этот html-кодер выгуливает ленцу по-полной - на странице полными оказываются ссылки только на сторонние ресурсы, все же внутренние переходы делаются по сокращенным ссылкам.

Итак, работа завершена. Сайт набит сотнями страниц (надо же чем-то его наполнить), спущен на воду (иначе зачем его строили), обвешан рекламными блоками (должен же он приносить прибыль) и скормлен роботам поисковых систем (ну а как еще привлечь народные массы для исследования сего бесценного ресурса?).

Через некоторое время происходит индексация, искалки довольны статичными страницами, вэб-мастер доволен позициями в серпах, админ сайта доволен посещаемостью, короче все радуются и пьют шампанское.

Но тут происходит что-то невероятное: какого-то серфера заносит на несуществующую страницу, находящуюся якобы не в корне сайта, а в папочке.

Как его туда занесло? Да как угодно, пути серфирования неисповедимы. Например, возомнил он себя крутым хакером и решил слить с сайта весь продаваемый на нем софт. Соответственно и ломанулся этот кул-хацкер на страницу http://www.super-kontora.com/download/ просто тупо вбив путь в строке адреса своего любимого Microsoft Internet Explorer'а.

"Умная" CMS, получив такой неожиданный запрос и не найдя в нем указания конкретной страницы, выплюнула просто главную и умыла руки. Хакер тоже понял, что обломился. На том вроде конфликт и исчерпан. Но не тут-то было!

Этот безобразно глупый хит оказывается именно той каплей птичьего помета, которая вызывает лавину, стирающую с лица Земли целые селения. Ибо именно с этого хита начинается цепная реакция.

Фаза первая.

Расположенный на сайте скрипт от Гугль-аналитикс, (или любой другой конторы по подсчету статистики) засекает этот хит и вносит в статистику посещаемости новую, ранее невиданную, страницу с адресом http://www.super-kontora.com/download/.

Естественно Гугль изо всех сил спешит проиндексировать новую страницу, заходит туда и.... о ужас! Он находит там ПОЛНУЮ КОПИЮ основного сайта! Т.е. все те сотни страниц, которые размещены на сайте и доступны из корня, теперь найдены роботом вторично, но уже не в корне, а в папке по адресу http://www.super-kontora.com/download/ (ведь вэб-мастеру было лень вставлять полные ссылки, а короткие привели к созданию ссылок с именем папки в адресе).

Довольный робот индексирует все, до чего только может добраться и поисковая система получает полную коллекцию дубликатов страниц, на которые она (по одной ей известным причинам) начинает так же активно отправлять некоторое количество посетителей. Тем самым как бы закрепляется эффект существования дубля, ведь все тот же скрипт аналитика регулярно отчитывается, что указанные страницы существуют в природе и исправно посещаются.

Фаза вторая.

Любой оптимизатор (да и просто более-менее грамотный админ сайта) знает о существовании систем активной раскрутки и продвижения сайтов типа 1ps.ru или xap.ru. Это системы, позволяющие получать (за деньги или бесплатно) ссылки с одних сайтов на другие, тем самым повышая индексы цитирования, PR-ы и прочие показатели, сильно влияющие на позицию сайтов в серпах.

Так вот, для оценки "качества" страницы, на которой такая система собирается поставить ссылку, она (система) кроме сканирования самого сайта-площадки делает еще и запросы в разные поисковики, с целью узнать, что, кем, когда и где проиндексировано.

Естественно, получив с того же гугля список левых страниц из несуществующей папки download, система тоже внесет его в базу и добросовестно будет демонстрировать каждому посетителю. Включая и постоянно шныряющих тут и там поисковых ботов.

Итак, за очень короткий срок, об этих псевдо-страницах узнает вся сеть.

Поисковики, засекая новые страницы в серпах друг-друга, с удовольствием сканируют "новый" сегмент сайта и вносят его в свои базы. И естественно посылают туда посетителей, ломая на корню всю так нужную вэб-мастеру статистику.

Естественно, путь развития этой раковой опухоли может быть иным. Например, левую страницу может заметить какой-нить счетчик (типа LiveInternet) и внести в свой рейтинг посещаемости, а оттуда ее вытянет бот. Вариантов может быть много.

Первый вход в псевдо-папку так же может быть разным. Мне как-то попался сайт, в котором одна из ссылок по какой-то случайности получила в хвост слэш, т.е. код выглядел примерно так: < a href="about.html/">О сайте< /a>.

Это было ужасно! Естественно все без исключения поисковики приняли эту конструкцию за ссылку на папку с именем about.html, зайдя в которую они находили кроме копии всего сайта еще более ужасную вещь - ту же ссылку на папку about.html, но уже уровнем глубже. Очень быстро в списках проиндексированных страниц этого сайта появились монстры типа: http://site.ru/about.html/about.html/about.html/about.html/about.html/article.html и им подобные.

Фаза третья.

Дальнейшая жизнь сайта может происходить по-разному. Возможно процесс остановится уже после второй фазы, а может он будет развиваться как все в природе - по спирали: кто-нить как-нить создаст запрос к страницам еще глубже вложенным в иерархию папок и вызовет тем самым новый виток индексации "новых" псевдо-страниц.

Но, в любом случае, поисковые системы, обнаружив даже по одному 100%-му клону всех страниц в пределах одного сайта, решат, что что-то здесь не ладно и очень похоже на попытку искусственного воздействия на результаты ранжирования и, как следствие, позицию в серпе. А таких действий поисковики очень не любят. И потому их вердикт будет весьма строгим: в лучшем случае - нехилое падение в этом самом серпе (с первой страницы на, скажем, двадцатую), в худшем - бан сайта на неопределенный срок.

Чем последнее грозит объяснять не надо. Для скорейшего восстановления работоспособности сайта придется сделать массу не самых приятных телодвижений типа: покупки нового домена и (скорее всего) полной переделки дизайна сайта. Потом снова регистрация в искалках и раскрутка с самого начала. Ну и естественно потеря клиентов, прибыли, дополнительные расходы....

А причина всему - банальная лень.

Потому, при строительстве своих интернет-ресурсов всегда выполняйте как минимум два условия:

1. не экономьте время при построении дизайнов - вставляйте всегда и везде только полные адреса. Затраты времени на это действо минимальны, а эффект, как видно из этого опуса, колоссальный.
2. проверяйте используемые CMS-ы на нормальную реакцию при обращении к несуществующим страницам. Если мотор будущего сайта не способен послать на три веселых цифры "404", ломящегося по левым адресам, серфера (а вместе с ним и поискового бота), то место такому движку на свалке.

На этом пока все. Комментируйте, не стесняйтесь.