Программизмы

SunSpider 0.9.1: Тестирование производительности браузеров

2010-03-30T12:50:22Z

Начну с того, что основной из причин, для пользователя, при выборе браузера, является его производительность. Для многих не секрет, что самым ресурсоемким процессом для браузера, в современном интернете, является обработка и исполнение Java скриптов (или же Джава Сценариев что есть одно и тоже). Для замеров производительности Java скриптов используются специальные бенчмарки (Benchmarks), которые нагружают ява машину браузера по самое небалуйся. И одним из самых требовательных к производительности бенчмарков является Apple SunSpider.]]>

SunSpider отражает реальное положение вещей. Этот тест, как правило, избегает микробенчмарк-тестов, пытаясь фокусироваться как на актуальных проблемах, решаемых JavaScript-разработчиками сегодня, так и на проблемах, за которые им придется взяться в ближайшем будущем, - когда браузеры будут обрабатывать Java-скрипты быстрее.
SunSpider включает тесты JSON, 3D raytracer, тесты криптографии, распаковки кода и многие другие. SunSpider также включает несколько микробенчмарк-тестов, но они включены для тестирования реальных проблем, связанных с производительностью, с которыми столкнулись разработчики веб-браузеров.
Сбалансированность SunSpider. Этот тест сбалансирован между различными языками программирования и различными типами кода. Дополнительно включены тесты в различных категориях, при этом индивидуальные тесты были сбалансированы таким образом, чтобы по возможности продолжительность теста была одинаковой на актуальных версиях всех популярных браузеров.
Статистическая надежность и повторяемость результатов. Всем известно, что одной из проблем бенчмарк-тестов является большая погрешность в измерениях, которая дает значительный разброс результатов. SunSpider «прогоняет» каждый тест несколько раз и определяет диапазон ошибок (error range), при этом доверительный интервал (confidence interval) составляет 95%.

Описание SunSpider взято у netler.ru.

Методика тестирования.
Пользователь переходит по ссылке на специальную страницу. Скрипт запускается автоматически и работает какое-то время. Затем пользователь попадает на страницу результатов, где в таблице показано время исполнения каждого из тестов а также сумарное время исполнения всех тестов. Далее пользователь заходит по тойже ссылке с другого браузера, дожидается выполнения тестов и попадает на страницу результатов. Затем он копирует данные о тесте из второго браузера и вставляет в результаты тестов первого браузера (незабыв нажать ентер) и пользователю показывается уже сравнительная таблица.

Наглядный пример. Давайте рассмотрим тестирование FireFox 3.5.8 и Safari 4.0.3 (5531.9) на MacOS X 10.5.7.

Запускаем FireFox
Открываем страницу тестирования SunSpider.
Ждее-ее-е-м...
Смотрим результат.
Затем запускаем Safari.
Открываем туже страницу тестирования SunSpider.
Смотрим результат тестирования производительности Safari.
Вставляем эту ссылку в поле для сравнения в Firefox и жмем Enter.
Получаем сравнительную табличку производительности Firefox VS Safari

Из всего этого стоит отметить строчку:

*2.14x as slow*   577.1ms +/- 0.6%   1234.2ms +/- 8.2%

Что означает, что Firefox 3.5.8 более чем в два раза медленнее Safari. Таким же образом можно протестировать любой браузер по отношению к любому браузеру.

Инструмент для тестирования бесплатный - пользуйтесь на здоровье.

Отправка Карты Сайта в поисковые системы

2010-03-27T09:48:39Z

Основной вопрос этой заметки, который я попытаюсь раскрыть - Как сделать так, чтобы мои карты сайта считывались поисковыми роботами регулярно и индексировались страницы, которые описаны в карте сайта? Заметка будет короткой, но позновательной. Чтобы решить данную проблему есть два способа. Оба действенны и оба работают. Но ограничиваться одним не стоит, лучше реализовать их оба. Темболее что это не так сложно и долго, как может кому-то показаться. Способ первый.
Определить ваши карты сайта в файле robots.txt. Как это сделать? Очень просто! Допустим ваш блог имеет адрес http://madjack.ru. Есть карта сайта sitemap.xml и developer/sitemap.xml. Создаем файл robots.txt или же дописываем в него (в случае если он уже создан) следующие строки:

Sitemap: http://madjack.ru/sitemap.xml
Sitemap: http://madjack.ru/developer/sitemap.xml

Вот и все. Теперь, когда поисковая машина сунет свой вездесущий нос в ваш файл robots.txt, она обнаружит там карты сайта, загрузит их и будет их обрабатывать. Собственно то, что нам и нужно.

Способ второй.
Загрузить ваши карты сайта непосредственно в поисковую машину. Чтобы загрузить файлы в Google и Yandex особого ума не нужно, так как это можно сделать при помощи веб-интерфейса Yandex Webmaster и Google Webmaster Tools. НО! Существуют и другие популярные поисковые машины - такие как Yahoo! и Bing (он же Live он же MSN Search).

Будем считать что мы загружаем карту сайта sitemap.xml с сайта http://madjack.ru. Чтобы загрузить карту сайта вторым способом, нужно лишь перейти на указанный URL в любом из браузеров.

Загрузка карты сайта в Google.

http://google.com/webmasters/sitemaps/ping?sitemap=http://madjack.ru/sitemap.xml

Загрузка карты сайта в Яндекс.

http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=http://madjack.ru/sitemap.xml

Загрузка карты сайта в Yahoo!.

http://search.yahooapis.com/SiteExplorerService/V1/updateNotification?appid=SitemapWriter&url=http://madjack.ru/sitemap.xml
http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=http://madjack.ru/sitemap.xml

Загрузка карты сайта в Ask.

http://submissions.ask.com/ping?sitemap=http://madjack.ru/sitemap.xml

Загрузка карты сайта в Live Search.

http://webmaster.live.com/ping.aspx?siteMap=http://madjack.ru/sitemap.xml

]]>

Создание карты сайта (Google Sitemap) в Movable Type

2010-03-27T08:50:28Z

Практически все владельцы сайтов знают о существовании так называемых карт сайтов - Sitemap. Это файл в формате XML, который содержит в себе список страниц вашего сайта, дату их изменения и переодичность обновления. Эта информация очень важна для поисковых роботов, которые с помощью этого файла будут индексировать все ваши страницы, указанные в карте сайта, внезависимости от того есть ли на них ссылка в интернете или нет. В данной небольшой заметке пойдет речь о том, как создать своими руками карту сайта для вашего блога на Movable Type без использования всяких там генераторов и прочей чуши. Итак начнем-с... ]]> Для создания карты сайта нам понадобятся:

Блог под управлением Movable Type
Админский доступ в этот блог
Прямые руки и умение читать с бумажки
Умение использовать секретную комбинацию Copy-Paste.

Шаг 1.
Заходим в раздел шаблонов вашего блога. Создаем модульный шаблон с именем "Google Sitemap". Потому что вроде как гугл и придумал эту штукенцию. Хотя может и не гугл, но все поисковики поддерживают карту сайта именно в гугловом формате.

Шаг 2.
Копируем в шаблон следующий код:



Canonical sitemap.xml template v0.8
### START SETUP
Possible values for the frequency variables are:
always
hourly
daily
weekly
monthly
yearly
never
"always" should be used to describe documents that change each time they are accessed.
"never" should be used to describe archived URLs.

<$MTSetVar name="home-frequency" value="daily"$>
<$MTSetVar name="category-frequency" value="weekly"$>
<$MTSetVar name="current-monthly-frequency" value="daily"$>
<$MTSetVar name="past-monthly-frequency" value="never"$>
<$MTSetVar name="current-weekly-frequency" value="daily"$>
<$MTSetVar name="past-weekly-frequency" value="never"$>
<$MTSetVar name="current-daily-frequency" value="hourly"$>
<$MTSetVar name="past-daily-frequency" value="never"$>
<$MTSetVar name="recent-entry-frequency" value="hourly"$>
<$MTSetVar name="past-entry-frequency" value="monthly"$>
<$MTSetVar name="page-frequency" value="weekly"$>

    Values for priority range from 0.0 to 1.0 and reflect the relative importance of pages within your site.
    Do not set these all to a high value, as that's no different from setting them all to 0.0. 
    This does not affect how your pages are compared to other sites'.

<$MTSetVar name="home-priority" value="1.0"$>
<$MTSetVar name="category-priority" value="0.8"$>
<$MTSetVar name="monthly-priority" value="0.6"$>
<$MTSetVar name="weekly-priority" value="0.4"$>
<$MTSetVar name="daily-priority" value="0.2"$>
<$MTSetVar name="entry-priority" value="1.0"$>
<$MTSetVar name="page-priority" value="1.0"$>
### END SETUP

	### This is your blog's homepage
    	<$MTBlogURL encode_xml="1"$>
			<$MTGetVar name="home-frequency"$>
			<$MTGetVar name="home-priority"$>
	
	### START CATEGORY ARCHIVES
	
		
			
				<$MTCategoryArchiveLink encode_xml="1"$>
					<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
					<$MTGetVar name="category-frequency"$>
					<$MTGetVar name="category-priority"$>
				
		
	
	### END CATEGORY ARCHIVES
	
	### START MONTHLY ARCHIVES
	
		
			 ### The current month is still being updated.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="current-monthly-frequency"$>
				<$MTGetVar name="monthly-priority"$>
			
		
		
			 ### Past months are just archived.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="past-monthly-frequency"$>
				<$MTGetVar name="monthly-priority"$>
			
		
	
	### END MONTHLY ARCHIVES
	
	### START WEEKLY ARCHIVES
	
		
			 ### The current week is still being updated.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="current-weekly-frequency"$>
				<$MTGetVar name="weekly-priority"$>
			
		
		
			 ### Past weeks are just archived.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="past-weekly-frequency"$>
				<$MTGetVar name="weekly-priority"$>
			
		
	
	### END WEEKLY ARCHIVES
	
	### START DAILY ARCHIVES
	
		
			 ### The current day is still being updated.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="current-daily-frequency"$>
				<$MTGetVar name="daily-priority"$>
			
		
		
			 ### Past days are just archived.
				<$MTArchiveLink encode_xml="1"$>
				<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
				<$MTGetVar name="past-daily-frequency"$>
				<$MTGetVar name="daily-priority"$>
			
		
	
	### END DAILY ARCHIVES
	
	### START INDIVIDUAL ARCHIVES
		
			
				 ### The recent items you post are more likely to be active(comments, etc) than older ones.
					<$MTEntryPermalink encode_xml="1"$>
					<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
					<$MTGetVar name="recent-entry-frequency"$>
					<$MTGetVar name="entry-priority"$>
				
			
			
				 ### And the rest of them.
					<$MTEntryPermalink encode_xml="1"$>
					<$MTEntryModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
					<$MTGetVar name="past-entry-frequency"$>
					<$MTGetVar name="entry-priority"$>
				
			
		
		### END INDIVIDUAL ARCHIVES

		### START PAGE ARCHIVES ###
		
			
				
					<$MTPagePermalink encode_xml="1"$>
					<$MTPageModifiedDate format="%Y-%m-%dT%H:%M:%S"$><$MTBlogTimezone$>
					<$MTGetVar name="page-frequency"$>
					<$MTGetVar name="page-priority"$>
				
			
		
		### END PAGE ARCHIVES ###

Затем! указываем, что шаблон у нас кэшируемый и истекает через 24 часа. Это даст нам автоматическую публикацию карты сайта каждые 24 часа.

Шаг 3.
Создаем индексный шаблон под названием "Google Sitemap". И присваиваем ему имя файла "sitemap.xml". В нем пишем код:

<$mt:Include module="Google Sitemap"$>

Сохраняем и публикуем шаблон.

Все. Теперь у вас есть карта сайта, которую понимают как минимум Google, Yandex, Yahoo, Bing и Ask. Есть вопросы? Пишите.

Данный прием был позаимствован с MovableType.org.

Кодирование видео в FLV на FreeBSD

2010-03-26T07:53:18Z

Сегодня я расскажу маленький секрет, как самому кодировать видео любых форматов в FLV, дабы его можно было смотреть через Flash плееры. Все на самом деле очень просто. Нам потребуется /ports/multimedia/mencoder, /ports/multimedia/flvtool++ и маленький скриптик на shell.
]]> mencoder и flvtool++. Кстати, FLVTool++ нам нужен, чтобы была поддержка перемотки видео при воспроизведении. Но это совсем не обязательно.

Теперь создаем скрипт. Назовем его mencoder.sh. Этот скрипт позволит нам кодировать видео в любое разрешение, с любым битрейтом и с любым качеством как видео так и звука.

#!/bin/sh
/usr/local/bin/mencoder $1 -o $2 \
-of lavf \
-oac mp3lame \
-aid 1 \
-lameopts abr:br=56 \
-srate 22050 \
-af volnorm=2 \
-ovc lavc \
-lavcopts vcodec=flv:vbitrate=1024:mbd=2:mv0:trell:v4mv:cbp:last_pred=3 \
-vf scale=$3:$4,harddup
/usr/local/bin/flvtool++ $2 $2.seek.flv

Теперь нам нужен видео файл. Допустим это будет фильм film.avi. Чтобы начать кодирование нам нужно знать какое разрешение у видео файла. Посмотреть можно либо в плеере либо на сайте, откуда это видео было скачано. Допустим видео имеет разрешение 720x304 как обычный фильм хорошего качества. Но для веба нам этого будет жирновато. Уменьшим разрешение в 2 раза. А также урежем качество звука в 2 раза с 44100 до 22050. Так как фильмы в веб смотрят в основном на компьютерных колонках или в наушниках на качество это заметно не отразится, зато отразиться на размер результирующего файла и его битрейт. В скрипте указан максимальный битрейт 1024 килобита. Что примерно 128килобайт в секунду.

Переписываем видео файл в одну папку с mencoder.sh. Даем права на запуск скрипту командой chmod +x mencoder.sh. И запускаем скрипт такой строчкой:

./mencoder.sh film.avi film.flv 360 152

Результатом выполнения скрипта будет 2 дополнительных файла и информация примерно такого содержания:

MEncoder 1.0rc2-3.4.6 (C) 2000-2007 MPlayer Team
CPU: Intel(R) Xeon(R) CPU           X3210  @ 2.13GHz (Family: 6, Model: 15, Stepping: 11)
CPUflags: Type: 6 MMX: 1 MMX2: 1 3DNow: 0 3DNow2: 0 SSE: 1 SSE2: 1
Compiled with runtime CPU detection.
success: format: 0  data: 0x0 - 0x51328000
AVI file format detected.
[aviheader] Video stream found, -vid 0
[aviheader] Audio stream found, -aid 1
VIDEO:  [XVID]  720x304  12bpp  25.000 fps  1503.9 kbps (183.6 kbyte/s)
[V] filefmt:3  fourcc:0x44495658  size:720x304  fps:25.00  ftime:=0.0400
==========================================================================
Opening audio decoder: [liba52] AC3 decoding with liba52
Using SSE optimized IMDCT transform
Using MMX optimized resampler
AUDIO: 48000 Hz, 2 ch, s16le, 192.0 kbit/12.50% (ratio: 24000->192000)
Selected audio codec: [a52] afm: liba52 (AC3-liba52)
==========================================================================
** MUXER_LAVF *****************************************************************
REMEMBER: MEncoder's libavformat muxing is presently broken and can generate
INCORRECT files in the presence of B frames. Moreover, due to bugs MPlayer
will play these INCORRECT files as if nothing were wrong!
*******************************************************************************
OK, exit
Opening video filter: [expand osd=1]
Expand: -1 x -1, -1 ; -1, osd: 1, aspect: 0.000000, round: 1
Opening video filter: [harddup]
Opening video filter: [scale w=360 h=152]
==========================================================================
Opening video decoder: [ffmpeg] FFmpeg's libavcodec codec family
Selected video codec: [ffodivx] vfm: ffmpeg (FFmpeg MPEG-4)
==========================================================================
MP3 audio selected.
VDec: vo config request - 720 x 304 (preferred colorspace: Planar YV12)
VDec: using Planar YV12 as output csp (no 0)
Movie-Aspect is 2.37:1 - prescaling to correct movie aspect.
SwScaler: reducing / aligning filtersize 9 -> 8
SwScaler: reducing / aligning filtersize 9 -> 8
SwScaler: reducing / aligning filtersize 9 -> 8
SwScaler: reducing / aligning filtersize 9 -> 8
[swscaler @ 0x8646f38]SwScaler: BICUBIC scaler, from yuv420p to yuv420p using MMX2
[swscaler @ 0x8646f38]SwScaler: using 8-tap MMX scaler for horizontal luminance scaling
[swscaler @ 0x8646f38]SwScaler: using 8-tap MMX scaler for horizontal chrominance scaling
[swscaler @ 0x8646f38]SwScaler: using n-tap MMX scaler for vertical scaling (YV12 like)
[swscaler @ 0x8646f38]SwScaler: 720x304 -> 360x152
videocodec: libavcodec (360x152 fourcc=31564c46 [FLV1])
[VE_LAVC] High quality encoding selected (non-realtime)!
Compiler did not align stack variables. Libavcodec has been miscompiled
and may be very slow or crash. This is not a bug in libavcodec,
but in the compiler. You may try recompiling using gcc >= 4.2.
Do not report crashes to FFmpeg developers.
VIDEO CODEC ID: 22
AUDIO CODEC ID: 15001, TAG: 0
Writing header...
Pos:   0.8s     22f ( 0%)  0.00fps Trem:   0min   0mb  A-V:0.082 [0:8]
Skipping frame!
Pos:  15.3s    385f ( 0%) 109.69fps Trem:   0min   0mb  A-V:0.066 [292:53]

Перекодирование может затянуться до часа-двух. В зависимости от мощности компьютера.
Теперь о файлах, которые мы получим в результате выполнения скрипта.
film.flv - это файл перекодированный AVI => FLV.
film.flv.seek.flv - это файл FLV с поддержкой перемотки.

Если нам файл без перемотки не нужен, то добавим в конец скрипта еще 2 строчки:

rm -f $2
mv $2.seek.flv $2

Тогда будет только film.flv и уже с поддержкой перемотки.

Параметров у mencoder очень много. В скрипте использованы лишь основные. Давайте их рассмотрим.

-oac mp3lame - Означает, что звук будем кодировать в MP3 формат.
-srate 22050 - Означает, что качество звука будет 22050Khz.
-af volnorm=2 - Означает, что будет производиться нормализация громкости.
vbitrate=1024 - Означает, что итоговый битрейт видеофайла не будет превышать 1024Килобита
-vf scale=$3:$4,harddup - Означает что размер видео будет изменен в $3 по ширине и в $4 по высоте. А также harddup говорит о том, что при наличии плохих фреймов они будут пропускаться и заменяться хорошими.

На практике скажу - этот скрипт наиболее качественно конвертирует видео. Сам им пользуюсь. Примеры фильмов, перекодированные этим скриптом можно посмотреть у меня на блоге в разделе Фильмы.

Кому понравилось/не понравилось и есть что предложить жду отзывов в коментах.

Кнопка Retweet своими руками? Легко!

2010-03-25T07:22:22Z

Многие владельцы блогов стремятся добавить больше интеграции с популярными соц-сетями такими как Twitter, LiveJournal, Google Buzz, Blogger и другими. Сегодня пойдет речь о Твиттере. Существует множество онлайн-сервисов, который предоставляют различные плагины для Wordpress и других популярных блоггинговых систем, чтобы владельцы блогов смогли добавить себе на сайт одну маленькую простенькую невзрачненькую кнопочку с надписью Retweet и количеством затвитченых записей. Некоторые даже на этой кнопке делают себе карьеру в интернете и неплохо зарабатывают. Я же предлагаю легкий и честный путь - сделай кнопку сам. Собственно далее и пойдет речь о кнопке Retweet.
]]>
Скрипт может создавать кнопки двух видов - вертикальные и горизонтальные. Тут уж кому как нравится. Но самое главное достоинство - это ассинхронная работа. Тобишь если внедрить эту кнопку без скрипта непосредственно в код сайта, то сайт будет поддтормаживать при загрузке, а с помощью скрипта вы лишены любых тормозов при проседании сервиса Twitter и Bit.ly.

Итак, чтобы создать кнопку, нам нужно определить ссылку ( ... ) и указать определенный класс (class) ссылки. Различные варианты определения ссылки и текста также присутствуют. Сейчас мы их и посмотрим на примере.

Примеры (все кнопки кликабельны и рабочие на 100%):

Блог Безумного Джека

Блог Безумного Джека

Поисковая система Yandex

Поисковая система Yandex

Поисковая система Google

Поисковая система Google

Цвет и текст кнопки можно легко отредактировать.
Теперь о том, как подключить скрипт в свой блог.

1. Подключите скрипт к странице

2. Добавьте класс retweet к любой ссылке и она превратиться в кнопку, как показано на примере выше.

Скрипт можно скачать здесь - Retweet Button Script.

Оригинал скрипта и мануала (на английском языке) автора находится здесь.

Языки программирования для Веб - Часть 1

2010-03-24T07:37:52Z

В данной статье я постараюсь рассмотреть все достоинства и недостатки, а также провести сравнительный анализ языков программирования для Веб, которые идут на популярных серверных платформах FreeBSD, Linux, Mac Os.

Буду рассматривать: Perl, PHP, Python.

]]> Perl

Perl -- это процедурный язык программирования -- универсальный инструмент для решения очень широкого круга задач. Perl не разрабатывался специально для Web-программирования. Perl, как и любой полноценный язык, имеет некоторое ядро -- набор функций и правил, которые не зависят от платформы, операционной системы и прочих обстоятельств. Код Perl мобилен и переносим и везде одинаков. Различия дистрибутивов Perl схожих версий сводятся наличием установленных модулей. Perl предоставляет программисту ограниченный набор стандартных инструментов. Это дисциплинирует программиста и облегчает обмен кодом и опытом. При этом, программист совсем не скован и всегда может получить требуемые возможности, подключив соответствующий модуль. Perl является зрелым языком. Мало подвержен всяческим багфиксам и изменениям. Снабжен развитыми средствами разработки. Все "детские" ошибки Perl пережил еще более чем 10 лет назад. Perl обеспечивает более высокую производительность в веб-разработках, только если использовать не CGI-подход, а mod_perl. Большинство провайдеров не предоставят вам такой возможности. Perl представляет минимум функций в своем ядре. Чтобы расширить функционал языка требуется подключать дополнительные модули. Большинство других языков имеют гораздо больше встроенных функций. Perl имеет собственную систему документирования и снабжён прекрасной документацией на английском языке. Перегрузка операторов возможна, но является очень ограниченной и искусственной надстройкой. В Perl исключения можно эмулировать, при помощи таких модулей, как Error.pm и Exception.pm, не входящих в стандартную поставку. Они основаны на умелом использовании eval/die, но это весьма искусственный приём, который никак не может обеспечить требуемой гибкости современного объектно-ориентированного языка. В Perl все переменные глобальны, если не указано иное. Но чаще всего требуется именно иное. В Perl аргументы функций задаются в магическом массиве.

PHP

PHP псевдообъектный язык программирование и изначально предназначался для разработки Web-приложений. Он пытается сочетать мощь полноценного языка и преимущества узкоспециального средства. В поисках компромисса, PHP приобретает целый ряд спорных качеств. PHP не является полноценным языком программирования и практически не имеет своего ядра. Отсюда проистекает целый ряд особенностей PHP. Набор функций PHP, который оказывается в распоряжении программиста, практически полностью зависит от провайдера. («Правильные» провайдеры всегда пишут, с какими опциями был собран их PHP.) Эта разница весьма ощутима. Например, если сайт разработан с использованием Smarty, то он заработает далеко не на всяком хостинге. И происходит это только потому, что аппарат Smarty использует POSIX-расширение механизма регулярных выражений. Если ваше PHP-приложение написано с использованием функций, которых хостер не предоставляет, или вы использовали библиотеки, которые зависят от таких функций, то расширить набор функций PHP самостоятельно чаще всего нельзя. PHP предоставляет (потенциально) великое множество функций. На настоящий момент их более 3000. На реальном хостинге вы обнаружите около 1000 из них. Такой широкий набор выразительных средств не идёт на пользу языку. Разные программисты знают разные наборы операторов. Это затрудняет чтение чужого кода, обмен кодом и совместную разработку. PHP относительно молодой язык. Подвержен частым багфиксам и дополнениям. В PHP механизм указателей находится в зачаточном состоянии. В PHP не предусмотрена такая структура данных, как массив. В этом смысле PHP находится на уровне awk. Одним словом, PHP ещё долго будет меняться, создавая множество проблем разработчикам. При ведении именно Web-разработок, PHP обнаруживает ряд существенных преимуществ. Во-первых, интерпретатор PHP интегрируется в Web-сервер, что в разы увеличивает производительность. Во-вторых, Web-приложения на PHP проще отлаживать. Сообщения об ошибках часто выдаются клиенту, а не пишутся в error_log. В-третьих, PHP имеет широкий набор встроенных функций, для работы по протоколу HTTP. Однако, почти все эти преимущества оборачиваются серьёзными проблемами с точки зрения безопасности ресурса. То, что PHP встроен в сервер, затрудняет диагностику источника атак. PHP даёт большую свободу разработчику -- PHP-скрипт может быть размещён в любой директории сервера. Но это тоже создаёт дополнительные риски. Во многих случаях, по невнимательности разработчиков, посетитель сервера получает возможность «залить» на сервер не только картинки и другие безобидные файлы, но PHP-скрипты, а это уже очень серьёзная опасность. То, что PHP выдаёт сообщения об ошибках в ответ на HTTP-запрос, удобно для разработчика. Но с точки зрения безопасности это решение мне всегда казалось спорным, ведь любой посетитель вашего сайта может узнать об ошибках в ваших программах. А злоумышленнику может оказаться достаточно узнать версию вашего PHP, чтобы «сломать» ваш ресурс. Преимуществом документации PHP является то, что она переведена на русский язык. К недостаткам я бы отнёс её необъятность. Основной проблемой PHP является то, что этот язык позволяет смешивать HTML-код и PHP-код. Фактически, это смешение данных и кода. Человечество уже десятки лет назад осознало, что код и данные следует разделять. Для этого найдено множество изящных решений, от хедеров и конфигурационных файлов, до шаблонов и обособленных хранилищ данных. В этом смысле PHP представляется шагом назад; каким-то старорождённым. Если посмотреть на это с прикладной точки зрения, то ничего хорошего мы тоже не увидим. Объединение HTML- и PHP-кода не улучшает читабельность ни того, ни другого. Соответственно, сопровождение, модернизация и модификация программ тоже затрудняются. Но существуют недостатки, «встроенные» в сам язык. Так, например, представляется очень неудобным то, как регламентируется передача параметров функциям. Будет ли параметр передан по значению или по ссылке определяется не при вызове функции, а при её создании. Вызов же выглядит одинаково и в том и в другом случае. Это удобно, если автором всеx функций являетесь вы сами, и вы хорошо помните прототипы ваших функций. Но при активной работе в команде это приводит к путанице. Точно также обстоит дело и с функциями, возвращающими указатели. Это самый большой из тех недостатков PHP, которые никак нельзя обойти.

Python

Python -- изначально объектно-ориентированный язык. Синтаксис Python естественный и компактный во всём: и в объявлении классов, и при организации наследования, и при доступе к данным и методам объекта. В Python имеется полноценный механизм обработки исключений, встроенный в язык. В Python исключения являются классами, обработка исключений ведётся с учётом структуры этих классов, что позволяет отслеживать целые группы исключений. Кроме того, на каждый класс исключений можно сделать свой обработчик. В Python конструктор всегда создаёт объект, что весьма логично. Если возникла ошибка, то генерируется exception. Python-way громоздкий, за то он позволяет не только корректно обработать ошибку, но и вернуть любую информацию о ней. Синтаксис Python максимально компактен. В нём нет ни фигурных скобок, ни точек с запятой, ни оператора -> ни двойных двоеточий :: (всегда используется «.»). У переменных нет префиксов. Скобки можно опускать везде, где только возможно. В Python все переменные локальны (если не указано иное, глобальные переменные так же допустимы). В Python аргументы функций задаются как во всех нормальных языках.

Как обновить систему при помощи csup?

2010-01-27T13:47:51Z

После установки системы FreeBSD обычно требуется обновить ее до актуальной версии. Это касается как ядра системы так и коллекции портов и уже установленного ПО.

Для обновления многие используют CVSUp. Это довольно таки громоздкая утилита написанная на ruby. Также требует длительного времени при установке из исходников. Многие даже и не догадываются о существовании маленькой утилиты, которая уже есть в сборке FreeBSD - csup. Это полный аналог CVSUp Without GUI, написанный на Си.

Как ей пользоваться и как конфигурировать? Об этом мы сейчас и поговорим.

]]> Создание папки с конфигурационными файлами:

# mkdir /etc/csup

Создание файла для обновления исходников системы:

# cat /etc/csup/src-all

*default host=cvsup3.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_7
*default delete use-rel-suffix
*default compress src-all

Создание файла для обновления коллекции портов:

# cat /etc/csup/ports-all

*default host=cvsup3.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=.
*default delete use-rel-suffix
*default compress ports-all

Создание файла для обновления документации:

# cat /etc/csup/doc-all

*default host=cvsup2.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=.
*default delete use-rel-suffix
*default compress doc-all

Создание файла для обновления исходников ядра:

# cat /etc/csup/src-sys

*default host=cvsup3.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_6
*default delete use-rel-suffix
*default compress src-sys

Создание файла для обновления всех исходных кодов системы:

# cat /etc/csup/src-all

*default host=cvsup3.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_7
*default delete use-rel-suffix
*default compress src-all

Чтобы обновлять коллекцию портов регулярно:

Добавьте строчку в /etc/crontab

25 2 * * * root /usr/bin/csup -g -L 2 /etc/csup/ports-all > /dev/null 2>&1

Запуск программы:

# csup -g -L 2 /etc/csup/src-all

Google PageRank API. Определяем PR страницы своими силами.

2009-10-25T16:15:05Z

Практически каждый знает что такое Google PageRank, а кто не знает - смело идем на википедю (ru.wikipedia.org/wiki/PageRank) и читаем. Но не каждый знает как его получить своими силами. Большинству пользователей интернет это конечно и не нужно знать, но большому количеству держателей сайтов этот прием несомненно пригодится. Можно конечно залезть в Google Webmaster Tools и посмотреть его для своих сайтов, можно установить Google Toolbar, можно воспользоваться одним из многочисленных бесплатных (платных) сервисов по определению PR, можно поставить счетчик PR на свою страницу, можно даже купить готовый скрипт определения PR... Но также можно написать скрипт самому =) Собственно об этом я и расскажу.]]>

Предлагаю вашему вниманию код определения Google PR на языке python. Код нашел в сети с ошибкой. Также нашел исправления алгоритма. Выкладываю полностью работоспособный код.

#!/usr/local/bin/env python
# -*- coding: utf-8 -*-
# (C) 2008 Fred Cirera
# ported in Python from the Ruby code by Vsevolod S. Balashov
# fixed error with algorythm by Konstantin S. Dyakoff
# http://madjack.ru/developer/2009/10/google-pagerank-api.html
# http://snippets.dzone.com/posts/show/3284

import urllib2
import re
import time
import sys

from urllib import urlencode
from pprint import pprint

HOST = "toolbarqueries.google.com"

def mix(a, b, c): 
    M = lambda v: v % 0x100000000 # int32 modulo 
    a, b, c = (M(a), M(b), M(c))
    
    a = M((a-b-c) ^ (c >> 13))
    b = M((b-c-a) ^ (a <<  8))
    c = M((c-a-b) ^ (b >> 13))

    a = M((a-b-c) ^ (c >> 12))
    b = M((b-c-a) ^ (a << 16))
    c = M((c-a-b) ^ (b >> 5))

    a = M((a-b-c) ^ (c >>  3))
    b = M((b-c-a) ^ (a << 10))
    c = M((c-a-b) ^ (b >> 15))

    return a, b, c

def checksum(iurl):
    C2I = lambda s: sum(c << 8*i for i, c in enumerate(s[:4]))
    
    a, b, c = 0x9e3779b9, 0x9e3779b9, 0xe6359a60
    lg  = len(iurl)
    k = 0
    
    while k <= lg-12:
        a = a + C2I(iurl[k:k+4])
        b = b + C2I(iurl[k+4:k+8])
        c = c + C2I(iurl[k+8:k+12])
        a, b, c = mix(a, b, c)
        k += 12

    a = a + C2I(iurl[k:k+4])
    b = b + C2I(iurl[k+4:k+8])
    c = c + (C2I(iurl[k+8:])<<8) + lg
    a, b, c = mix(a, b, c)
    return c

def GoogleHash(value):
    I2C = lambda i: [i & 0xff, i >> 8 & 0xff,  i >> 16 & 0xff, i >> 24 & 0xff]
    ch = checksum([ord(c) for c in value])
    ch = ((ch % 0x0d) & 7) | ((ch/7) << 2)
    
    return "6%s" % checksum(sum((I2C(ch-9*i) for i in range(20)), []))


def make_url(host, site_url):
    url = "info:" + site_url
    ghash = GoogleHash(url)
    params = dict(client="navclient-auto", ch="%s" % ghash,
                  ie="UTF-8", oe="UTF-8", features="Rank", q=url)
    return "http://%s/search?%s" % (host, urlencode(params))


# Where the fun begins

if __name__ == "__main__":
    if len(sys.argv) != 2:
        url = 'http://www.google.com/'
    else:
        url = sys.argv[1]

    if not url.startswith('http://'):
        url = 'http://%s' % url

    print make_url(HOST, url)
    req = urllib2.Request(make_url(HOST, url))
    try:
        f = urllib2.urlopen(req)
        response = f.readline()
    except Exception, err:
        print err
        # print err.read()
        sys.exit(1)
        
    try:
        rank = re.match(r'^Rank_\d+:\d+:(\d+)', response.strip()).group(1)
    except AttributeError:
        print "This page is not ranked"
        rank = -1

    print "PagerRank: %d\tURL: %s" % (int(rank), url)

Я уже предвкушаю Ваш вопрос "А где ж код на PHP или на худой конец на PERL?!". Несложными манипуляциями код написал собственными руками основываясь на вышеприведенном исходнике и охотно им делюсь:

#!/usr/local/bin/perl
# (C) 2008 Fred Cirera
# ported in Perl from the Python code by Konstantin S. Dyakoff
# http://madjack.ru/developer/2009/10/google-pagerank-api.html

package PR;

use Acme::Lambda;
use URI::Escape;
use LWP::UserAgent;

sub mix{
    my $a = shift;
    my $b = shift;
    my $c = shift;
    my $M = lambda {$_ % 0x100000000};

    $a = $M->($a);
    $b = $M->($b);
    $c = $M->($c);
    
    $a = $M->(($a-$b-$c) ^ ($c >> 13));
    $b = $M->(($b-$c-$a) ^ ($a <<  8));
    $c = $M->(($c-$a-$b) ^ ($b >> 13));
    
    $a = $M->(($a-$b-$c) ^ ($c >> 12));
    $b = $M->(($b-$c-$a) ^ ($a << 16));
    $c = $M->(($c-$a-$b) ^ ($b >> 5));
    
    $a = $M->(($a-$b-$c) ^ ($c >>  3));
    $b = $M->(($b-$c-$a) ^ ($a << 10));
    $c = $M->(($c-$a-$b) ^ ($b >> 15));

    return ($a, $b, $c);
}

sub C2I{
    my $len = pop;
    my $from = pop;
    my @arr = @_;
    my $sum = 0;
    
    my $j = 0;
    for my $i ($from..$len){
	$sum += $arr[$i] << (8 * $j++);
    }
    return $sum;
}

sub checksum{
    my @iurl = @_;    
    my ($a, $b, $c) = (0x9e3779b9, 0x9e3779b9, 0xe6359a60);
    
    my $lg  = scalar(@iurl);
    my $k = 0;
    while($k <= $lg-12){
        $a = $a + C2I(@iurl, $k, $k+3);
        $b = $b + C2I(@iurl, $k+4, $k+7);
        $c = $c + C2I(@iurl, $k+8, $k+11);
        ($a, $b, $c) = mix($a, $b, $c);
        $k += 12;
    }
    
    $a = $a + C2I(@iurl, $k, $k+4);
    $b = $b + C2I(@iurl, $k+4, $k+8);
    $c = $c + (C2I(@iurl, $k+8, $k+scalar(@iurl))<<8) + $lg;
    ($a, $b, $c) = mix($a, $b, $c);
    return $c;
}

sub I2C{
    my $i = shift;
    return ($i & 0xff, $i >> 8 & 0xff, $i >> 16 & 0xff, $i >> 24 & 0xff);
}

sub GoogleHash{
    my $value = shift;
    @va = split '', $value;
    for $i (0..scalar(@va)-1){
	$va[$i] = ord($va[$i]);
    }
    $ch = checksum(@va);
    $ch = (($ch % 0x0d) & 7) | (($ch/7) << 2);
    
    my $sum;
    my $j = 0;
    for $i (0..19){
	($sum[$j++], $sum[$j++], $sum[$j++], $sum[$j++]) = I2C($ch-9*$i);
    }
    
    return sprintf("6%s", checksum(@sum));
}

sub MakePRQuery{
    my $url = shift;
    $url = "info:$url";
    return sprintf("http://toolbarqueries.google.com/search?q=%s&ch=%d&features=%s&oe=%s&ie=%s&client=%s", 
	uri_escape($url), GoogleHash($url), "Rank", "UTF-8", "UTF-8", "navclient-auto");
}

sub QueryPR{
    my $url = shift;
    $url = MakePRQuery($url);
    
    my $a = LWP::UserAgent->new(
	agent => "Mozilla/4.0 (compatible; GoogleToolbar 2.0.108-big; Windows XP 5.1)",
    );
    $a->timeout(30);
    $a->env_proxy;
    my $r = $a->get($url);

    if($r->is_success){
	my @data = split ":", $r->content;
	if(scalar(@data) eq 3){
	    return $data[2];
	}
    }
    return -1;
}

1;

Как видно это модуль PR.pm. Его можно кинуть в папку с любым другим приложением, которое будет его пользовать и просто подключить. Ниже прилагаю пример:

#!/usr/local/bin/perl

use PR;

print "PR: " . PR::QueryPR("http://www.madjack.ru") . "\n";

Пользуйтесь на здоровье. Если нашли ошибку в коде или у вас есть пожелания или просто отзывы - пишите в комментариях или мне на почту: me (at) madjack (dot) ru

Как с проверить валидность EMail адреса?

2009-08-06T08:02:08Z

Как с помощью регулярного выражения проверить правильность введенного E-Mail адреса? Существует несколько стандартных регулярных выражений, а также произвольные вариации заточенные для конкретных целей. Рассмотрим все варианты и выберем лучший. Примеры будут представлены с использованием языка PERL. Так как этот язык является отцом всех регулярных выражений в современном программировании.

]]> $_ = "some@email.com"; if(/\b[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}\b/){ return true; } Однако в крупных офисах есть свои внутренние домены и они могут не совпадать по размерности со стандартными доменами. Например michael@mail.office уже не подойдет к выше описанному регулярному выражению. Для таких целей можно использовать например такое регулярное выражение:

$_ = "michael@mail.office";
if(/^[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,6}$/){
    return true;
}

Но могут существовать и более длинные имена почтовых доменов например alex@server.department.new.mail.com. Как быть тут? Можно использовать вот такое выражение:

$_ = "alex@server.department.new.mail.com";
if(/\b[A-Z0-9._%+-]+@(?:[A-Z0-9-]+\.)+[A-Z]{2,4}\b/){
    return true;
}

Если ничего эдакого не требуется, то можно делать проверку валидности электронного почтового адреса по стандарту RFC 2822.

$_ = "someone@mail.ru";
if(/(?:[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*|"(?:[\x01-\x08\x0b\x0c\x0e-\x1f\x21\x23-\x5b\x5d-\x7f]|\\[\x01-\x09\x0b\x0c\x0e-\x7f])*")@(?:(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?|\[(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?|[a-z0-9-]*[a-z0-9]:(?:[\x01-\x08\x0b\x0c\x0e-\x1f\x21-\x5a\x53-\x7f]|\\[\x01-\x09\x0b\x0c\x0e-\x7f])+)\])/){
    return true;
}

Данное регулярное выражение состоит из двух частей. До собачки (@) и после.

Если немного усовершенствовать это регулярное выражение то можно получить более короткую запись, которая будет удовлитворять 99.9% из всех используемых на сегодняшний день почтовых адресов.

$_ = "user@gmail.com";
if(/[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?/){
    return true;
}

Пользуйтесь на здоровье.

MySQL vs PostgreSQL

2009-08-06T07:13:52Z

Выбор между MySQL и PostgreSQL - это решение, которое должен принять каждый разработчик веб-приложений, который выбирает между различными Open-Source СУБД. Оба решения проверены временем и оба заслуживают пристального внимания. СУБД MySQL задумывалась как более быстрая но менее функциональная, в то время как разработчики PostgreSQL сосредоточились на большем количестве функционально полезных примочек чтобы как можно ближе соответствовать стандартам Oracle. MySQL очень популярен среди Web разработчиков по причине его высокой скорости и простоты использования. PosgreSQL менее популярен, так как удобен и просто только для тех разработчиков, которые ранее использовали Oracle или другие похожие базы данных. Но все скоростные характеристики MySQL по сравнению с PostgreSQL постепенно таят, так как с каждым обновлением PostgreSQL заметно прибавляет в скорости. Теперь рассмотрим эти две СУБД более пристально.

]]> Архитектура

PostgreSQL уникальная СУБД с единым сервером хранения данных (СХД). MySQL имеет два слоя в своей архитектуре. Первый слой - это набор серверов хранения данных. По этому при сравнении обычно указывают какой именно сервер хранения данных MySQL использовался. Каждый сервер отличают и параметры быстродейстсвия и его функциональные возможности. Самый распространенный из них - InnoDB. Он отличается от остальных полной поддержкой модели ACID и высокой производительностью. Прямым конкурентом InnoDB считается MyISAM, который годится для обработки и хранения сравнительно небольших объемов данных, которые преимущественно считываются из БД, а не записываются. А также когда не критично отсутствие ACID. Приложения, которые работают с MySQL, могут одновременно использовать несколько СХД для обеспечения наилучшего набора функциональности и производительности.

Производительность

Производительность СУБД может быть оптимизирована исходя из среды использования. Сравнения производительности различных СУБД также нужно проводить очень аккуратно и обращать внимание на цель использования и конфигурацию в которой работает СУБД. И MySQL и PostgreSQL имеют множество рычагов, с помощью которых можно управлять производительностью.

Ориентированность СУБД

Стандартная конфигурация обоих СУБД оптимизирована для небольших систем, которые используются большинством потребителей этих СУБД. Если сравнивать производительность стандартных конфигураций, то отличия минимальны и невозможно выделить явного лидера.

Скоростные характеристики

PostgreSQL

PostgreSQL предоставляет функционал, который может увеличить производительность для некоторых видов SQL запросов. Из этих функций стоит выделить:
- частичное индексирование;
- сжатие данных;
- объем данных, хранимых в оперативной памяти;
- кэш запросов;

PostgreSQL может сжимать и разжимать данные на лету с огромной скоростью. Данную функцию стоит применять в случаях, когда на счету каждый мегабайт дискового пространства, но также с использованием сжатия скорость передачи данных также заметно возрастает. Данная функция позволяет хранить данные на жестком диске в сжатом виде. На этом список функций, которые влияют на производительность в PostgreSQL, не ограничивается. Полный список таких функций можно найти в руководстве администратора PostgreSQL.

PostgreSQL поддерживает только один единственный СХД. Он входит в стандартную поставку PostgreSQL.

MySQL:ядро

MySQL 5.1 поддерживает 9 различных СХД:

MyISAM
InnoDB
NDB Cluster
MERGE
MEMORY (HEAP)
FEDERATED
ARCHIVE
CSV
BLACKHOLE

Однако, Federated и Blackhole не являются серверами "хранения" данных (например, Blackhole ничего не хранит). InnoDB разработан сторонней компанией InnoBase, которая была основана компанией Oracle. InnoDB поддерживает транзакции и занимает лидирующее место из всех поставляемых с MySQL серверов хранения данных.

MySQL планирует представить новые СХД Maria и Falcon в предстоящей версии 6.x. На них возложена задача заменить существующие движки MyISAM и InnoDB соответственно.

Существуют и другие СХД, разработанные сторонними компаниями и группами разработчиков. Наиболее популярные из них:

SolidDB
NitroEDB
BrightHouse

MySQL MyISAM имеет примитивный кэш, который перед выполнением каждого запроса на выборку сверяет простым сравнением строку запроса с предыдущими выполненными запросами и если есть совпадение то выдает ранее выбранный результат. Данный подход годится для систем, где подавляющей операцией является считывание данных, потому как только любая из таблиц изменит свое состояние (INSERT, UPDATE, DELETE) весь кэш очищается и соответственно теряется преимущество в производительности.

Кэшировщик запросов запускается в отдельном потоке и обрабатывает каждый входящий запрос на выборку, так что в конечном итоге данный подход может стать узким местом и довольно сильно сказаться на общей производительности СУБД. Разработчики предусмотрели выключение данной функции, так что волноваться по этому поводу не стоит.

MySQL также поддерживает сетевой протокол сжатия данных, который включается и выключается на стороне клиента (если конечно позволяет сервер). Данная функция сжимает все данные которые идут от сервера к клиенту.

MySQL:MyISAM

MyISAM это традиционный СХД для MySQL и предлагает лучшее соотношение производительности и функциональности для баз данных предназначенных преимущественно для выборки данных (select). MySQL MyISAM обрабатывает запросы на выборку быстрее чем PostgreSQL, если речь идет о простых запросах. MyISAM не поддерживает транзакций и внешних ключей.

MyISAM поддерживает лидирующий префикс сжатия для ключей и сжатых таблиц предназначенных только для чтения.

Системный таблицы MySQL всегда используют СХД MyISAM. Это сделано для того, чтобы исключить даже потенциальную возможность потери данных.

MySQL:InnoDB

InnoDB это полно функциональная ACID транзакционная система (сервер) хранения данных (СХД), которая использует технологию MVCC. Это хороший выбор для современных приложений MySQL.

InnoDB хранит данные с первичным ключами, так что поиск по первичным ключам происходит очень быстро. Данный подход очень полезен для физической оптимизации БД. В случае когда он не применим и дает низкую производительность, то явно его можно не использовать и тогда система создаст невидимый внутренний первичный ключ типа Integer(15) и будет проводить индексацию по нему.

InnoDB автоматически создает хэш индексы когда обрабатывает запросы на выборку (SELECT). Эта функция может быть отключена при необходимости. Некоторые процессы работают быстрее без этой функции.

InnoDB имеет буфер вставки, который кэширует обновления вторичных индексов и фиксирует их в фоновом режиме. Данная функция фундаментально увеличивает производительность запросов на вставку данных. Чтобы уменьшить количество обращений к жесткому диску для записи новых данных их необходимо комбинировать в большие группы.

Если InnoDB установлен как плагин к MySQL 5.1, он поддерживает сжатие таблиц налету. Вы можете использовать атрибуты ROW_FORMAT=COMPRESSED или KEY_BLOCK_SIZE в запросах CREATE TABLE и ALTER TABLE, чтобы дать команду InnoDB сжать каждую страницу в 1K, 2K, 4K, 8K или 16K байт.

Innobase Oy, это компания, которая занимается разработкой InnoDB. Она была куплена компанией Oracle в октябре 2005 года. С тех пор InnoDB все больше и больше заимствует у СУБД Oracle. А теперь, с покупкой компании MySQL компанией SUN эти и без того тесные взаимоотношения между Oracle и MySQL стали еще крепче. MySQL выходит на качественно новый уровень возможностей.

MySQL:NDB Cluster

NDB это высокопроизводительный преимущественно располагающиеся в Оперативной Памяти (RAM) СХД. Не индексируемые атрибуты могут сохраняться на жестком диске. Данные и логи также периодически синхронизируются на жесткий диск, чтобы избежать потери данных в случае внезапного "падения" кластера. NDB преимущественно используется в сфере телекоммуникаций, где аптайм и производительность в реальном масштабе времени критичны. NDB прозрачно собирает данные в фрагменты которые регулярно доставляет во все участки кластера. NDB использует внутреннюю синхронную репликацию чтобы записи были распространенны по меньшей мере на двух участках кластера прежде чем совершать фиксацию на жесткий диск. NDB также поддерживает автоматическое восстановление "упавших" элементов кластера (нодов). Из слабых сторон NDB стоит отметить очень плохую поддержку сложных запросов с использованием операторов JOIN.

В PostgreSQL похожих решений на данный момент просто нет.

MySQL:Archive

MySQL поддерживает сжатие на лету с версии 5.0, когда в дистрибутив попал СХД ARCHIVE. Archive - это СХД, который позволяет делать одновременно только 1 запись и множество чтений. Разработан специально для архивных баз данных, где запись в БД осуществляется гораздо реже и преимущественно одним источником данных. Сила сжатия достигает 90%. Archive не поддерживает индексы. В версии MySQL 5.1 Archive может работать с несколькими разделами (партициями).

MySQL:Falcon

Falcon это ACID транзакционный СХД, который был разработан самой MySQL. В данный момент он находится в зачаточном состоянии и доступен для тестирования в бета-ветке MySQL 6.0. Falcon поддерживает сжатие данных налету. Данные, сохраненные в таблицах Falcon, сжимаются на жестком диске, но в оперативной памяти хранятся не в сжатом ввиде. Сжатие происходит автоматически, когда данные синхронизируются на жесткий диск.

MySQL:Maria

Maria это ACID СХД, который был разработан Монти Вайденисом (Monty Widenius) и командой разработчиков MySQL.

Мультпроцессность

Исторически сложилось, что MySQL разрабатывалась и оптимизировалась под однопроцессорные системы. PostgreSQL в этом смысле смотрится гораздо симпатичнее. Чем больше ядер в системе, тем PostgreSQL работает быстрее, чего о MySQL сказать трудно.

С распространением на рынке мультипроцессорных систем, MySQL кинул свои силы на доработку СУБД. С каждой новой версией MySQL работает все быстрее и быстрее при использовании многопроцессорных систем. Наиболее удачными версиями, которые координально увеличивают производительность СУБД по сравнению с предыдущими версиями стоит отметить 5.0.30, 5.0.54 и 5.0.58. Данный факт подтверждается многими проведенными тестами.

Ассинхронный Ввод/Вывод

PostgreSQL полностью поддерживает асинхронный API для использования в клиентских приложениях. Данная возможность позволяет увеличить производительность в некоторых случаях до 40%. В MySQL отсутствует поддержка асинхронного режима. Но существует несколько драйверов, которые предоставляют эту возможность. Например MySQL драйверы для perl и ruby.

COUNT(*)

Транзакционные версионные СУБД, которые построены на модели MVCC, например такие как PostgreSQL и InnoDB, выполняют COUNT(*) очень медленно в сравнении с не транзакционными СХД или транзакционными не версионными СХД, например такими как MyISAM. MyISAM в MySQL использует сканирование индексов для обработки COUNT(*) и также кэширует полученный результат, данный подход гораздо эффективнее. PostgreSQL и InnoDB требуют полного сканирования таблицы на предмет учета всех видимых полей. MVCC-совместимые СХД выполняют операцию COUNT(*) данным способом потому, что MVCC сохраняет информацию о видимости или не видимости транзакции в данных самой записи (ROW). Во всех MVCC-совместимых СХД кэширование результатов операции COUNT(*) приведет к возврату некорректных данных. PostgreSQL Count() работает медленнее чем COUNT(*) в InnoDB.

Тесты производительности

Все тесты производительности СУБД напрямую зависят от среды и целей использования. Каждая СУБД может быть настроена на оптимальную производительность для каждого отдельного случая. По этому будет не корректно проводить сравнения простых или сложных выборок из БД. Или же вставки. Чтобы определить наиболее быструю СУБД, нужно проводить сравнения в требуемых условиях на требуемом оборудовании и с требуемыми данными.

Модель ACID

ACID следует понимать как Atomicity, Consistency, Isolation и Durability (Валентность, Последовательность, Изоляция и Длительность). Данная модель используется для обеспечения целостности данных средствами СУБД. Многие СУБД достигают соглашений ACID путем использования транзакций.

PostgreSQL и MySQL использующий InnoDB, Cluster и Falcon СХД полностью соответствуют всем принципам и канонам модели ACID.
Возможности

PostgreSQL и MySQL оба обладают внушительным набором возможностей и функций которые обеспечивают целостность данных, функциональность и производительность. Возможности, которые входят в состав PostgreSQL и MySQL позволяют улучшить производительность, легкость использования, функциональность или стабильность.

Простота использования

Готча (Gotcha) - это функция или функции которые работают так как описаны но не так как ожидалось (http://sql-info.de/mysql/gotchas.html). Поклонники PostgreSQL настаивают на том, что MySQL имеет больше готчей чем PostgreSQL.

В последних версиях MySQL представила пользователям различные режими работы SQL, которые совместимы с различными стандартами SQL и позволяют легко разобраться в MySQL тем, кто с MySQL никогда не работал.

Insert Ignore / Replace

MySQL поддерживает операторы 'INSERT IGNORE' и 'REPLACE' которые вставляют запись если ее не существует и ничего не делают в другом случае или заменяют текущую запись соответственно.

PostgreSQL не поддерживает ничего из выше перечисленного и советует использовать сохраненные процедуры для достижения такого эффекта. Однако существует одно "НО". В одно и тоже время может быть вставлено только одно значение. Данное условие накладывает серьезные ограничения на производительность и вызывает определенные сложности. INSERT IGNORE и REPLACE обрабатывают вставку нескольких значений и их запись симпатичнее чем процедура.

Еше одна полезная запись в MySQL: INSERT ... ON DUPLICATE UPDATE также напрочь отсутствует в PostgreSQL и для реализации своими руками требует написания сохраненных процедур, которые могут обрабатывать только 1 запись в один момент времени.

Ограничители

Обе СУБД PostgreSQL и MySQL поддерживают ограничители Not-Null, Unique, Primary Key и Foreign Key. Однако MySQL не поддерживает ограничение Check когда PostgreSQL поддерживает его уже довольно продолжительное время.

Таблицы InnoDB поддерживают проверки внешних ключей. Для остальных СХД MySQL разбирает и игнорирует FOREIGN KEY и REFERENCES в директиве CREATE TABLE.

Для движков MySQL не поддерживающих внешние ключи могут быть применены тригеры.

Значения по умолчанию

PostgreSQL позволяет для колонок использовать в качестве значения по умолчанию любую функцию помеченную как IMMUTABLE или STABLE. В MySQL, на данный момент, лишь функция Now() может быть использована как значение по умолчанию для колонки.

Сохраненные процедуры

И PostgreSQL и MySQL поддерживают сохраненные процедуры.

Главный язык запросов в PostgreSQL - PL/pgSQL, он похож на PL/SQL в Oracle. PostgreSQL также поддерживает SQL:2003 PSM сохраненные процедуры также как и другие популярные языки программирования Perl (PL/Perl), Python (PL/Python), TCL (PL/Tcl), Java (PL/Java) и даже C (PL/C).

MySQL следует синтаксису SQL:2003 для сохраненных процедур, который также используется в IBM DB2.

MySQL поддерживает другие языки программирования сохраненный процедур с помощью плагинов. Из самых популярных стоит отметить Java, Perl, XML-RPC.

Триггеры

И PostgreSQL и MySQL поддерживают триггеры. Триггеры в PostgreSQL могут выполнять любые пользовательские функции из любого процедурного языка за исключением PL/pgsql.

Триггеры в MySQL активируют только SQL запросами. Они не активируются изменениями в таблицах, которые делаются при помощи MySQL API и не выполняют никаких SQL запросов.

PostgreSQL также поддерживает правила (RULES), которые позволяют оперировать над синтаксисом запросов и могут делать некоторые операции проще, чем традиционный механизм триггеров.

Синтаксис для определения триггеров в PostgreSQL не так силен как в MySQL. PostgreSQL требует раздельного определения функции с специальным типом возвращаемого значения.

Репликация и Высокая Доступность

Репликация - это механизм СУБД дублировать свои данные для резервных копий а также для зеркалирования на другие сервера для обеспечения высокой стабильности. PostgreSQL и MySQL оба поддерживают репликации:

PostgreSQL

PostgreSQL поддерживает репликацию на уровне подключаемых модулей. Существует несколько модулей, которые позволяют осуществлять репликацию данных СУБД PostgreSQL:
- PGCluster
- Slony-I
- DBBalancer
- pgpool
- PostgreSQL table comparator
- SkyTools
- Sequoia
- Bucardo
- Mammoth Replicator
- Cubercluster
- GridSQL (shared-nothing)

Существует заблуждение о том, что эти модули третих производителей как-то плохо интегрируются и выполняют свою работу не надлежащим образом. Например Slony, был спроектирован и разработан Жаном Вейком (Jan Weick), членом команды разработчиков PostgreSQL при участии множества людей из сообщества PostgreSQL. Однако, Slony, гараздо медленнее и использует больше ресурсов чем встроенный репликатор в MySQL. Но в версии PostgreSQL 8.4 вышел встроенный репликатор.

Слабые места репликации в PostgreSQL

Slony-I наиболее широко используемый инструмент для репликации данных в PostgreSQL и является прямой противоположностью встроенному механизму репликации данных в MySQL. Во первых он использует SQL и триггера для сбора данных для репликации по всему серверу. Этот подход координально медленнее чем родной способ репликации данных в MySQL, который использует бинарный режим обработки БД. Во вторых Slony-I не придатен для использования в огромных кластерах, так как потребление ресурсов равно квадрату используемых серверов для репликации данных.

2 сервера: MySQL: 2 = 2 PostgreSQL: 2*2^2 = 8
4 сервера: MySQL: 4 = 4 PostgreSQL: 2*4^2 = 32
12 серверов: MySQL: 12 = 12 PostgreSQL: 2*12^2 = 288.

Пока Slony-I адекватен для высокой доступности с использованием двух серверов. Slony-I очень тяжело администрировать.

Bucardo написан на языке Perl и интенсивно использует триггеры PL/PGSQL и PL/PERLU.

PGCluster не полезен там, где ожидается высокая производительность и большое количество источников данных потому, что в PGCluster реализована синхронная репликация которая ожидает пока проихойдет запись на всех машинах, участвующих в кластере. Однако в ситуациях, где количество источников данных минимально и требуется чтобы на всех машинах в кластере данные были всегда идентичны - PGCluster станет хорошим инструментом.

MySQL

MySQL поставляется с поддержкой асинхронной репликации данных. Начиная с версии 5.1, MySQL поддерживает два формата репликации. SBR отслеживает SQL запросы, которые вносят изменения в БД, в специальный бинарный логфайл, на который подписаны все дочерние сервера. Соответственно при изменениях в главной БД, все остальные БД получают копии данных. RBR отслеживает инкрементальные изменения записей и записывает их в бинарный лог-файл, из которого получают данные все дочерние БД. RBR используется автоматически, когда выполняется определенный запрос в главной БД. Некоторые СХД как NDB, Falcon и в некоторых случаях InnoDB для репликации используют только RBR.

Начиная с версии 6.0 MySQL поддерживает полу-синхронную репликацию в которой мастер подтверждает получение хотя бы одной дочерней БД до возврата из процедуры комита данных. Этот метод позволяет уменьшить до минимума потери данных, особенно в больших кластерах.

Типы данных

PostgreSQL не поддерживает unsigned integer, но имеет более широкую поддержку типов данных в аспектах соответствия стандартам, базовый логический тип Boolean, определение пользовательских типов данных, встроенные типы данных.

PostgreSQL позволяет колонкам таблиц быть определенными как мультиразмерный массив с изменяемой длинной. Массивы могут быть любого встроенного или пользовательского типа, enum или композитного типа. Но вот массивы доменов пока не поддерживаются.

MySQL не имеет типа данных IP Адрес, который присутствует в PostgreSQL но для преобразований из и в IPV4 используются функции INET_ATON() и INET_NTOA(). В БД хранится как Integer.

Подзапросы

MySQL и PostgreSQL поддерживают подзапросы. В MySQL подзапросы появились недавно и требуют сильной доработки по части производительности. В PostgreSQL подзапросы доведены практически до совершенства.

Расширенное индексирование

Расширенное индексирование позволяет СУБД выполнять запросы с гораздо более высокой скоростью. И MySQL и PostgreSQL поддерживают расширенное индексирование.

Множественные индексы.

MySQL поддерживает множественные индексы для каждой таблицы в отдельности и может использовать один индекс для одной таблицы. PostgreSQL поддерживает множественные индексы для каждого запроса в отдельности.

Полнотекстовые индексы.

MySQL идет с поддержкой полнотекстового поиска, но поиск может быть использован только на СХД MyISAM. Также MySQL поддерживает внешние модули для организации полнотекстового поиска - Sphinx Fulltext Search Engine. Данный плагин добавляет поддержку полнотекстового поиска для СХД InnoDB.

PostgreSQL начиная с версии 8.2 имеет в своем распоряжении полнотекстовый поиск в модуле tsearch2. Начиная с версии 8.3 модуль tsearch2 интегрирован в ядро PostgreSQL.

Частичное индексирование

MySQL не поддерживает частичного индексирования. PostgreSQL поддерживает частичное индексирование. Частичный индекс - это индекс построенный на срезе таблицы. Срез определяется специальным выражением, которое называется предикатом частичного индекса. Индекс содержит записи, которые удовлетворяют предикату. Частичные индексы - это довольно специфичная штука, но существуют ситуации, в которых частичные индексы могут быть очень полезны.

Один из важнейших аспектов использования частичных индексов - это избежание индексирования повторяющихся значений. Когда запрос ищет повторяющиеся значения, которые занимают не более нескольких процентов от всей таблицы, индексы не используются. Так что нет нужды хранить эти данные в индексе. Данный подход уменьшает размер индекса и увеличивает скорость обработки запросов. А также увеличивается скорость выполнения других операций над таблицами, например скорость обновления записей.

Порционирование

MySQL поддерживает несколько форм горизонтального порционирования:
- RANGE
- LIST
- HASH
- KEY
- Композитное порционирование используя RANGE или LIST с HASH или KEY

PostgreSQL поддерживает только RANGE и LIST. HASH порционирование поддерживается с помощью внешних функций. Также PostgreSQL поддерживает композитные решения.

Лицензирование

PostgreSQL распространяется по лицензии BSD, в которой отмечены пункты Free Software Definition и Open Source Definition и стандарт Copyfree.

MySQL доступен по лицензии GNU General Public License, в которой также отмечены пункты Free Software Definition и Open Source Definition но не по стандарту Copyfree. А это значит что если будет издан продукт, в котором используются исходники MySQL вам придется либо заплатить за коммерческую копию MySQL AB либо открыть исходные коды для общего пользования.

Разработка

MySQL владеет и спонсирует одна профилирующая компания MySQL AB. Правда теперь она является частью Sun Microsystems, которая в свою очередь была приобретена компанией Oracle. MySQL AB держит копирайты и исходники MySQL.

PostgreSQL не принадлежит никакой компании и поддерживается глобальным сообществом разработчиков а также компаниями, которые участвуют в разработке. PostgreSQL имеет корпоративных спонсоров, которые дают деньги на разработку.

MySQL - это ПРОДУКТ с открытым исходным кодом.
PostgreSQL - это ПРОЕКТ с открытым исходным кодом.

Происхождение названия

Когда был создан стандарт ANSI SQL, его автор сказал, что официально SQL произносится как "ess queue ell". Имена и MySQL и PostgreSQL отражают в своих именах этот стандарт. MySQL официально произносится как "my ess queue ell". Однако многие произносят MySQL как "my sequel".

Так как MySQL является собственностью компании MySQL AB, то компания была вынуждена сохранить копирайты на имя своего детища и по этому название скорее всего останется неизменным.

PostgreSQL произносится как "пост гресс ку элл". Название сформировано из старого названия Postgres (так называлась СУБД на базе которой был создан PostgreSQL) и SQL. Некоторые люди называют Постгрескуэл как пиджискуэл (pgsql). Ходят слухи, что PostgreSQL будет переименован назад в Postgres. На данный момент идут активные дебаты по этому поводу.

Популярность

MySQL широко известен и применяется в большинстве открытых (open-source) разработок по всему миру. Наиболее часто используется СХД MyISAM. И с уверенностью можно сказать, что MySQL самая популярная СУБД для вебразработок по всему миру.

Основаниями для такой популярности служит то, что MySQL легче использовать, чем другие СУБД, в частности PostgreSQL. Это утверждение бытует уже много лет. Но фактически несколько лет назад PostgreSQL произвел серьезные изменения в своей структуре и может по праву считаться более легким в использовании нежели MySQL. Но вопрос по прежнему открыт. Что же выбрать? MySQL или PostgreSQL?

Версия статьи

0.4

Подсвечено жирным шрифтом название раздела. Спасибо Никите Бабакину (skew).

0.3

Исправлено множество грамматических ошибок. Спасибо Алексею (oktogen).

0.2

Исправлены недочеты в разделе "Производительность". Спасибо Илье Звягину.

0.1

Первый релиз.

Послесловие

Если Вы обнаружили ошибку или недочеты или неточности, сообщите мне об этом - me (dot) madjack.ru.

MovableType: Отличия Widgets и Template Module

2009-07-14T06:24:51Z

Чем же отличаются эти столь похожие элементы дизайна? Постараюсь ответить на этот вопрос внятно и коротко. В общей своей сути эти объекты являются элементами интерфейса MovableType. Но есть некоторые отличия в предназначении и возможными операциями над этими объектами.
]]> Widgets (Виджеты)

Можно объединять в группы Виджетов;
Снабжет интерфейсом перетаскивания Drag & Drop;
Подключение группы виджетов в шаблон. После смены содержания группы, во всех шаблонах, где используется текущая группа будут внесены изменения автоматически;
Виджеты это модули, но модули это не виджеты;
Поддержка кэширования;

Модули (Template Modules)

Нельзя объединять в группы Модулей;
Нет интерфейса Drag & Drop;
Есть возможность включения в шаблоны;
Модули это не виджеты, но виджеты это модули;
Нет поддержки кэширования;

Заключение
Вот собственно и вся разница. Я вижу только одно выгодное применение виджетам - это создание сайдбара (Sidebar), на который можно выносить календари, последние комментарии, счетчики, рекламу. Такой блок виджетов очень удобно вставлять на различные страницы. И еще удобнее вносить изменения.

ImageInfo 2 / MovableType

2009-07-11T18:31:54Z

Русский:

Исправленная версия одноименного плагина для отображения EXIF информации от Дэвида Филипса. Теперь плагин использует Image::ExifTool.

English:

Fixed version of ImageInfo plugin by David Philips. It supports Image::ExifTool. But syntax still old.

]]> Руководство к использованию / User Manual

Русский:

Отображает информацию EXIF из данных изображения на одной странице с самим изображением. Данный плагин будет особенно полезен для владельцев цифровых камер, которые обычно хранят множество EXIF данных в своих изображениях (дату создания, фокусное расстояние, выдержку, чувствительность ISO, баланс белого, и др.).

Как пользоваться?

leading_text="[li]" trailing_text="[/li]">

<$MTImageInfoField name="width" label="[strong]Width:[/strong] "$>

<$MTImageInfoField name="height" label="[strong]Height:[/strong] "$>

<$MTImageInfoField name="CoolBits" label="[strong]Cool Bits:[/strong] "$>

<$MTImageInfoField name="DateTime" label="[strong]Date:[/strong] "

format="%a %d %b %Y"$>

Требования к системе (хостингу)

1. Image::ExifTool (версии 7.67 или выше)

2. File::Basename

Пример

Пример использования плагина можно увидеть тут. Просто выберите понравившееся изображение и посмотрите какие данные его сопровождают.

Скачать

Щелкните по ссылке, чтобы скачать плагин.

English:

Display image EXIF data along with image on weblog page. Especially useful with digital camera pictures, which often store a lot of EXIF data (time stamp, f/stop, shutter speed, ISO setting, white balance, etc.) inside each picture.

leading_text="[li]" trailing_text="[/li]">

<$MTImageInfoField name="width" label="[strong]Width:[/strong] "$>

<$MTImageInfoField name="height" label="[strong]Height:[/strong] "$>

<$MTImageInfoField name="CoolBits" label="[strong]Cool Bits:[/strong] "$>

<$MTImageInfoField name="DateTime" label="[strong]Date:[/strong] "

format="%a %d %b %Y"$>

Requirements

1. Image::ExifTool (version 7.67 or greater)

2. File::Basename

Example

Example of plugin usage is here. Just select any picture and look at the bottom.

Download

Click here to download plugin.

Проект Apple Украина

2009-07-10T16:49:44Z

Проект Apple Украина расположен по адресу mac.net.ua. Проект задумывался и создавался как информационный ресурс по технологиям Apple, ее продукции, программному обеспечению, слухам вокруг компании, творчеству, советам по использованию и околояблочным темам. Собственно от идеи до реализации прошло не так уж много времени и основные принципы сдвинуты небыли.

Технические подробности

За основу движка решено было взять Wordpress. Тогда это был наиболее приемлемый вариант. Сейчас с уверенностью могу заявить что Wordpress - это довольно неповоротливая муторная штуковина. Ну да ладно. Как и любой другой информационный портал, Apple Украина должен гдето хранить изображения, подогнанные под размер новостной колонки + снабжать их клеймом сайта. Для этих целей в поддомене была установлена Gallery2 от Menalto. Могу сказать, что со своими обязанностями программулина справляется на все 5+.

Резюме

Проект завершен на 95%. Работает на отлично. Отзывы в интернет вполне позитивные. Количество посетителей и подписчиков RSS неизменно растет. Пока проект нигде не рекламируется. Основной источник поситителей - Yandex и Google.

]]>