Crazy Rebel: викификация, оформление

Crazy Rebel — Fri, 26 Dec 2008 06:21:55 GMT

викификация, оформление

Новая статья

: LXF Интервью

=Вдохновение по Спарксу=

: Будучи крупнейшей вещательной компанией в мире, BBC нуждается в серьезных технологиях для сетевого вещания, медиа-кодеках и многом другом. Open source – привлекательное решение, поясняет '''Майкл Спаркс'''.

'''Linux Format: ''Что привело вас в BBC?'''''

'''Майкл Спаркс:''' Я закончил Манчестерский университет и устроился работать Janet Web Cache Service. Мы тогда все расширяли, и делали это хорошо, и это был довольно весело. Использовали Linux, ''Squid'' и FreeBSD. Была пара машин с Solaris
и пара Irix-машин, но в основном Linux и FreeBSD.

'''LXF: ''Это была ваша первая встреча с Linux?'''''

'''МС:''' Нет, она произошла в университете. Я изучал информатику, и посреди второг курса решил разобраться, как работают компиляторы, и мне нужен был компилято для домашнего пользования. Вот я и скачал свободное ПО. Моим первым дистрибу
тивом был мини-Linux на четырех дисках.

'''LXF: ''На дискете?'''''

'''МС:''' На четырех! Его нужно было установить на жесткий диск, но он запускался
на 386 с 4 МБ памяти, а у меня была как раз такая машина. Оттуда все и пошло. Я и понравился Janet Web Cache Service потому, что имел опыт работы в Linux. Потом я стал подумывать о переезде в Лондон, но пока жил в Манчестере.
Компания Inktomi тогда набирала сотрудников, и вербовщик нашел мое имя в
списке рассылки ''Squid'', так что благодаря ''Squid'' я попал в Inktomi. Они занимались кэшированием крупных сетей, сетевыми системами и сетями доставки мультимедиа.

'''LXF: ''А это, в свою очередь, было нужно BBC?'''''

'''МС:''' BBC в то время нанимала инженеров-исследователей. И так совпало – они
об этом не говорили, пока меня не наняли – они создавали новую исследовательскую группу. До этого исследовательский отдел состоял из четырех основных групп: группа Studio занималась производством; Transmission – вещанием; одна
группа отвечала за размещение передатчиков в Великобритании для получения
лучшего охвата; и еще одна для систем внутри BBC. Но для сетевых исследований
не было ничего; они собрались основать новую группу, и мне посчастливилось
присоединиться к ней вовремя. Вот почему это область моих исследований.

'''LXF: ''Вы управляли этим процессом, или что-то советовали?'''''

'''МС:''' Нет, не советовал; все произошло случайно. BBC была в процессе формирования этого маленького сетевого подразделения, человека на четыре-пять.

'''LXF: ''Его задачей было распределение контента в сети?'''''

'''МС:''' Да, и они понимали, что нужны некоторые исследования в этой области,
потому что все это [раньше] было спонтанно. Многое на сайте BBC было в стиле: «Стянем одно отсюда, другое – оттуда, заставим заработать, а как разослать, неважно». А я как раз в этом разбирался, потому что занимался этим несколько
предыдущих лет. Они спросили: «Как нам это рассылать?», ну, я и говорю: «Что ж,
по-моему, вопрос интересный, я не ожидал, что буду делать это».

Довольно быстро выяснилось, что потоковое вещание само по себе жутко
дорогое. Сервер Real Networks тогда еще не был открыт. Они перешли на по-процессорную модель, но процессор так и так может обработать лишь определенное число потоков, и это был просто другой способ описать ту же проблему. В наши
дни выбор богаче, а тогда было примерно так: «Нужно разработать поточный сервер, потому что нам надо обрабатывать 20 миллионов параллельных потоков, и это будет дешевле, чем оплачивать серверную нагрузку».

'''LXF: ''Насколько это было похоже на вашу прежнюю работу?'''''

'''МС:''' Что интересно, в Inktomi продавались системы web-кэширования. Эти решения поддерживали также потоковое кэширование и включали сети распространения мультимедиа. Таким образом, штуки вроде сетей распространения использовали групповое вещание на уровне приложений, то есть отдельных аудио- и видео-пакетов, а не IP-пакетов, как это обычно бывает. Источники и отправители также основывались на контенте, а не на IP, что
было шагом вперед и значительно упрощало жизнь.

Так что у меня был большой опыт в этой области, а поскольку мы продавали
эти вещи, я должен был довольно подробно знать их внутренности и как все
структурировано. Кроме того, я разбирался в ''Squid'', то есть понимал, как двигаться вперед.

'''LXF: ''Вы не поясните, как Kamaelia работает в техническом плане?'''''

'''МС:''' Для моделирования параллелизма мы используем генераторы ''Python''. Потому
что, на самом деле, это дает нам возобновляемые функции. Так что вы можете
написать нечто, на вид однопоточное, и запускать этот поток снова и снова.

'''LXF: ''А они распараллеливаются?'''''

'''МС:''' Вы можете распараллелить их. Фактически, все они последовательны, потому что это куски кода, которые работают, пока не наткнутся на точку результата ['''yield''']. Генератор ''Python'' – это небольшая функция со словом ‘'''yield'''’ в теле. Если в ней есть '''yield''', то при ее вызове возвращается объект, и вы можете вызвать его
метод '''next''', и он будет выполняться до тех пор, пока не наткнется на следующий
'''yield''', а тот – н следующий, и так все время, пока вы запускаете '''next'''. Так что '''next'''
проходит до следующего '''yield''', потом следующего, и т.д. Очевидно, вы можете
создать их множество, вот и выходит параллелизм. Можно считать это альтернативой конечным автоматам, но замечательно, что это не шиворот-навыворот, это правильный способ.

Например, если вам нужно много интересных обработок ошибок, обработка
ошибок все еще хороша и понятна – каждый знает, что нечто однопоточное написать легко, здесь нет серьезных проблем. Вам не надо думать: «Ладно, я остановлю это, и что я должен сделать, как сохранить это состояние, и как вернуться в эту
позицию?». Не надо предусматривать откаты и тому подобное.

'''LXF: ''То есть Python для Kamaelia – единственный выбор, или можно использовать что-то еще?'''''

'''МС:''' С выбором ''Python'' получилось забавно. Первоначально предполагалась команда из трех разработчиков: Тима Борера [Tim Borer], которого вы, наверное, знаете по проекту ''Dirac'', Джозефа Лорда [Joseph Lord] и меня. А кончилось тем, что на следующую пару лет остался, по сути, один я, поскольку Джозефа утащили на какуюто другую работу, а Тим занялся проектом ''Dirac''. Сейчас со мной еще работает Мэтт Хэммонд [Matt Hammond].

Но главное, мы хотели выбрать язык, на котором никто из нас не писал. В исследовательской организации хочется что-то изучать. А как вы учитесь? Вы беретесь за то, чего раньше не делали. И я подумал: «Ну, раз он поддерживает идею возобновляемых функций, берем, потому что в сущности моя задача – сделать программы доступными для сопровождения. Неважно, трудно ли на нем писать». ''Kamaelia'' упрощает разработку программ – в первую очередь потому, что все выглядит однопоточным, но фактически я хочу сделать эти параллельные системы обслуживаемыми обычными людьми.

Обычно параллельные системы пишутся [людьми, говорящими]: «О, мы собираемся посадить на эту работу наших лучших программистов», и так происходит везде. Выпустим продукт как можно быстрее – посадим на него лучших программистов, и они его сделают, а затем передадим эксплуатационникам, которые по определению менее квалифицированны: будь это не так, они, вероятно, работали бы над следующим проектом. Примерно так работают многие организации.

Таким образом, меня действительно беспокоило, как заставить работать параллельные системы для основной массы пользователей, а не для самых квалифицированных. Вот почему я хотел, чтобы все выглядело однопоточным, потому что,
прежде всего, вы можете написать свой кусок однопоточным, убедиться, что он
работает, нашлепать несколько директив '''yield''' в произвольных местах, и это станет
компонентом. И затем вы сможете повторно использовать его.

'''LXF: ''Это действительно хороший аргумент. Так вы не знали, что генераторы предоставляют такую функциональность?'''''

'''МС:''' Я такую функциональность искал, обычно это называется «'''cur-routines'''». Ну, а
в ''Python'' – генераторами. Они не столь общие, как стандартные сервисные подпрограммы, и это их большое преимущество,
поскольку оно гарантирует, что все будет намного компактнее. А чем они компактнее, тем более обстоятельные, а еще – их
легче использовать повторно.

'''LXF: ''BBC понимала необходимость открыть исходный код Kamaelia и создать вокруг своего рода сообщество?'''''

'''МС:''' Некоторые понимали. BBC не однородна, это стоит помнить. BBC известна своей приверженностью открытым стандартам. Например, хорошо известно, что если у нас есть открытый стандарт, мы
найдем группу людей, которые придут и его поддержат, и что-нибудь для него
сделают.

Естественно, BBC надеется на изготовителей оборудования, которые придут и
построят что-то вокруг открытого стандарта на оборудование – чтобы люди о нем
даже не задумывались. Но идея, что открытие ПО дает, потенциально, наличие
сообщества, на некоторых уровнях им плохо знакома.

BBC очень изменилась. В смысле, легко сказать «BBC», а BBC-то, на самом деле,
это около 27 тысяч человек. А еще есть люди, которые живут и дышат Open
Source. '''LXF'''

LXF86:Спаркс - История изменений

Crazy Rebel: викификация, оформление