На конференции OSDI, которая состоится в октябре, сотрудники компании Google Пенг и Дабек расскажут об устройстве новой системы генерации поискового индекса под названием «Percolator». Percolator представляет собой неограниченно масштабируемое хранилище с возможностью произвольной выборки и поддержкой ACID-тразакций, однако, по сравнению с традиционными СУБД, обладает пониженной скоростью записи (одна транзакция может занимать от нескольких секунд до десятков минут) и не поддерживает язык запросов SQL. Сообщается, что в сравнении с ранее использовавшейся в Google технологией MapReduce, Percolator позволил уменьшить время индексации отдельного документа в 1000 и более раз.
В полной версии статьи также приводятся результаты синтетического теста для OLTP-систем TPC-E, согласно которым Percolator показал результат в три раза превосходящий существующий мировой рекорд (см. таблицу). Отмечается, однако, что в тесте использовалось 15000 ядер против 64 двухъядерных ЦП у конкурента (MS SQL Server 2008 R2 DE), то есть относительные затраты на транзакцию при использовании технологий Google оказались больше примерно в 30 раз.
Перемещено maxcom из Кластеры