Производительность SSD против жесткого диска? на ssd поиск занимает 100 мс, на жестком диске 3000-6000 мс

Каковы способы повышения производительности жесткого диска?

добавить ram (для кеша), cделать дефрагментацию(не всегда помогает)

+поменять на sas 15к. :)

Каковы способы повышения производительности жесткого диска?

Замена на SSD, ваш КО.

• поставить перед ним кеширующий ssd

HDD тормозные by design, их можно только густо обмазать костылями, чтобы хоть как-то нивелировать тормоза, но всё равно в целом они будут делать пасасай середнячковым SSD.

150 гб текста

Какой смысл в HDD на таких смешных объёмах? Я думал, у тебя там десятки терабайтов.

Она в любом случае будет намного хуже. Физику не обманешь, максимум можно немного улучшить ситуацию кешем на SSD или в RAM, но не более. Даже самые быстрые HDD все равно медленнее SSD.

Не пробуй даже взять гибридный диск, он работает всего раза в два быстрее, дохнет со скоростью ссд, и хрен потом с него файлы вынешь.

недавно у дойчей опять жалобы слышал про исчезновение файлов на 4 тб ssd. Уже молчу про sd карты, которые с завидым постоянством имеют проблемы. Я теперь вообще боюсь держать файлы на чем-либо кроме хдд.

Бэкап бэкапом, а за всем уследить невозможно.

А на btrfs со сжатием? А если собрать в btrfs-массив?

Хороший кеш нужен для 130 миллионов записей. 150 гб текста.

Судя по количеству записей, товарищ в ФСБ работает, на всех граждан 6+ лет досье смотрит

Перейти на NTFS и сжатие данных там. И экономия места и скорость чтения существенно возрастут

Возможно, некоторую прибавку в скорости даст подбор оптимального шедулера io

https://habr.com/ru/articles/81504/

Более радикальный вариент - посмотреть в сторону bcache. Конечно, по скорости с полноценным ssd не сравнится, но в ряде сценариев такой бутерброд может сработать неплохо.

Если данных всего 150Гб, возможно действительно стоит просто поставить под это дело небольшой ssd? Если есть страх за данные, можно собрать raid (хоть железный, хоть софтварный - не принципиально). Не надо ничего придумывать и получится гарантированный результат. В описанном кейсе ssd работают многократно быстрее.

Заменить HDD на SSD.

HDD будет всегда медленней, потому что чтение данных там завязано на механику, а в SSD это чисто электроника.

Потенциально можно выжать из HDD максимум, уменьшив фрагментацию, разместив данные поближе к нулевому сектору, увеличив кеширование и read ahead, но в общем случае это даст не больше чем в 2 раза ускорение…

Если от HDD не уйти, то можно учитывать специфику задачи. Работаешь с текстами, так залей их в базу и создай индекс, тогда поиск будет по индексу, который возможно влезет в память.

Вот это интересно) Попробую.

У нее быстрее скорсоть на чтение чеи у ext4?

в цру

У неё онлайн дефрагментация и сжатие есть, конечно быстрее

Попробуй сделать компрессию индексов (index.codec: best_compression). Надо это делать перед индексацией.

кардинальное решение проблемы RAID0 массив из RAM и HDD скорость RAM и энергонезависимость обычного носителя :)

+поменять на sas 15к. :)

2009 год, замена raid10 из 8 sad 15k на 1 (один) x25-e 64Gb дала почти десятикратный рост производительности приложения из кровавого ынтырпрайза.

raid из hdd не стоит сравнивать с ssd как бы там ни было. Тем более у рейда предназначение другое и производительность зависит от некоторых факторов

на SSD поиск занимает 100 мс, на HD 3000-6000 мс

С разморозкой, товарищ.

Можно ли оптимизировать производительность на жестком диске?

Нет. Сам ты ничего не сделаешь. Только на СТО: надо будет поменять свечи, продуть форсунки и т.д. Ну ты понял, да.

Вообще, это ты задал два немного разных вопроса.

1. Как сделать поиск (elasticsearch) быстрее?
2. Как увеличить производительность (запись? Чтение?..) жёсткого диска?

Эт вещи в целом связанные но не особо.

Нельзя никаким способом вытянуть механику до SSD. В лучшем случае самая быстрая механика почти догоняет самые старые сосоди на линейном I/O. На массовом рандомном доступе - всё, туши свет, сливай воду.

Я теперь вообще боюсь держать файлы на чем-либо кроме хдд.

И даже восстановлением данных с внезапно умершего hdd никогда не приходилось заниматься?

Уже молчу про sd карты, которые с завидым постоянством имеют проблемы.

Смешали мокрое с громким.

внезапно умершего

У меня ещё никогда не умирал хдд внезапно, всегда были признаки износа, ошибок и прочего. А с новых ссд пропадали файлы и за несколько лет померло 2 ссд. Я понимаю можно отдать поколдовать с контроллером если в нем проблема, но кто отдаст в ремонт свои файлы которые 100% будут украдены? А если там проехался Трим то даже пытаться не стоит.

Все кто сейчас пользуется ссд надеются на авось. Вот это правда

У меня ещё никогда не умирал хдд внезапно

А у меня умирал... и гораздо более одного раза.

А с новых ссд пропадали файлы

За всю практику использования ssd таких чудес не встречали.

и за несколько лет померло 2 ссд

Померло «внезапно» или «запланировано»?

«запланировано»

лол

недавно у дойчей опять жалобы слышал про исчезновение файлов на 4 тб ssd. Уже молчу про sd карты, которые с завидым постоянством имеют проблемы. Я теперь вообще боюсь держать файлы на чем-либо кроме хдд.

Смешались в кучу дойчи, терабайты, и ssd с sd (всё та же flash). Чужое полыханье жоп пугает. Зажмурившись, решенье принимает в хрустальных вазах данные беречь...

Небось чатгопота помог такое сочинить?))

Нет, я сам по себе талантлив, без помощи гопоты.

у hdd все от времени движения по диску
у дисков современных он типа 4ms - вот и в среднем - от него не стоит требовать скорости более чем 250tps

но - если данных мало - то чем на большем диске они лежат - тем быстрее доступ (бегать головкам по всему диску надо меньше)

150 гиг на 1 терабайт диске - и на 20 терабайт - будет разная скорость

если из за чего то точно нужен hdd - то максимально большой диск - и партиция в начале его - гигов 300-500

Не осилили? Поясню, у ssd кол-во циклов перезаписи в ячейку ограничено by design т.е. трупом оно станет обязательно.

но - если данных мало - то чем на большем диске они лежат - тем быстрее доступ (бегать головкам по всему диску надо меньше)

Отчасти глупость написали, man фрагментация.

и партиция в начале его

А это что за дичь?

Каковы способы повышения производительности жесткого диска?

Может, правильнее было бы задать вопрос «… производительности СУБД (конкретной) на жестком диске?». Ну и указать СУБД-шку )

А это что за дичь?

это не дичь,а физика, потому что у скорость у края и центра диска разная. Не знаю как сейчас у мелких, а раньше всякие оптимизаторы предлагали передвинуть часто используемые файлы поближе к краю )

Любой HDD тоже обязательно станет трупом

что такое партиция ? man fdisk

а смысл так делать - вот именно для того чтоб данные по всему диску не разбегались - а сидели рядышком - быстрее бегать до них диску

У нее быстрее скорость на чтение чем у ext4?

В некоторых СУБД-шках можно вообще без файловой системы обойтись - хранить данные на raw-девайсах. Опять же, оперативная память будет более рационально использоваться.

а раньше всякие оптимизаторы предлагали передвинуть часто используемые файлы поближе к краю )

«всякие оптимизаторы» знали все модели хардов?

Формально да, но у него это не запланированное окирпичивание, в отличии от ssd.

и партиция в начале его

что такое партиция ? man fdisk

Что такое «в начале его?»

Как разница в скорости у центра и края может зависит от модели? Садись два

Как разница в скорости у центра и края может зависит от модели?

Откуда оптимизатор знает куда именно та или иная модель харда пишет данные? Физика != логика.
ЗЫ А если у меня трехблиновик... Надеюсь такой намек понятнее?
ЗЫЫ Ну чего-то ещё и журналирование вспомнилось.

Кол и завтра без родителей не приходи

В некоторых СУБД-шках можно вообще без файловой системы обойтись - хранить данные на raw-девайсах.

Так и есть.

сколько тебе было лет - в начале жизни твоей ? вот тамжо

Кол и завтра без родителей не приходи

Это вы для себя?

Не осилили?

Та не, улыбнуло просто, т.к. смешно звучит. Не над вами лично смеюсь, ибо кто я такой чтобы судить кого-либо, не зная уровень его знаний.

А так, дохнет все: и SSD и HDD. Запланированно умереть? Или это была минутка философии? Тогда теги расставляйте. Мы тоже запланированно умрем? Методично же и уверенно движемся на кладбище все-таки. Сдох - план выполнен. Неважно, тобой или Провидением. Факт.