Трудности перехода. Hex редактор

А зачем они?

Что за глупый вопрос, вот серьёзно?

Да банально посмотреть как, например, ROM для последующей прошивки какого-нибудь роутера/телефона/девайса собрался. Корректно ли и по нужным адресам всё лежит? Посмотреть какой MAGIC у бинарного файла или какой там у него заголовок. Посмотреть структуру объекта. Посмотреть как будет сохранён тот или иной файл при изучении языков программирования. Как именно хранятся данные на диске? Какой перевод строк используется в текстовом файле и как он выглядит? Применений HEX-редактору огромная куча, это незаменимый и полезный инструмент для любого продвинутого пользователя ПК, не говоря уж об IT-специалистах.

Проблема лишь в том, что все HEX-редакторы под Linux-дистрибутивы либо полное говно как Okteta или GHex, написанные я даже не знаю кем, либо с весьма скромной функциональностью, как QHexEdit или wxHexEditor.

Остаются лишь проприетарные и платные варианты. Да, они хорошо работают и богаты на функциональность. Но то, что в системе изначально пропитанной свободным хакерским духом пользователь должен задумываться о покупке проприетарного HEX-редактора в 2022 году навевает мысль о том, что где-то что-то пошло не так. При этом функциональность того же 010 Editor для рядового пользователя избыточна, а той же Okteta – недостаточна, потому что она не умеет окрывать файлы размером более 2 GiB, смех да и только.

Что за глупый вопрос, вот серьёзно?

Это вот всё: mc -> F3 -> F4, нужно побыстрому поправить - F2. Ну, кроме структуры объекта наверное. Но зачем оно сейчас?

Тулкитолюбам вопрос задай и прочим си-царям. Почему так выходит, что на жс в броузере сделать херак-херак-десткоп стало проще, и выходит лучше, чем влазить в это их кутэ с гтк. Зато как говоришь «js», все начинают прыгать как дебилы и кричать «2» + 1

Я не думаю что вопрос в каком-то там тулкитолюбстве. Есть вон QHexEdit, простейший редактор который открывает большие файлы и не грузит их в RAM. Но так как он создавался не под эгидой GNOME или KDE, из функциональности там лишь открытие крупных файлов и их базовое редактирование.

Но скажите мне, кто мешал использовать нормальные API типа mmap() и прочие разработчикам Okteta и GHex? Уж если даже Web-макаки сделали всё нормально (или браузер за них это сделал).

Это просто какой-то позор…

Это вот всё: mc -> F3 -> F4, нужно побыстрому поправить - F2.

Где там, например, мини-карта, позволяющая очень удобно и быстро перемещаться по структуре огромных файлов, не перебирая эти байтики по «Page Down» тщетно пытаясь найти границы данных.

Но зачем оно сейчас?

Нужно. И как видно по постоянно создаваемым темам на ЛОРе про отсутствие вменяемого HEX-редактора в Linux, нужно далеко не только мне.

Нужно.

Ну вот зачем, например, нужно знать, как размещается структура данных, если завтрашняя версия gcc опять всё переделает? Виндовые приложения хакать? Да кому она нужна со своими приложениями, эта Windows? :-)

Это не парадокс, а как раз таки следствие открытости, хекс редакторы и другой обратноинженерный софт вотчина проприетарного окружения с закрытыми бинарными форматами и системами. Там где все открыто, форматы описаны, а исходный текс может получить каждый все это особо не нужно, разве что в целях изучения обратной стороны луны.

… разве что в целях изучения обратной стороны луны.

Это да.
Обобщим

Много чего в этом мире многим НЕ НУЖНО.  
И ...

Ну, мне вот для отработки системы, крутящейся под Линуксом, нужно было аккуратно испортить sqlite базу, чтобы проверить отказоустойчивость и обработку ошибок. Именно аккуратно, 1-2 записи или индекса в гигабайтном файле. И хрен я что смог найти, кроме 010.

ОП, крякай 010 и пользуйся, чо как маленький. А «хакиры-линуксоеды» будут в 100500-й раз переписывать Октету с QT на QT<n+1>, вместо добавления функциональности.

Ну вот зачем, например, нужно знать, как размещается структура данных, если завтрашняя версия gcc опять всё переделает? Виндовые приложения хакать? Да кому она нужна со своими приложениями, эта Windows? :-)

HEX-редактор очень редко используется для анализа исполняемых файлов. Им исследуют бинарные данные. И этих файлов в тех же прикладных приложениях Linux полно. А иногда кстати намного проще посомтреть в HEX-редакторе на какой-то файл, поменять в нём какие-то байты и сразу понять как это работает, чем тратить кучу времени на выискивание нужного куска кода в исходниках, разбираясь как этот говнокод работает.

Это не парадокс, а как раз таки следствие открытости, хекс редакторы и другой обратноинженерный софт вотчина проприетарного окружения с закрытыми бинарными форматами и системами. Там где все открыто, форматы описаны, а исходный текс может получить каждый все это особо не нужно, разве что в целях изучения обратной стороны луны.

Это самое глупое, нелепое и смешное оправдание ущербности прикладных HEX-редакторов для Linux, учитывая постоянный процесс работы Linux-разработчиков над реверс-инжинирингом различных blob’ов и написанием их открытых реализаций, будь то драйвера очередной видеокарты или WiFi-модуля или движок/asset’ы любимой проприетарной игры.

ImHex видел? https://github.com/WerWolv/ImHex

Или Hobbits? https://github.com/Mahlet-Inc/hobbits

Но вообще да, инструменты уровня вылизанности hiew исключительно проприетарные, свободных юзабельных нет. Всё кривое и недопиленное.

tags: development

https://docs.python.org/3/library/struct.html наше всё!

hobbit:

О! Я тупой!

Есть же такой проект как Kaitai struct.

Сочетающий божественную идейную часть (человекочитаемый dsl на yaml) и совершенно ублюдочную неюзабельную реализацию, предполагающую либо пердолинг с ихним компилятором на жабе, либо пердолинг в браузере с web-IDE. В браузере ещё терпимо, но идеологически чуждо.

Я не знаю, кому можно это посоветовать, и зачем.

Я не знаю, кому можно это посоветовать, и зачем.

Например, тому, кто возьмётся написать юзабельную реализацию на любом угодном ему ЯП.

Ну и эта… Мне тоже не нравятся web-IDE, однако, это лучше, чем ничего. Ты волен этим не пользоваться.

Я к тому этому и пришел. Благо, лицензии для 010 кроссплатформены.

А в моем положении (работа с большим числом мелких бинарных файлов нескольких мультимедиа форматов), шаблоны+скрипты сабжа просто вне конкуренции. Особенно с учетом уже имеющихся на просторах Интернетах скриптов.

Это логичное положение дел в виду причин не нужности этого инструментария подавляющему большинству разработчиков открытого ПО. Реверсят ПО в окружении той операционной системы, для которой оно создавалось, особенно драйвера, так и проще и наглядней и проверяется любая гипотеза, реверсят драйвера обычно с оффтопика, так на кой черт этот нативный инструмент нужен, а на линуксе почти все открытый софт, вот когда надо будет реверсить нативный закрытый софт с линуска в виде каких-нибудь драйверов, тогда может и нужен будет тулчейн нативный для этого дела, хотя думаю даже тогда хватит уже того что есть сейчас, раньше и этого не было и справлялись.

Но по сравнению с тем что было хотя бы 15 лет назад, сейчас все очень хорошо с инструментами для обратной разработки для линукса, уже и иду портировали, и гидра есть и радар, все это дело можно скриптовать и дописывать 2 из 3. В общем-то все логично и прозрачно в этой ситуации. И не забываем про 1%, это не так много вообще.

учитывая постоянный процесс работы Linux-разработчиков над реверс-инжинирингом различных blob’ов и написанием их открытых реализаций, будь то драйвера очередной видеокарты или WiFi-модуля

Это уже давно никому не нужно: проще купить железку вменяемого разработчика, который сам занимается драйвером для Linux. Причём в kernel tree.

Кстати, совершенно случайно попалось https://ru.wikipedia.org/wiki/Beye (бывший biew). Можешь допилить.

Реверсят ПО в окружении той операционной системы, для которой оно создавалось, особенно драйвера, так и проще и наглядней и проверяется любая гипотеза, реверсят драйвера обычно с оффтопика

С чего бы это? Linux-разработчики реверсят блоб Nvidia или любимую проприетарную игру для создания свободного движка вроде fheroes2 там, где им максимально удобно и быстро проверить результат своей работы. И Linux-дистрибутивы подводят их только отсутствием вменяемых HEX-редакторов.

Это уже давно никому не нужно: проще купить железку вменяемого разработчика, который сам занимается драйвером для Linux. Причём в kernel tree.

Я понял твой посыл в стиле «не нужно мне, значит не нужно никому», но в корне с ним несогласен.

Я понял твой посыл в стиле «не нужно мне, значит не нужно никому»

Скорее не так. Кому надо, тот пусть и делает. Но тех, кому надо, всё меньше и меньше.

Так я уже пояснил с чего, и почему, начинать по второму разу? Чем реверсят блоб и в окружении чего мы с вами вроде как не знаем, не знаем мы этого так же и в разрезе истории этого дела начиная от начала, тут такое дело, знания полученные можно накапливать, и блоб скорее всего как и любой программный продукт не переписывается каждый раз с нуля. Держа в голове то, что написано выше переходим ко вторым героям, у нас есть контактное лицо на лоре у которого можно поинтересоваться какими инструментами и в каком окружении в данный момент производится обратная разработка если она еще вообще производится, т.к. герои2 очень популярная игра, львиную долю исследований и обратной разработки таких игр делают фанаты и они в основном все на оффтопике обитают + контактное лицо упоминало в темах тут на лоре что ребята подхватили эту разработку, т.е. опять же узнать у тех кто ее начинал каким инструментом и в каком окружении они этим занимались будет трудно, хотя может быть и нет. Вы не подумайте, я не против того чтобы появлялись новые инструменты, а старые становились лучше. Я просто обращаю ваше внимание на естественные и логичные факторы, которые тормозят это дело, а именно на то, что это очень узкая ниша специалистов, на том что экосистема свободного ПО потворствует «ненужности», ну или хотя бы не в первом порядке нужности этих инструментов своей открытостью.

Мне уже думается, что поставить в Wine нормальный HEX-редактор

WinHex так юзал. Правда я не хакер какой, просто бинарнички посмотреть, поискать, позаменять - работал стабильно. Исключая гномовские приключения с темами и белым текстом на белом фоне.

В Октета были какие-то проблемы с заменой, или увеличением файла после вставки, или может 2GB limit. Не помню уже что, лишь только то, что с порога не получилось сделать какое-то элементарное действие.

экосистема свободного ПО потворствует «ненужности», ну или хотя бы не в первом порядке нужности этих инструментов своей открытостью.

Экосистема свободного ПО потворствует ненужности самого ПО, ну или хотя бы не в первом порядке нужности этого самого ПО, поэтому программ тупо нет или есть куцые огрызки, а каждый второй обитатель этого сайта вопит, что никакое ПО НЕ НУЖНО, и можно сидеть в lynx’е без иксов, но это не Ъ-юникс вей, поэтому только sh, только хардкор и никаких башизмов.

современных примочек вроде мини-карты там нет

Господи, да что с вами не так?! Совершенно бесполезная мусорная фича.

Господи, да что с вами не так?! Совершенно бесполезная мусорная фича.

Нифига. Для анализа больших бинарных файлов это незаменимая вещь, экономящая уйму времени, а не очередная хипстерская приблуда, как ты уже успел подумать. Классическими scrollbar’ами и др. прокрутками через тот же PgUp/PgDwn границы различных данных выцепить сложно и долго по времени, собственно как и постоянное запоминание или сохранение их точных offset’ов тоже неудобно.

Более того, на основе подобных мини-карт созданы даже различные бинарные визуализаторы, позволяющие глазками видеть что и как именно хранится в сыром виде:

binwalk на стероидах? (комментарий)
https://0x0.st/-y5W.png

Этот инструмент серьёзно облегчает изучение структуры бинарных файлов.

писать программы тяжело, тем более за бесплатно :3 тем не менее, прогресс на лицо, наверное мы все застали те времена когда после установки онтопика его еще надо было обрабатывать напильником, когда каждое мажорное обновление системы что-нибудь ломало. Последние 10 лет, ничего подобного я не получаю в своем дебиане, обновляюсь 4 командами + замена названия одного релиза на другой в source файлах, единственно правило, не обновляться сразу на релизе, но это работает и для коммерческого ПО.

экосистема свободного ПО потворствует «ненужности», ну или хотя бы не в первом порядке нужности этих инструментов своей открытостью.

Я понял вашу точку зрения и даже частично могу с ней согласиться.

Однако, вы ищете оправдание проблем и откровенную убогость популярных HEX-редакторов доступных для Linux в мотивах СПО, но совершенно забываете о том, что кроме исполняемых файлов существуют ещё и файлы с данными. И зачастую проанализировать их в HEX-редакторе значительно быстрее и легче, чем проанализировать исходный код.

Я вот вижу корень проблемы Okteta и GHex в извечном противостоянии KDE и GNOME. Казалось бы, вот она, конкуренция, которая должна подстегнуть разработчиков сделать хороший, функциональный и постоянно развивающийся продукт, которым можно было бы пользоваться. Но нет, подобное почему-то не работает, а порождает какие-то студенческие поделки. И подобное не только с этими злополучными HEX-редакторами, но и с дргугими прикладными программами.

WinHex так юзал. Правда я не хакер какой, просто бинарнички посмотреть, поискать, позаменять - работал стабильно.

Я так понимаю, остальные HEX-редакторы, доступные в Linux-дистрибутивах тебя тоже не устроили?

В Октета были какие-то проблемы с заменой, или увеличением файла после вставки, или может 2GB limit. Не помню уже что, лишь только то, что с порога не получилось сделать какое-то элементарное действие.

Да, она жутко неудобная, особенно в массе различных мелочей.

срачи kde vs gnome не помогают улучшению hex редакторов в линукс - удивительна

да факторов много на самом деле, начиная от банальной лени и не заинтересованности людей делать что либо просто так за идею. Но и все вышесказанное тоже имеет место быть. В принципе инструментов то хватает, может быть не таких наглядных как проприетарные аналоги, но и с тем что есть работать можно. Это же вся суть СПО, гипотетический «я» по фану сделал что-то, закрыл свой гештальт и задачу или просто мне стало лениво дальше, выкинул в паблик, кому надо дорабатывайте, а не надо, да и пёс с ним, что-то выживает, что-то нет. У всего что каким-то образом получило коммерческую поддержку будучи СПО прогресс на лицо, получается не нашлось еще конторы, которой нужны хорошие реверс инструменты под онтоп и которые готовы вкладываться в это, чтобы поддерживать тех кто хочет и может заниматься этим.

Я так понимаю, остальные HEX-редакторы, доступные в Linux-дистрибутивах тебя тоже не устроили?

За все говорить не буду, но я искал и пробовал guiшные в репе федоры, ага.

Сейчас на системе winhex нет, на слуху только okteta (даже после этого треда), и вероятно, если мне внезапно понадобится - начну с её установки, держа в уме, что опять обломаюсь.

upd. А, ясно, обезличивание гномом прог дает о себе знать. Абстрактный «gnome hex editor» это и есть ghex.

Huge part of linux software doesn’t care about Gnome and KDE at all, either they happen to use gtk/qt or not.

Я вот вижу корень проблемы Okteta и GHex в извечном противостоянии KDE и GNOME.

Мне кажется, проблема в том, что энтузиазм рано или поздно заканчивается. А монетизировать специфический софт довольно сложно.

но мопед, честно предупреждаю, не мой, и я даже не катался.

Вот буквально сегодня возникла типовая задача для абсолютно любого уважающего себя HEX-редактора. Один нужный мне файлик был удалён в виртуальной машине по rm -Rf file, для того чтобы его восстановить проще всего было воспользоваться HEX-редактором, открыв образ диска виртуальной машины и применив к нему поиск (я помнил содержимое этого файла), чтобы вычленить нужные данные.

KDE-поделка Okteta и GHex на этой типовой задаче ожидаемо поели говна с лопаты, так как размер анализируемого файла составляет 3.5 GB. Решил воспользоваться QHexEdit, который ты посоветовал. К счастью там есть поиск, через который мне удалось найти нужный мне файл. Но этот чёртов обрубок не может его нормально вычленить! Что за бред вообще… В меню «Edit» есть какая-то функция «Save Selection Readable…», но она не делает то что мне нужно, а работает тупо как hexdump -C! Ок, думаю сейчас сделаю Ctrl+C на выбранном куске данных, потом в новый пустой файл через QHexEdit вставлю. Но этот чёртов обрубок не умеет вообще создавать файлы! В меню «File» есть только «Open», но нет «New»! Как это вообще понимать?! Ладно, пытаюсь извернуться, создаю рядом по touch file пустой файл, открываю его во втором окне QHexEdit (у него даже вкладок нет!), в первом окне делаю Ctrl+C, во втором Ctrl+V и… ничего! Тишина. Этот обрубок тупо не работает со вставкой из буфера обмена.

Какой к чёрту QHexEdit тогда? Зачем они его так назвали? Это просто QHexView, не более. Да, он умеет открывать и смотреть большие файлы, но не умеет адекватно с ними работать, сохранять их части и прочее.

Ладно, делаю Ctrl+C в этом QHexEdit, открываю KDE’шную поделку Okteta, создаю там новый файл, жму Ctrl+V и… вставляется какая-то дичь, видимо форматы буфера обмена у этих разных программ не совпадают.

Думаю к чёрту эту хрень, открываю в браузере https://hexed.it/, открываю там 3.5 GB файл образа диска, нажимаю Ctrl+F ищу нужную строку, выделяю нормальным выделением (а не угрёбищным как в Okteta или QHexEdit) кусок сырых данных, который представляет собой искомый файл, выбираю «Export selected bytes to file» и… всё! На все эти действия ушла примерно минута! А с теми HEX-редакторами доступными под Linux проковырялся минут 10 и так и не смог сделать элементарнейшую вещь.

В общем, в /dev/null все эти прикладные и нативные программные обрубыши для Linux. Похоже что мир на Electron’е и Web-приложениях имеет неплохой шанс победить все подобные поделки.

Мне непонятно, зачем для этого надо призывать «мир на Electron’е и Web-приложениях», и почему нельзя сесть и нормально сделать на нативных техноогиях.

Вот буквально сегодня возникла типовая задача для абсолютно любого уважающего себя HEX-редактора.

На форуме преподов много.
Дали бы задание студентам что-ли? …
Не говорю о продвинутом hex редакторе, но хотя бы основной функционал удобный был …

https://imhex.werwolv.net/ сам я его не пробовал, но картинки и описанная функциональность вроде не так уж и плохи, боюсь только что как и все остальное он сырой и падучий. Просто ради эксперимента, попробуйте проделать все тоже самое в нем, а потом расскажите, ок?

… что как и все остальное он сырой и падучий.

Нормально!
Бесплатный? …

да, вроде пока бесплатный исходники на гитхабе

да, вроде пока бесплатный исходники на гитхабе

ImHex is a modern Hex Eeditor and Reverse Engineering Tool written in pure C++20 using GLFW and Dear ImGui.

Бесполезная работа, на Electron проще.

Просто ради эксперимента, попробуйте проделать все тоже самое в нем, а потом расскажите, ок?

У меня к сожалению не так много времени уже, но если будет возможность, проверю. Пугает использование ImGUI в качестве графического тулкита в нём, мне бы хотелось нативного решения на Qt или GTK+, но похоже что адекватных HEX-редакторов на них попросту нет, хоть садись и сам пиши.

да, вроде пока бесплатный исходники на гитхабе

Попробовал на Windows.
Одно окошко, выходишь на какие-нибудь пункты меню оно есть, но пустое …
Конвертер систем счислений слабенький, …
Но разработчику видно эта тема нравится так что ждем новых релизов …
На самом деле такого рода редакторов много, но базовый функционал обычно слабенький.
То бишь в лучшем случае какие-то байтики можно поменять, а использование блоков …, …, … как правило или нет или не удобно …

ну тут хотя бы вроде по картиночкам можно уже не только посмотреть, но и что-то подправить, что-то промаркировать, дизассемблер вон присобачили, граф структур данных, главное можно создать файл бинарный и можно сохранить, учитывая ту стену плача на которую я отвечал изначально, тут уже даже чего-то можно сделать. А так, ждем этих самых релизов. Меня больше интересует сможет ли он не захлебнуться на крупных файлах не схлопнувшись и насколько это будет юзабельно, а то там на каком-то из скриншотов снизу есть строка состояния где написано 4 fps :]

Ну вот автор видимо решил сесть и написать, на долго ли его хватит, за то с++20 пур )

Я вот тоже задаюсь этим вопросом. Что есть Electron? Грубо говоря:

• JS
• нестандартные widgets, layout

Использовать GTK можно хоть на промышленном ADA, хоть на народном JS. Неужели так нужна эта свобода расположения этих кастомных виджетов.

Пугает использование ImGUI в качестве графического тулкита в нём, мне бы хотелось нативного решения

Так она ж на плюсах компилируется в мегабайт-другой. Да и GTK4 использует OpenGL. Так что ImGUI практически нативный. Не сравнить же с JS в Electron на почти сотню мегабайт.

А что нужно от HEX редактора? Для меня фича «открыть файл любого размера и не выжрать всю память» это must have и не обсуждается.

А дальше что? (а, только прочитал пост ТС, скриптовый язык… Kaitai Struct в голову лезет, но редакторов каких… хз) У меня достаточно простой список:

1. поиск по hex pattern
2. отредактировать в hex
3. переходы по смещению, по абсолютному адресу. Желательно, но не обязательно: при переходе иметь возможность выполнять примитивные вычисления

Ещё, я очень предубеждённо отношусь к hex редакторам с GUI. Поэтому по запросам выше, мне хватает:

1. внезапно: mcview - 90%
2. остальные 10% как-то размазаны раньше был biew/beye, но развитие всё и падуч, как одноногий стул. Сюда же остальные тулы, включая okteta, hexdump, xxd и т.п.

Сейчас стоят, но активно не пользовался:

1. dhex - TUI/ncurses, по первым ощущениям может всё, что mcview плюс немного дополнительных плюшек для анализа: 8 гиговый файл открыл моментом, в конец прыгнул тоже моментом.
2. bless - GUI/gtk, удобно, что сразу представляет последовательности под курсором в числа разных типов: 8 гиговый файл открыл моментом, в конец прыгнул тоже моментом.
3. hexyl - TUI, по мне, так больше игрушка.

PS к слову, ещё программерские калькуляторы, тут, меня, как ненавистника Гнома, покорил и не даёт спрыгнуть никуда более gnome-calculator. Чего стоит только битмаску натыкать и использовать выращения при расчётах…

PPS а ещё диффалки: я пока пользуюсь только vbindiff. В AUR есть ещё hexdiff, hexcompare, но не тыкал.

При этом функциональность того же 010 Editor для рядового пользователя избыточна, а той же Okteta – недостаточна

hexdump, xxd, hexyl и магия консоли? :)

Тут вопрос - шашечки или ехать.

Если честно, мне, как человеку заставшего 90-е в более-менее сознательном возрасте, особенно насмотревшегося на свистоперделки и «скины» на приложухах в Windows 9x, вообще непонятен этот плач по unify look and feel.

Да вы даже сейчас специализированный софт, под той же виндой, запустите: AutoCAD, Photosop, DarkTable, Altium Designer - всё выделяется. Да, тёмные темы. Но сейчас это такой же тренд как обязательность скинов и прозрачности в 90е. А если взять ещё нативные приложения в винде и на WinForms (или как они там, которые через магазин ставятся), то тут вообще разброд и шатание.