LINUX.ORG.RU

Сообщения kovrik

 

Запуск perl-скрипта из сервлета

Форум — Web-development

Как запустить perl'овский скрипт из сервлета?
Делаю через:

Runtime.getRuntime().exec();
Указываю абсолютные пути к перлу и к скрипту - не запускается.
Хотя, например, `ls -l` выполняется.
В чем проблема? Не хватает прав? Не находит скрипт? Не находит перл?

 , ,

kovrik
()

Книги

Форум — Web-development

В последнее время по работе приходится писать различные парсеры, сборщики статистики и т.п. Собственно, заинтересовала данная тема.
Посоветуйте, пожалуйста, годной литературы на эту тему (на русском и на английском).
Пока что нашел книгу Mining the Social Web
Интересует именно data-mining аспект (т.е. эффективный сбор raw-data, анализ + визуализация), а не написание синтаксических анализаторов для ЯП. А если в книге будут практические примеры - это вообще будет замечательно!

PS: сорри, если тему не в том разделе создал

 data-mining,

kovrik
()

вопрос

Форум — Web-development

Есть такой html-код:

<div class="msg">
    <a href="#">Linus Torvalds</a>
    Hello, LOR!
</div>
Обрабатываю его перлом (Mechanize, HTML::TreeBuilder, HTML::TreeBuilder::XPath).
Как получить только текст сообщения (Hello, LOR!) ?
Если делать '//div[@class=«msg»]', то возвращает все содержимое div'а, а как игнорировать внутренние теги?

 ,

kovrik
()

[java] Доступ к сервлету

Форум — Web-development

Приложение состоит из сервлета и админки.
В сервлете есть HashMap, который заполняется при инициализации сервлета.
Как при определенных действиях в админке добавлять объекты в HashMap сервлета? Можно, конечно, сделать определенный запрос, на который сервлет вызовет метод обновления HashMap'а, но зачем обновлять весь HashMap, если надо добавить только 1 объект?
Можно передать объект в запросе к сервлету, подцепить параметры объекта из параметров и добавить в HashMap, но такой вариант мне кажется слишком уж костыльным...Как сделать проще?
Или сам факт постановки данной задачи уже говорит о кривой архитектуре?
Спасибо.

 

kovrik
()

[perl][bash] передача аргументов

Форум — Development

В программе на Perl забирается html-код страницы - и записывается в файл.
Плюс, есть еще bash-скрипт, который парсит html-файл. Делает он это через cat $1 и тд.
Из Perl скрипта вызывается $result = system('parse.sh «file.html»');

Все работает отлично для 1 файла. Но если дело доходит до оооочень большого кол-ва файлов, все работает в цикле - то процесс получается очень медленным, где-то 2 секунды на 1 файл.

Код страницы я забираю через WWW::Mechanize. Затем могу сделать $content = $mech->content();. В результате весь код страницы будет в переменной $content.
Как теперь вызвать bash-скрипт из Perl'овского и передать ему html-код?
Пробовал делать system('parse.sh «$content»');, а в parse.sh менять cat на echo «$1», не работает.

 ,

kovrik
()

Создание динамических html-форм

Форум — Web-development

Задача:
Создать html-форму, некоторые поля которой будут зависеть от других выбранных полей формы.
Т.е., допустим, выбрали в select'е значение 1 - появились такие-то поля с такими-то значениями, в появившемся select'е выбираем что-то - появляются еще какие-то поля. Затем, выбираем в первом селекте другое значение - ненужные поля исчезают, нужные - появляются.
Проблема в том, что форма достаточно сложная, если рисовать дерево вариантов, то получается довольно большим и запутанным.
Может есть какие-нибудь javascript-библиотеки для легкого и быстрого решения подобных задач?

kovrik
()

[google] Авторизация в скрипте

Форум — Web-development

Как авторизоваться в гуглосервисах из скрипта (bash / Perl)?
Например, если используется Перловский GET, то перед этим нужно как-то сформировать и отправить куку? Как?

 

kovrik
()

Топы Android Market'а

Форум — Web-development

Здравствуйте!
Как формируются топ чарты Android Market'а?
Дело в том, что я думал, что выдача зависит от страны (которая определяется по ip'шнику). Но, запустил парсер на локальной машине (географически - около МСК) и на рабочем сервере (географически - Санкт-Петербург) - и результаты не совпадают.
Т.е. на разных позициях - разные игры (хотя, некоторые, совпадают).
Думал, мало ли, ошибка в парсере или еще что.
Зашел по ssh на удаленный сервер, там выполнил `GET "https://market.android.com/details?id=apps_topselling_paid" > 1.html`, открыл страничку - парсер был прав, результаты другие.
Делаю whois на удаленный сервер - определяет страну как Россию, Питер, все правильо.
Почему тогда результаты разные?

kovrik
()

HTML-парсинг андроид-маркета

Форум — Web-development

Понадобилось парсить андроид-маркет.
Думаю, это будет скрипт на Perl'е.
Вопросы"

1. Гугл, как всегда, обфусцировал сырцы - там все в 1 строку. Как разбить строку и найти нужную инфу?
2. Гугл как-то отслеживает запросы? Если раз в день делать, то не забанят?

В частности, интересуют позиции игр в top-рейтингах. Например, позиция Angry Birds - такая-то.
Название игры == название пакета.
Позиция игры - <div class=«ordinal-value»>6</div>

Спасибо!

kovrik
()

[javascript] сортировка таблицы

Форум — Web-development

Здравствуйте.

Возникла задача: добавить возможность сортировки значений таблицы по столбцам (при нажатии на заголовок столбца).
Казалось бы, задача тривиальная, решается, например, с помощью http://datatables.net/
Но, есть одна проблема:
Сортируемая таблица - не простая таблица. В ней есть особенность - у некоторых рядов таблицы есть подмножества (которые показываются при нажатии на кнопку [V]).

Выглядит это все примерно так:

row_1               | value1 | value2 | ...
row_2 | value1 | value2 | ...
row_3 [V] | value1 | value2 | ...
|___sub_row_3_1 | value1 | value2 | ...
|___sub_row_3_1 | value1 | value2 | ...
row_4 [V] | value1 | value2 | ...


Так вот, проблема в том, что сортировать нужно только по основным строчкам, по подстрокам сортировать не нужно.
При этом, важно, что если при сортировке меняется положение строки в таблице, то подстроки «прилипали» бы к ней - т.е. всегда бы располагались ниже нее.

Как это лучше реализовать? Можно ли сделать это с DataTables?

 

kovrik
()

Лондонское Королевское Общество открывает архив

Форум — Talks

Лондонское королевское общество выложило в бесплатный открытый доступ весь свой архив журнала «Философских трудов Королевского общества», который выпускается с 1665 года.
Раньше доступ к онлайн архиву был платный. Теперь же, каждый может скачать любой выпуск в формате PDF и ознакомиться с трудами великих ученых, среди которых сэр Исаак Ньютон, Роберт Бойль, Роберт Гук, Кристофер Рен, Джон Флемстид и др.

Источник: http://www.isgtw.org/spotlight/royal-society-opens-permanently
Архив: http://rstl.royalsocietypublishing.org/content/by/year

PS: Меня, как фаната «Барочного цикла» Нила Стивенсона, данная новость обрадовала вдвойне.

kovrik
()

бесплатный шаблон для сайта с фотографиями

Форум — Web-development

Здравствуйте!
Посоветуйте какой-нибудь готовый шаблон для сайта с фотографиями?

Требования:
- бесплатный
- без флеша (желательно, только html + css + javascript)
- красивый, но минималистичный дизайн

В идеале: на главной странице есть горизонтальная полоса с thumbnail'ами фоток. Выбираешь фотку - в центре открывается полноразмерная версия + какое-нибудь описание фотографии. Слева и справа стрелки навигации (+ горизонтальная полоса с превьюшками).
Желательно, чтобы переход между фотографиями был плавный: нажал на стрелку вправо, текущая фотка проскользнула влево, вместо нее выехала новая.
Спасибо.

kovrik
()

[java] графика, тайлы

Форум — Development

Здравствуйте!
Суть:
Есть сетка размером n на m клеток. В определенных клетках требуется нарисовать определенные тайлы (jpg/png...).
1.Допустим, создаем класс Cell (клетка). Как лучше всего организовать массив данных - 2d массив / ArrayList<ArrayList<Cell>> / HashMap / еще как-нибудь?
Требования: чтобы работало быстро, чтобы легко можно было обращаться к элементам по 2м координатам (в идеале что-то вроде grid.get(1,2))

2. Посоветуйте движок/библиотеку/туториал по работе с тайловой графикой в java. Опять же, хотелось бы, чтобы все было максимально просто, без кучи лишнего кода, чтобы рисовало шустро и тд.

 

kovrik
()

хостинг для Opencart

Форум — Talks

Посоветуйте хостинг для opencart платформы.
В инете советуют domenam.ru - как оно?

kovrik
()

[разрыв шаблона] 1+2+3+4+...= -1/12

Форум — Talks

Нашел тут на вики статью:
http://en.wikipedia.org/wiki/1_+_2_+_3_+_4_+_…
Она вызвала у меня разрыв шаблона
Там говорится:

Although the full series may seem at first sight not to have any meaningful value, it can be manipulated to yield a number of mathematically interesting results, some of which have applications in other fields such as complex analysis, quantum field theory and string theory. For example, zeta function regularization gives the result

1+2+3+4+... = - 1/12

Да, я знаю, например, про ряд Гранди (1 - 1 + 1 - 1 + ...), сумма которого (в зависимости от способа вычисления) может быть и 0 и 1, и 1/2. Но, в случае ряда Гранди, в общем-то, можно понять, почему такие ответы получаются.
С Римановской дзета-функцией хоть и знаком, но довольно поверхностно. В литературе по ней встречаются странные и необычные результаты, но, опять же, они лишь кажутся такими.
Про вышеописанный результат ничего толкового нагуглить не удалось.
Почему так получается? Где-нибудь есть вывод данного результата?

 

kovrik
()

[java] servlet и url encoding

Форум — Development

Запущен сервлет. Ему делается запрос где один из параметров содержит символ % (не encoded-символ %25,а просто %).
При попытке сделать request.getParameter(«parameter») он возвращает null.
Если же передавать encoded-символ %25, то значение параметра забирает нормально.
Как сделать, чтобы он цеплял и без encoding'а?

 

kovrik
()

Tux на карте сбербанка

Форум — Talks

На сайте сбербанка сказано, что можно создать собственный дизайн карты.
Попробовал карту с изображением tux'а - прислали смс, что нужно изменить изображение, а на сайте сказали что запрещено использование изображений защищенных авторскими правами.

На сайте: http://www.isc.tamu.edu/~lewing/linux/ сказано:

Feel free to do whatever you see fit with the images, you are encouraged to integrate them into other designs that fit your need. Comments suggestions are also welcome, so please tell me what you think of these. I suggest that you look at some of the other images available with integrated text. ... Permission to use and/or modify this image is granted provided you acknowledge me lewing@isc.tamu.edu and The GIMP if someone asks.


Как быть?

kovrik
()

[java] снова memory leaks

Форум — Development

Здравствуйте!
Снова вопросы по memory leaks в java.
1. Смотрю графики в профилировщике YourKit - на что все-таки смотреть - на Old Gen, Survivor Space или Eden Space?

2. В приложении (запущен сервлет) используются static'и.
А точнее - static collections.

private static Map<String, MyClass> myclassMap;
Map заполняется при инициализации (порядка 1000 объектов класса MyClass). Плюс обновляется при очистке кеша. Я так понимаю, что раз map является static, то она делает static'ами все объекты, которые хранит?
Достаточно ли при обновлении будет сделать myclassMap = null ? Или делать myclassMap.clear()? Или пробегать по всей коллекции и каждый объект делать null?

Уточнение: Сейчас обновление статической hashmap делается так:
- myclassMap = null;
- создаем новую (не статическую) HashMap<String, MyClass> newMyClassMap = new HashMap<String, MyClass>();
- заполняем ее
- делаем myclassMap = newMyClassMap;
- newMyClassMap = null;

Как корректно очищать такие статические коллекции?

 

kovrik
()

[java][vim] настройка

Форум — Development

Здравствуйте!
Реально ли работать с java проектами в vim? Настраиваю тут его, поставил всякие omnicomplete, taglist, vjde и тд.
Пока что не очень радует autocomplete.
И такой вопрос: как импортировать в vim проект из netbeans?
Т.е. чтобы он он подцепил сам проект, плюс к нему импортировать вспомогательный проект (пакеты которого используются), плюс все зависимости? И можно ли потом будет а-ля Нетбинз - нажимаю, например, F5 - он собирает весь проект, запускает tomcat, и запускает мой проект?
И как с отладкой java-приложений в vim?

 ,

kovrik
()

[юристов-тред] вопрос

Форум — Talks

Здравстуйте!
Не силен в нашем законодательстве, поэтому такой вопрос:
есть студия, я заказываю у нее сайт, плачу деньги, студия все делает. У меня на руках работающий сайт.
Какие у меня права относительно этого сайта?
Допустим, я захотел потом сам что-то изменить - имею ли я право на полные исходники моего сайта?
Может ли студия ссылаться на коммерческую тайну и тому подобное, и не выдавать исходников?

kovrik
()

RSS подписка на новые темы