LINUX.ORG.RU
ФорумTalks

[вброс][корпорация добра]Google Chrome отправляет контент страниц в индекс?

 ,


0

1
Я обещал рассказать историю о запрете Google Chrome в нашей организации еще в треде про SMS - выполняю обещание.

Итак, жил-был сайт. Часть его страниц была закрытой админской зоной. Причем закрыта была не в robots.txt (а зачем?), а на уровне доступа "white list" - то есть зайти туда можно было только с офисных IP самой компании.

И как же было удивительно видеть часть этих страниц в выдаче Гугла, причем, (вот это уже За Гранью Добра) не только страниц, но и сниппетов и сохраненной копии.

В общем расследование показало:
- Робот Гугла, естественно, туда зайти не мог - получал 500-ю ошибку.
- Но - была куча заходов с реферером от офисного Google Chrome, причем даже от тех людей, вход которых не был предусмотрен служебными обязанностями.
- Анализ трафика показывает, что Хром не просто отправляет URL посещенных пользователем страниц, но и их содержимое (!). Вот откуда и сниппеты, и сохраненная копия.

Как результат:
- Ну в общем я понимаю, что персональные данные всем безразличны, но тут уже речь идет о корпоративной информации в публичном доступе. Неужели и ей готовы делиться с Империей Добра?
- Google Chrome в нашей организации объявлен Spyware и запрещен.

Первая мысль естественно была пойти в суд, но увы - я не в России, и у нас нет такого вкусного закона о персональной информации. Но мы размышляем над этим.

PS: Нотариально Заверенные Скриншоты и логи естественно есть, в паблик не могу выложить -  не хочу светить компанию. Но Юре покажу по его просьбе.
PPS: Кстати, и robots.txt Гугль не соблюдает - прямо закрытые им страницы все равно будут в выдаче как найденные (по ссылке? Нет таких ссылок!), но уже без сниппета и сохраненной копии (и на том спасибо!) Примеры опять же есть.

-----------
Комментарий Roem.ru: всё-таки вспомним случай с вики "Яндекса" - закрытый раздел оказался публичным и попал в кэш и снипеты Google. Не могло ли быть такого?

И, пожалуйста, покажите скриншоты-логи на sinodov@roem.ru, я хотя бы в комментариях подтвержу, что что-то странное происходило.
Автор мне показал. Признавая справедливость множества вышенаписанных доводов, нельзя не сказать, что и его история с конкретными примерами выглядит впечатляюще (разумеется, он и сам признает, что доказать, что каталоги какое-то время не были открыты - невозможно) 

Ссылки на страницы из каталога закрытого для индексирования - тоже понравились 

Остальное автор расскажет сам, если захочет.

http://roem.ru/2011/07/29/addednews32694/



Последнее исправление: Panic_At_The_Kernel (всего исправлений: 1)
Ответ на: комментарий от ciiccii

Вообще хрен знает, конечно. Но пруфов нет, поэтому нафиг. «Не хочу светить компанию», а боже ж ты мой, какая скромность.

thesis ★★★★★
()

Врет.
Это невозможно.
И robots.txt не поставили даже для страховки - ССЗБ, только таким на безопасность и ругаться, ага

stevejobs ★★★★☆
()
Ответ на: комментарий от ciiccii

Ни у кого кроме тебя такой баги не было. У меня точно не было.

Даже по этому поводу есть вполне легальные ситуации. Если у тебя стоят плагины, которые кэшируют сайты или фигачат их в speed dial, или добавляют в собственные закладки - ССЗБ, они так и должны работать.

У Оперы раньше была такая фича - она закачивала файлы ДО того как ты согласишься с этим, сама обновляла страницы раз в пару минут, и внимание - не отпускала эти страницы некоторое время, чтобы если ты вдруг решишь открыть ее снова, открытие произошло бы мгновенно. Может, она и сейчас так делает, не пользуюсь. Почему бы и Хрому не взять эту особенность на вооружение?

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

> Это невозможно

гуглозонд уже сегодня отправляет адреса для проверки, введенные символы для поиска, закладки, пароли, расширения, введенные в форму данные для синхронизации, аудио для распознавания

wxw ★★★★★
()
Ответ на: комментарий от wxw

1) ты сам согласился со всем этим явным образом, верно? Выключи синхронизацию, отключи в настройках живой поиск, разлогинься из Gmail

2) вся эта информация остается приватной. Твои закладки и пароли никогда не появятся на публичных страницах гугла.

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

url'ы и статистику по кликам он отправляет, то почему не может отправлять страницы целиком? у нас в организации хром тоже одно время был запрещен, а это не с проста

Reset ★★★★★
()
Ответ на: комментарий от Reset

то почему не может отправлять страницы целиком?

потому что на них может быть приватная информация, и после суда гуглу придется отдать всю нефть?

stevejobs ★★★★☆
()

Не хочет светить компанию - пусть сделает публичный сайт и покажет уязвимость.

abraziv_whiskey ★★★★★
()
Ответ на: комментарий от stevejobs

емнип в eula хрома довольно арабские пункты о том, что все личное, просматриваемое хромом - становится собственностью корпорации добра.

pekmop1024 ★★★★★
()
Ответ на: комментарий от stevejobs

«Первая мысль естественно была пойти в суд, но увы - я не в России, и у нас нет такого вкусного закона о персональной информации.»

могу предположить, что хром это делает в зависимости от того в какой стране он находится

Reset ★★★★★
()
Ответ на: комментарий от pekmop1024

емнип в eula хрома довольно арабские пункты о том, что все личное, просматриваемое хромом - становится собственностью корпорации добра.

8.4. Компания Google подтверждает и соглашается с тем, что не получает от Вас (или Ваших лицензиаров) никаких прав, в том числе прав собственности и имущественных прав, в соответствии с настоящими Условиями на какое-либо Содержание, которое Вы отправляете, публикуете, передаете или размещаете для показа в Услугах или с их помощью, включая права на интеллектуальную собственность в отношении этого Содержания (независимо от того, зарегистрированы эти права или нет, а также от того, в каких странах они приняты). Если с компанией Google не было иной письменной договоренности, Вы соглашаетесь с тем, что несете ответственность за охрану этих прав и обеспечение их соблюдения и что компания Google не берет на себя никаких обязательств выполнять от Вашего имени необходимые для этого действия.

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

Раньше у них был пункт о передачи прав. После скандала они его убрали.

Reset ★★★★★
()
Ответ на: комментарий от stevejobs

Пофиксили видимо, я это читал еще во времена 3-4 версии.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

+

10.1. Вы сохраняете авторские (и любые другие принадлежащие Вам) права на Содержание, которое Вы передаете, публикуете и отображаете с помощью Услуг.

stevejobs ★★★★☆
()
Ответ на: комментарий от ciiccii

выжимная муфта?

http://en.wikipedia.org/wiki/WebSockets

WebSocket is a technology providing for bi-directional, full-duplex communications channels, over a single Transmission Control Protocol (TCP) socket. It is designed to be implemented in web browsers and web servers, but it can be used by any client or server application. The WebSocket API is being standardized by the W3C, and the WebSocket protocol is being standardized by the IETF. Because ordinary TCP connections to ports other than 80 are frequently blocked by administrators outside of home environments, it can be used as a way to overcome these restrictions and provide similar functionality with some additional protocol overhead while multiplexing several WebSocket services over a single TCP port.

WebSocket - технология, предоставляющая двунаправленные полнодуплексные каналы коммуникаци, работающие через единый сокет TCP. Эта технология разработана для того, чтобы быть реализоавнной в веб-браузерах и веб-серверах, но может использоваться любым клиентом или серверным приложением. WebSocket API было стандартизовано W3C, а WebSocket Protocol был стандартизован IETF. Поскольку обычные соединения TCP на порты, отличные от 80 часто блокируются администраторами вне домашней сети, это может быть использовано в качестве способа преодаления подобных ограничений и предоставления похожей функциональности, но с некоторым дополнительным оверхедом на мультиплексировании нескольких сервисов с WebSocket через единый порт TCP.

stevejobs ★★★★☆
()

У нас похожая фигня была: некоторые странички из внутренней wiki попавил в выхлоп гуглопоиска. Решили, что с какой-то радости авторизация отвалилась, но с чего вдруг такая радость случилась - не нашли.

mv ★★★★★
()
Ответ на: комментарий от stevejobs

> И robots.txt не поставили даже для страховки - ССЗБ

Надеяться на то, что кто-то будет следовать правилам, которые легко можно игнорировать - это дебилизм. robots.txt годен только для, чтобы подсказать, что индексировать смысла нет.

только таким на безопасность

Люди, которые считают robots.txt способом ограничения доступа с целью обеспечения безопасности - ССЗБ. :-)

AS ★★★★★
()
Ответ на: комментарий от AS

Когда издатели новостей обвинили Гуголь, что в результаты поиска поиска попадают целиком статьи, «вы крадете наши новости!», _официальный_ ответ Гугля был такой: если вы не хотите, чтобы это прекратилось - «закройте через robots.txt весь ваш сайт целиком, чтобы его в нашем поиске больше не было».

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

спасибо за копипасту. я знаю, что такое веб-сокет.

ciiccii
()
Ответ на: комментарий от thesis

Но пруфов нет, поэтому нафиг

конечно проще зарыть голову в песок чем запустить tcpdump и посмотреть что к чему.

true_admin ★★★★★
()
Ответ на: комментарий от pi11

Это было после появления Хрома?

Да.

mv ★★★★★
()

Теперь понятно зачем они выпустили свой браузер.

TGZ ★★★★
()
Ответ на: комментарий от stevejobs

> «вы крадете наши новости!»,

Новости - это уже публичная информация. При чём тут конфиденциальность ?

AS ★★★★★
()
Ответ на: комментарий от true_admin

Запусти и смотри в него хоть всю жизнь.

thesis ★★★★★
()

Как хорошо, что я поделками Гугля не пользовался. Хотя ... один раз запустил Дебиановский хромиум - и выключил ... не понял - зачем он нужен с таким Майкрософто-подобным интерфейсом.

pacify ★★★★★
()
Ответ на: комментарий от stevejobs

>1) ты сам согласился со всем этим явным образом, верно?

Законы имеют приоритет на лицензиями

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от stevejobs

добавлено

договоры офереты так вообще через одного можно слать в жопу

DNA_Seq ★★☆☆☆
()

По ссылке задали хороший вопрос. Если Хром отправляет просматриваемые страницы, это должно генерировать большой исходящий трафик. Был ли он в логах?

Сколько автора темы не просили, он так и не дал прямого ответа.

question4 ★★★★★
()
Ответ на: комментарий от question4

Зачем отправлять страницу целиком? Если отправлять текст то траффик будет совсем небольшой. Можно вообще только индекс отправлять.

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от stevejobs

>У Оперы раньше была такая фича - она закачивала файлы ДО того как ты согласишься с этим

Для этого сначала надо клацнуть по файлу, так что незачёт. Ты просто так клацаешь на всё, что движется?

сама обновляла страницы раз в пару минут


Это включабельная опция, либо сайт сам делает.

Итого, ты тролль, лжец и девственник.

Deleted
()
Ответ на: комментарий от AS

Новости - это уже публичная информация. При чём тут конфиденциальность ?

Новость - статья, статья - ис авторов и газеты.

//К.О.

Dudraug ★★★★★
()

весь пост бред, кроме

PPS: Кстати, и robots.txt Гугль не соблюдает - прямо закрытые им страницы все равно будут в выдаче как найденные (по ссылке? Нет таких ссылок!), но уже без сниппета и сохраненной копии (и на том спасибо!) Примеры опять же есть.

xtraeft ★★☆☆
()

Надо же. Удалю ка я хром.

Legioner ★★★★★
()

Имеется альтернативные мнения. И мне кажутся они более правдоподобными.

мнение №1

Мне кажется, что проблема не в Хроме, а в анонимном админе.

Первое Если бы проблема действительно была в Хроме, то она была бы уже замечена раньше. По сути обвинение анонимного админа сенсационно. Если бы Хром был бы кем-то замечен в подобном, то об этом бы напечатали все газеты мира. Хром — популярный браузер. Им пользуются точно больше 15% юзеров по всему миру. Хромом пользуются и на работе, в том числе для интранета. Такая схема устройства сети, как описано анонимом, не такая уж редкая. Однако, только сейчас анонимный администратор анонимной компании обнаружил сенсационную «проблему хрома», причем никаких внятных, независимо проверяемых доказательств не привел. Экстраординарные заявления требуют экстраординарных доказательств.

Второе Проблема легко проверяется. Сделали тестовую сетку как написано анонимом, походили по ней Хромом, посмотрели на прокси что и куда он отсылает. Элементарно. Уверен, что никто ничего не найдет потому что Хром страницы не посылает. URL-ы может и посылает, но не содержимое. В нашей организации процентов 80 сотрудников на Хроме. Никто никакой интранет не проиндексировал.

Третье Зачем это Гуглу? Какая ему польза от индексации публично недоступных страниц? Юзеров раздражать? Скандал устроить? Зачем это анонимному админу? Понятно зачем — стрелки перевести. Он где-то ушами прохлопал, его интранет проиндексировали. Надо найти виноватого. Вот и нашел.

Документы в студию или это брехня.

мнение №2

Думаю, дело было так. Сетка была вообще открыта. Гуглбот ее проиндексировал. Они ее закрыли (стали выдавать 500), но Гугл такие страницы из кэша не удаляет. Он считает, что страница-то существует, но только пока недоступна потому что сервер сбоит. Если бы выдавали 40х, то Гугл бы быстро кэш почистил. А так они навверно месяц или больше в кэше сидели.

xscrew ★★
()
Ответ на: комментарий от xscrew

> альтернативные мнения

habrahabr


почему-то на 97% уверен, что эти «альтернативные мнения» отмазывают google, вне зависимости от сабжа

wxw ★★★★★
()
Ответ на: комментарий от wxw

>почему-то на 97% уверен, что эти «альтернативные мнения» отмазывают google, вне зависимости от сабжа

Ну а местные мнения про анальные зонды и большого брата. Сходу сразу.

Какая разница Хабра или не Хабра, ведь по делу разъяснили.

xscrew ★★
()
Ответ на: комментарий от xscrew

> Какая разница Хабра или не Хабра, ведь по делу разъяснили

статистика.

Ну а местные мнения про анальные зонды и большого брата. Сходу сразу


ну и это тоже, да. Здоровая паранойя - профессиональное.

Очевидно, создавать положительный образ компании - также часть профессии.

wxw ★★★★★
()
Ответ на: комментарий от wxw

>статистика.

По-моему у Вас обычная, для представителя, ЛОРа предвзятость к Хабре.

Люди отписали не домысли какие-то, а именно с технической точки зрения возможность промаха администратора.

Здоровая паранойя - профессиональное.

Если бы люди хоть немного разбирались, о чем говорят - было бы профессионально. Взяли бы снифером посмотрели бы что и куда летит от хрома, в каком количестве и объеме. Про анализ исходных кодов я уже молчу. Но нет, проще и быстрее руководствоваться «здоровой и профессиональной паранойей», нежели здравым смыслом.

xscrew ★★
()
Ответ на: комментарий от xscrew

> предвзятость к Хабре

Почему предвзятость? Самая обычная pr-площадка.
часто даже размещают заказы: «опубликовать пост на хабре c хорошей репутацией. 50$»

wxw ★★★★★
()
Ответ на: комментарий от DNA_Seq

> Зачем отправлять страницу целиком?

Затем, что в кэше Гугла она хранится в том же виде, в котором её отдаёт родной сервер. Со всем форматированием и скриптами. В первом сообщении указывалось, что страница была именно закеширована.

Да, можно применить шифрование и сжатие. Да, можно отправлять не каждую страницу, а каждую десятую, скажем. Да, не имеет смысла многократно отправлять страницу, которая не менялась. Но ничто не мешало этим админам создать тысячу новых локальных страниц большого объёма, позаходить на них все Хромом с локальной машины, а затем посмотреть трафик с этой машины за пределы локальной сети.

Думаю, отличить объём данных, требуемый для проверки на фишинг, от отправки страниц целиком они смогли бы. Но они этого даже не пытались проверять.

Если исходящий от Хрома трафик не шифруется, вообще может хватить прокси-сервера с кешом. Об этом — тоже ни слова.

Имхо, они были уверены в результате :) Они уже поняли, что их отдача 500 по IP работала с перебоями. Поэтому вынуждены лепить отмазки и поднимать панику.

question4 ★★★★★
()
Ответ на: комментарий от wxw

Самая обычная pr-площадка.

Если там это присутствует, а оно есть там не спорю, то не стоит считать, что контент хабры состоит из подобного на 100%. Там полно отличнейших статей. И отрицать это может только слейпой ЛОРовец. Вот простой пример Что-то здесь подобного не наблюдается.

xscrew ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.