100 Гб литературы для частотного анализа русского языка

Я делал подобную штуку для поисковых запросов, там все интереснее и печальнее. Из библиотеки мошкова лучше отдельно проанализируй классиков и современных "авторов", и раздел "дамские романы". Будет интересно.

100 гигов тебе не нужно.

> 100 Гб мне явно не в жизни не выкачать.. А 10 Гб архивов мне кажется будет вполне достаточно..

То есть ты согласен потратить чуть более, чем десятую часть своей оставшейся жизни на выкачивание архивов? Мой тебе совет: переезжай в Москву. Или к Мише в Латвию.

Дело в том что, в то время как, несмотря на то, что с тех пор как, в то же время, до тех пор пока (в том числе , и в самом деле), одно и то же до сих пор не БАЯН!

> То есть ты согласен потратить чуть более, чем десятую часть своей оставшейся жизни на выкачивание архивов? Мой тебе совет: переезжай в Москву. Или к Мише в Латвию.

Да, 10 Гб выкачаем.. Даже если другого выхода не найдётся, за 2 месяца можно и из дома выкачать :-)

Нафига оно надо тебе? Ты лучше давай ТОП 1000 слов =)

>То есть ты согласен потратить чуть более, чем десятую часть своей >оставшейся жизни на выкачивание архивов? Мой тебе совет: переезжай в >Москву. Или к Мише в Латвию.

как-то натыкался на сервис, который за небольшие $ скачивает и рассылает файлы на dvd, так что необязательно

> Даже если другого выхода не найдётся, за 2 месяца можно и из дома выкачать :-)

Т.е. ты опасаешься, что 20 месяцев, которые заняло бы скавичание 100 ГБ, ты можешь не прожить?

Частотный анализ слов не так увлекателен. Если интересует, то загляните сюда:
http://www.artint.ru/projects/frqlist.asp

Мне интересен именно частотный анализ фраз...

> Т.е. ты опасаешься, что 20 месяцев, которые заняло бы скавичание 100 ГБ, ты можешь не прожить?

На 1,5 года у меня терпения точно не хватит ждать...

недавно еще гугл звастался несколько терабайтной базой словосочетаний из 5 слов...

Ой там зипы, лень качать диалапом. Сенкс за ссылки!

А ты не пробовал определить ВАЛЕНТНОСТЬ слов? Например с какими дополнениями сочетаются глаголы? Ответ предполагается получить в виде глагол = предлог+падеж, предлог+падеж и т.п. Например для тысячи самых частотных глаголов? Мне кажется, что где-то рядом лежит очень интересное лингвистическое открытие.

Для такого анализа тоже совершенно наверняка не достаточно проанализированного материала.
Я пробовал определить наиболее часто встречаемые словосочетания с конкретным словом.
Вот, например, двусловные сочетания, в которых вторым словом является "телевизор":
1) Смотрел телевизор (7 встреч в БД)
2) В телевизор (6 встреч)
3) И телевизор (4 встречи)
4) Цветной телевизор (2 встречи)

Всего 77 разных словосочетаний, но когда большинство из них встречаются по одному разу не о каких "наиболее часто встречающихся" фразах говорить не приходится...

О, надо же! Интересы объединяют...
Был очень приятно удивлён, увидев в вашем профиле URL на проект "Правда". Когда-то я переписывался по этому поводу с самим Дмитрием Анисимовым.
Расскажите, пожалуйста, развивается ли "Правда"?

100 Гб литературы, да примерно по мегабайту на книжку — это сто тысяч наименований книг. Меня терзают смутные сомнения, что в электронном виде на русском языке столько не найдется.

На litportal.ru 2,8 Гб zip архивов (15 Гб в html)..
Да, уж не плохо.. но всё равно маловато..

У нас некогда продавались три-четыре дивидишника с литературой (на каждом авторы на определённые несколько букв), так что я бы не побрезговал пробежаться по рынкам пиратских дисков.

>Вопрос в том где можно было бы набрать столько литературы на русском языке

кивипедию в .7z? или не наберётся объём?

> Был очень приятно удивлён, увидев в вашем профиле URL на проект "Правда". Когда-то я переписывался по этому поводу с самим Дмитрием Анисимовым. Расскажите, пожалуйста, развивается ли "Правда"?

Давай, пиши на prawda@newmail.ru . Димитрий Анисимов и Beria1937 - один персонаж. И не называй меня "самим" Дмитрием Анисимовым. Линукс - это коммунизм. А при коммунизме все равны. И я тоже :-)))

Мне пришлось сменить работу. По-этому проект развивается МЕДЛЕННО. Но про валентность я не зря спросил. Это то, что может дать большой шаг вперед. И все-таки задействовать для перевода что-то похожее на нейронные сети. Которые я отрицал все семь лет жизни проекта :-)))

на torrents.ru архив lib.aldebaran - 5.7Гб в fb2.zip
хз сколько это получается всего, но прилично )

Сочинения Ленина?

>Мне интересен именно частотный анализ фраз...

Вводишь в поиск "фразеологический словарь .zip" и скачиваешь архивированный "концентрат" типичных выражений русского языка.

ИЗВИНЯЮСЬ, ПЕРЕД МНОГЧИСЛЕННОЙ АУДИТОРИЕЙ LOR.
В мой скрипт закралась ошибка.. Из-за этого вообще говоря большая часть текстов вовсе не была учтена. И поэтому и скрипт слишком быстро отработал..
Запустил заново.. Потом сообщу о новых результатах...
Но пожалуй 5 Гб текстов всё же хватит с головой...

Интересная тема.
Я тоже переписывался с Димой и тоже пробовал анализировать библиотеку Мошкова.
Тебе на какую почту/jabber можно отписать?

> Тебе на какую почту/jabber можно отписать?

Я -- есть unDEFER на gmail.com и jabber.org