Кракозябры при парсинге HTML на MacOS X

0

2

from lxml.html import html5parser, tostring
import lxml.html

youtubeSearchUrl = "https://www.youtube.com/results?search_query=timati"
el = lxml.html.fromstring(
    tostring(html5parser.parse(youtubeSearchUrl)))

for link in el.cssselect("ol.item-section li a.yt-uix-tile-link"):
   print(link.text)

Собственно, сниппет выше. Работает как надо в Debian 7 - кириллицу выводи правильно. На Маке, однако, показывает ерунду

Debian 8.5
Python 3.4.2 (из репозиториев)
lxml 3.4.0 (из репозиториев)

$> python3 test.py
Тимати feat. Егор Крид - Где ты, где я (премьера клипа, 2016)
TimatiOfficial
Beliebte Videos – Timati
Timati & La La Land feat. Timbaland & Grooya - Not All About The Money (Official Video HD)
Саша Чест feat Timati - Best friend Putin [ Russian Rap ; русский Рэп ; Rap Ruso ; Russischer Rap]
Тимати feat. Григорий Лепс - Дай мне уйти (премьера, 2016)
Тимати - Ключи от рая (премьера клипа, 2016)
TIMATI OFICIAL PLAYLIST - Тимати  MiX 2016
Timati & P. Diddy, DJ Antoine, Dirty Money - I'm On You (DJ Antoine vs Mad Mark RMX) Official Video
DJ Antoine & Timati feat. Grigory Leps - London (Official Video HD)
Саша Чест feat. Тимати - Лучший друг (Премьера клипа, 2015)
DJ Antoine vs Timati feat. Kalenna - Welcome to St. Tropez (DJ Antoine vs Mad Mark Remix) [Lyrics]
Timati feat. Flo Rida - I Don't Mind ( Official video, HD )
Russian rap Timati
Тимати - Понты (Премьера клипа)
Timati feat. Craig David - Sex In The Bathroom (Official Video HD)
Тимати feat. Павел Мурашов - Олимп (премьера клипа, 2016)
Тимати feat. Рекорд Оркестр - Баклажан (Лада Седан)
#ДАВАЙДОСВИДАНИЯ (OFFICIAL VIDEO)
Groove on - Timati ft. Snoop Dogg on PokerStars.com

Mac OS X 10.10.5
Python 3.6.1 (из brew)
lxml 3.7.3 (из pip)

$> python3 test.py
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ feat. Ð•Ð³Ð¾Ñ€ ÐšÑ€Ð¸Ð´ - Ð“Ð´Ðµ Ñ‚Ñ‹, Ð³Ð´Ðµ Ñ� (Ð¿Ñ€ÐµÐ¼ÑŒÐµÑ€Ð° ÐºÐ»Ð¸Ð¿Ð°, 2016)
TimatiOfficial
Beliebte Videos â€“ Timati
Timati & La La Land feat. Timbaland & Grooya - Not All About The Money (Official Video HD)
Ð¡Ð°ÑˆÐ° Ð§ÐµÑ�Ñ‚ feat Timati - Best friend Putin [ Russian Rap ; Ñ€ÑƒÑ�Ñ�ÐºÐ¸Ð¹ Ð Ñ�Ð¿ ; Rap Ruso ; Russischer Rap]
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ feat. Ð“Ñ€Ð¸Ð³Ð¾Ñ€Ð¸Ð¹ Ð›ÐµÐ¿Ñ� - Ð”Ð°Ð¹ Ð¼Ð½Ðµ ÑƒÐ¹Ñ‚Ð¸ (Ð¿Ñ€ÐµÐ¼ÑŒÐµÑ€Ð°, 2016)
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ - ÐšÐ»ÑŽÑ‡Ð¸ Ð¾Ñ‚ Ñ€Ð°Ñ� (Ð¿Ñ€ÐµÐ¼ÑŒÐµÑ€Ð° ÐºÐ»Ð¸Ð¿Ð°, 2016)
TIMATI OFICIAL PLAYLIST - Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸  MiX 2016
Timati & P. Diddy, DJ Antoine, Dirty Money - I'm On You (DJ Antoine vs Mad Mark RMX) Official Video
DJ Antoine & Timati feat. Grigory Leps - London (Official Video HD)
Ð¡Ð°ÑˆÐ° Ð§ÐµÑ�Ñ‚ feat. Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ - Ð›ÑƒÑ‡ÑˆÐ¸Ð¹ Ð´Ñ€ÑƒÐ³ (ÐŸÑ€ÐµÐ¼ÑŒÐµÑ€Ð° ÐºÐ»Ð¸Ð¿Ð°, 2015)
DJ Antoine vs Timati feat. Kalenna - Welcome to St. Tropez (DJ Antoine vs Mad Mark Remix) [Lyrics]
Timati feat. Flo Rida - I Don't Mind ( Official video, HD )
Russian rap Timati
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ - ÐŸÐ¾Ð½Ñ‚Ñ‹ (ÐŸÑ€ÐµÐ¼ÑŒÐµÑ€Ð° ÐºÐ»Ð¸Ð¿Ð°)
Timati feat. Craig David - Sex In The Bathroom (Official Video HD)
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ feat. ÐŸÐ°Ð²ÐµÐ» ÐœÑƒÑ€Ð°ÑˆÐ¾Ð² - ÐžÐ»Ð¸Ð¼Ð¿ (Ð¿Ñ€ÐµÐ¼ÑŒÐµÑ€Ð° ÐºÐ»Ð¸Ð¿Ð°, 2016)
Ð¢Ð¸Ð¼Ð°Ñ‚Ð¸ feat. Ð ÐµÐºÐ¾Ñ€Ð´ ÐžÑ€ÐºÐµÑ�Ñ‚Ñ€ - Ð‘Ð°ÐºÐ»Ð°Ð¶Ð°Ð½ (Ð›Ð°Ð´Ð° Ð¡ÐµÐ´Ð°Ð½)
#Ð”Ð�Ð’Ð�Ð™Ð”ÐžÐ¡Ð’Ð˜Ð”Ð�Ð�Ð˜Ð¯ (OFFICIAL VIDEO)
Groove on - Timati ft. Snoop Dogg on PokerStars.com

1. Почему?

2. И как быть?

Ссылка

В дебиане какая кодировка по умолчанию?

bookman900 ★★★★★
(21.04.17 12:51:05 MSK)

Ответ на: комментарий от bookman900 21.04.17 12:51:05 MSK

Debian:

$> locale charmap
UTF-8
$> echo $LANG
en_US.UTF-8

Mac:

locale charmap
UTF-8

$> echo $LANG

BobiKK ★
(21.04.17 13:03:03 MSK) автор топика

Ответ на: комментарий от BobiKK 21.04.17 13:03:03 MSK

надо же смотреть не только в консолько, но в питоне (getdefaultlocale) - а то не факт что подхватывает

anonymous
(21.04.17 13:31:27 MSK)

Ответ на: комментарий от anonymous 21.04.17 13:31:27 MSK

И действительно, по дефолту не подхватывает:

import locale
print(locale.getdefaultlocale())

$> python3 test.py 
Traceback (most recent call last):
  File "test.py", line 5, in <module>
    print(locale.getdefaultlocale())
  File "/usr/local/Cellar/python3/3.6.1/Frameworks/Python.framework/Versions/3.6/lib/python3.6/locale.py", line 562, in getdefaultlocale
    return _parse_localename(localename)
  File "/usr/local/Cellar/python3/3.6.1/Frameworks/Python.framework/Versions/3.6/lib/python3.6/locale.py", line 490, in _parse_localename
    raise ValueError('unknown locale: %s' % localename)
ValueError: unknown locale: UTF-8

Выставляю LC_ALL и LANG, getdefaultlocale() возрвщает теперь ('en_US', 'UTF-8'), но с кракозябрами не помогает - все равно печатает фигню.

BobiKK ★
(21.04.17 14:16:26 MSK) автор топика

Похожие темы