Andrey Drozdowsky - 2

[ys.algorithms, 2015-04-14 21:07:13]

Это ты куда-то не туда прислал

Родион

[shad.python, 2015-04-25 14:30:40]

Небольшие замечания.

--
Григорий Носырев

https://codereview.appspot.com/230760043/diff/1/text_generator.py
File text_generator.py (right):

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode1
text_generator.py:1: import codecs
нет докстрингов

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode112
text_generator.py:112: INPUT_FILE = 'input.txt'
вот так хардкодить имена файлов не очень хорошо. Лучше читать со стандартного
ввода и писать в стандартный вывод, чем вот так задавать их константами.

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode115
text_generator.py:115: LETTER_SEQUENCE_REGEXP =
'[A-Za-zйцукенгшщзхъфывапролджэёячсмитьбю'\
1 зачем тут регулярки?
2 для русского точно так же можно задавать буквы диапазоном а-яА-Я
3 в регулярках есть ключ \w
4 строки должны быть юникодные

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode148
text_generator.py:148: def tokenize(text, numbers=False, punctuation=False,
other_symbols=False):
токенизировать лучше всё целиком, а потом, в отдельной функции можно будет и
отфильтровать

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode184
text_generator.py:184: if sequence not in frequencies:
для этого удобно использовать collections.defaultdict

[tagrimar, 2015-05-18 22:00:11]

https://codereview.appspot.com/230760043/diff/1/text_generator.py
File text_generator.py (right):

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode1
text_generator.py:1: import codecs
On 2015/04/25 14:30:40, shad.python wrote:
> нет докстрингов

Done.

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode112
text_generator.py:112: INPUT_FILE = 'input.txt'
On 2015/04/25 14:30:40, shad.python wrote:
> вот так хардкодить имена файлов не очень хорошо. Лучше читать со стандартного
> ввода и писать в стандартный вывод, чем вот так задавать их константами.

Done.

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode115
text_generator.py:115: LETTER_SEQUENCE_REGEXP =
'[A-Za-zйцукенгшщзхъфывапролджэёячсмитьбю'\
On 2015/04/25 14:30:40, shad.python wrote:
> 1 зачем тут регулярки?
> 2 для русского точно так же можно задавать буквы диапазоном а-яА-Я
> 3 в регулярках есть ключ \w
> 4 строки должны быть юникодные 

1 Так удобнее разбивать строку на токены
2 Там проблемы с ё, и даже а-яА-ЯёЁ работает хуже, чем данная длинная регулярка
=)
3 Мне же нужно отдельны числовые, отдельно буквенные значения
4 Так я ж с ними и работаю?

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode148
text_generator.py:148: def tokenize(text, numbers=False, punctuation=False,
other_symbols=False):
На самом деле намного удобнее сразу же нужные виды токенов. Но я сделал отдельно
функцию, которая находит все токены соответствующие набору регулярок и отдельно
функцию фильтрации. По смыслу практически то, что и надо, а в плане написания
короче и проще.

https://codereview.appspot.com/230760043/diff/1/text_generator.py#newcode184
text_generator.py:184: if sequence not in frequencies:
On 2015/04/25 14:30:40, shad.python wrote:
> для этого удобно использовать collections.defaultdict

Done.

[shad.python, 2015-05-19 11:56:19]

Да, можно и с регулярками, конечно, но там часто бывает важно не забывать про
флаг re.U, думаю, из за этого \w и работал не правильно.
Домашку засчитываю.

--
Григорий Носырев

https://codereview.appspot.com/230760043/diff/40001/text_generator.py
File text_generator.py (right):

https://codereview.appspot.com/230760043/diff/40001/text_generator.py#newcode188
text_generator.py:188: tokens = re.findall(filter, text)
когда работаем с регулярками и юникодом нужно ещё указывать флаг re.U при работе
с ними, чтобы не было разных хитрых проблем с матчингом юникодных символов.

https://codereview.appspot.com/230760043/diff/40001/text_generator.py#newcode375
text_generator.py:375: sys.stdin = io.TextIOWrapper(sys.stdin.buffer,
encoding='utf-8')
переопределять системные переменные не очень хорошо, лучше было сделать просто
inp = ..., out = ... и передавать дальше их.