Da

✏️ Editing: charsetprober.cpython-39.pyc

������Re�����������������������@���s0���d�dl�Z�d�dlZddlmZ�G�dd��de�ZdS�)�����N����)�ProbingStatec�������������������@���sn���e�Zd�ZdZddd�Zdd��Zedd���Zd	d
��Zedd���Z	d
d��Z
edd���Zedd���Z
edd���ZdS�)�
CharSetProbergffffff�?Nc�����������������C���s���d�|�_�||�_t�t�|�_d�S��N)�_state�lang_filter�logging�	getLogger�__name__�logger)�selfr�����r
�����/builddir/build/BUILDROOT/alt-python39-pip-21.3.1-2.el8.x86_64/opt/alt/python39/lib/python3.9/site-packages/pip/_vendor/chardet/charsetprober.py�__init__'���s����zCharSetProber.__init__c�����������������C���s���t�j|�_d�S�r���)r����	DETECTINGr����r���r
���r
���r����reset,���s����zCharSetProber.resetc�����������������C���s���d�S�r���r
���r���r
���r
���r����charset_name/���s����zCharSetProber.charset_namec�����������������C���s���d�S�r���r
���)r����bufr
���r
���r����feed3���s����zCharSetProber.feedc�����������������C���s���|�j�S�r���)r���r���r
���r
���r����state6���s����zCharSetProber.statec�����������������C���s���dS�)Ng��������r
���r���r
���r
���r����get_confidence:���s����zCharSetProber.get_confidencec�����������������C���s���t��dd|��}�|�S�)Ns���([�-])+���� )�re�sub)r���r
���r
���r����filter_high_byte_only=���s����z#CharSetProber.filter_high_byte_onlyc�����������������C���s\���t���}t�d|��}|D�]@}|�|dd����|dd��}|���sL|dk�rLd}|�|��q|S�)u9��
        We define three types of bytes:
        alphabet: english alphabets [a-zA-Z]
        international: international characters [-ÿ]
        marker: everything else [^a-zA-Z-ÿ]

The input buffer can be thought to contain a series of words delimited
        by markers. This function works to filter all words that contain at
        least one international character. All contiguous sequences of markers
        are replaced by a single space ascii character.

This filter applies to all scripts which do not use English characters.
        s%���[a-zA-Z]*[�-�]+[a-zA-Z]*[^a-zA-Z�-�]?N��������r���)�	bytearrayr����findall�extend�isalpha)r����filtered�words�word�	last_charr
���r
���r����filter_international_wordsB���s�����z(CharSetProber.filter_international_wordsc�����������������C���s����t���}d}d}tt|���D�]n}|�||d���}|dkr<d}n|dkrHd}|dk�r|���s||kr�|s�|�|�||����|�d��|d�}q|s�|�|�|d	����|S�)
a���
        Returns a copy of ``buf`` that retains only the sequences of English
        alphabet and high byte characters that are not between <> characters.
        Also retains English alphabet and high byte characters immediately
        before occurrences of >.

This filter can be applied to all scripts which contain both English
        characters and extended ASCII characters, but is currently only used by
        ``Latin1Prober``.
        Fr���r�������>����<Tr���r���N)r����range�lenr!���r ���)r���r"����in_tag�prev�curr�buf_charr
���r
���r����filter_with_english_lettersg���s"����

z)CharSetProber.filter_with_english_letters)N)r
����
__module__�__qualname__�SHORTCUT_THRESHOLDr���r����propertyr���r���r���r����staticmethodr���r&���r/���r
���r
���r
���r���r���#���s���

$r���)r���r����enumsr����objectr���r
���r
���r
���r����<module>���s���

📁 Sid Gifari File Manager