Merge pull request #1745 from Alexandre887/master

Юникод

Author: Alexandre887

1-js/05-data-types/03-string/article.md

@@ -84,19 +84,8 @@ alert(str1 == str2); // true
 |`\\`|Обратный слеш|
 |`\t`|Знак табуляции|
 |`\b`, `\f`, `\v`| Backspace, Form Feed и Vertical Tab — оставлены для обратной совместимости, сейчас не используются. |
-|`\xXX`|Символ с шестнадцатеричным Юникодным кодом `XX`, например, `'\x7A'` — то же самое, что `'z'`.|
-|`\uXXXX`|Символ в кодировке UTF-16 с шестнадцатеричным кодом `XXXX`, например, `\u00A9` — Юникодное представление знака копирайта, `©`. Код должен состоять ровно из 4 шестнадцатеричных цифр. |
-|`\u{X…XXXXXX}` (от 1 до 6 шестнадцатеричных цифр)|Символ в кодировке UTF-32 с шестнадцатеричным кодом от U+0000 до U+10FFFF. Некоторые редкие символы кодируются двумя 16-битными словами и занимают 4 байта. Так можно вставлять символы с длинным кодом. |
 
-Примеры с Юникодом:
-
-```js run
-alert( "\u00A9" ); // ©
-alert( "\u{20331}" ); // 佫, редкий китайский иероглиф (длинный Юникод)
-alert( "\u{1F60D}" ); // 😍, символ улыбающегося лица (ещё один длинный Юникод)
-```
-
-Все спецсимволы начинаются с обратного слеша, `\` — так называемого "символа экранирования".
+Как вы можете видеть, все спецсимволы начинаются с обратного слеша, `\` — так называемого "символа экранирования".
 
 Он также используется, если необходимо вставить в строку кавычку.
 
@@ -504,13 +493,6 @@ alert( "Wid*!*get*/!*".endsWith("get") ); // true, "get" — окончание
     alert( String.fromCodePoint(90) ); // Z
     ```
 
-    Также можно добавлять Юникодные символы по их кодам, используя `\u` с шестнадцатеричным кодом символа:
-
-    ```js run
-    // 90 — 5a в шестнадцатеричной системе счисления
-    alert( '\u005a' ); // Z
-    ```
-
 Давайте сделаем строку, содержащую символы с кодами от `65` до `220` — это латиница и ещё некоторые распространённые символы:
 
 ```js run
@@ -557,118 +539,11 @@ alert( 'Österreich'.localeCompare('Zealand') ); // -1
 
 У этого метода есть два дополнительных аргумента, которые указаны в [документации](mdn:js/String/localeCompare). Первый позволяет указать язык (по умолчанию берётся из окружения) — от него зависит порядок букв. Второй — определить дополнительные правила, такие как чувствительность к регистру, а также следует ли учитывать различия между `"a"` и `"á"`.
 
-## Как всё устроено, Юникод
-
-```warn header="Глубокое погружение в тему"
-Этот раздел более подробно описывает, как устроены строки. Такие знания пригодятся, если вы намерены работать с эмодзи, редкими математическими символами, иероглифами, либо с ещё какими-то редкими символами.
-
-Если вы не планируете их поддерживать, эту секцию можно пропустить.
-```
-
-### Суррогатные пары
-
-Все часто используемые символы имеют 2-байтовые коды. Буквы в большинстве европейских языков, цифры и даже большинство иероглифов имеют 2-байтовое представление.
-
-Но 2 байта допускают только 65536 комбинаций, так что на все символы этого, разумеется, не хватит. Поэтому редкие символы кодируются парой 2-байтовых символов, также называемые "суррогатной парой".
-
-Длина таких символов равна `2`:
-
-```js run
-alert( '𝒳'.length ); // 2, MATHEMATICAL SCRIPT CAPITAL X
-alert( '😂'.length ); // 2, FACE WITH TEARS OF JOY
-alert( '𩷶'.length ); // 2, редкий китайский иероглиф
-```
-
-Обратите внимание, суррогатные пары не существовали, когда был создан JavaScript, поэтому язык не обрабатывает их адекватно!
-
-Ведь в каждой из этих строк только один символ, а `length` показывает длину `2`.
-
-`String.fromCodePoint` и `str.codePointAt` — два редких метода, правильно работающие с суррогатными парами, но они и появились в языке недавно. До них были только [String.fromCharCode](mdn:js/String/fromCharCode) и [str.charCodeAt](mdn:js/String/charCodeAt). Эти методы, вообще, делают то же самое, что `fromCodePoint/codePointAt`, но не работают с суррогатными парами.
-
-Получить символ, представленный суррогатной парой, может быть не так просто, потому что суррогатная пара интерпретируется как два символа:
-
-```js run
-alert( '𝒳'[0] ); // странные символы...
-alert( '𝒳'[1] ); // ...части суррогатной пары
-```
-
-Части суррогатной пары не имеют смысла сами по себе, так что вызовы `alert` в этом примере покажут лишь мусор.
-
-Технически, суррогатные пары возможно обнаружить по их кодам: если код символа находится в диапазоне `0xd800..0xdbff`, то это — первая часть суррогатной пары. Следующий символ — вторая часть — имеет код в диапазоне `0xdc00..0xdfff`. Эти два диапазона выделены исключительно для суррогатных пар по стандарту.
-
-В данном случае:
-
-```js run
-// charCodeAt не поддерживает суррогатные пары, поэтому возвращает код для их частей
-
-alert( '𝒳'.charCodeAt(0).toString(16) ); // d835, между 0xd800 и 0xdbff
-alert( '𝒳'.charCodeAt(1).toString(16) ); // dcb3, между 0xdc00 и 0xdfff
-```
-
-Дальше в главе <info:iterable> будут ещё способы работы с суррогатными парами. Для этого есть и специальные библиотеки, но нет достаточно широко известной, чтобы предложить её здесь.
-
-### Диакритические знаки и нормализация
-
-Во многих языках есть символы, состоящие из некоторого основного символа со знаком сверху или снизу.
-
-Например, буква `a` — это основа для `àáâäãåā`. Наиболее используемые составные символы имеют свой собственный код в таблице UTF-16. Но не все, в силу большого количества комбинаций.
-
-Чтобы поддерживать любые комбинации, UTF-16 позволяет использовать несколько Юникодных символов: основной и дальше один или несколько особых символов-знаков.
-
-Например, если после `S` добавить специальный символ "точка сверху" (код `\u0307`), он отобразится как Ṡ.
-
-```js run
-alert( 'S\u0307' ); // Ṡ
-```
-
-Если надо добавить сверху (или снизу) ещё один знак — без проблем, просто добавляем соответствующий символ.
-
-Например, если добавить символ "точка снизу" (код `\u0323`), отобразится S с точками сверху и снизу: `Ṩ`.
-
-Добавляем два символа:
-
-```js run
-alert( 'S\u0307\u0323' ); // Ṩ
-```
-
-Это даёт большую гибкость, но из-за того, что порядок дополнительных символов может быть различным, мы получаем проблему сравнения символов: можно представить по-разному символы, которые ничем визуально не отличаются.
-
-Например:
-
-```js run
-let s1 = 'S\u0307\u0323'; // Ṩ, S + точка сверху + точка снизу
-let s2 = 'S\u0323\u0307'; // Ṩ, S + точка снизу + точка сверху
-
-alert( `s1: ${s1}, s2: ${s2}` );
-
-alert( s1 == s2 ); // false, хотя на вид символы одинаковы (?!)
-```
-
-Для решения этой проблемы есть алгоритм "Юникодной нормализации", приводящий каждую строку к единому "нормальному" виду.
-
-Его реализует метод [str.normalize()](mdn:js/String/normalize).
-
-```js run
-alert( "S\u0307\u0323".normalize() == "S\u0323\u0307".normalize() ); // true
-```
-
-Забавно, но в нашем случае `normalize()` "схлопывает" последовательность из трёх символов в один: `\u1e68` — S с двумя точками.
-
-```js run
-alert( "S\u0307\u0323".normalize().length ); // 1
-
-alert( "S\u0307\u0323".normalize() == "\u1e68" ); // true
-```
-
-Разумеется, так происходит не всегда. Просто Ṩ — это достаточно часто используемый символ, поэтому создатели UTF-16 включили его в основную таблицу и присвоили ему код.
-
-Подробнее о правилах нормализации и составлении символов можно прочитать в дополнении к стандарту Юникод: [Unicode Normalization Forms](http://www.unicode.org/reports/tr15/). Для большинства практических целей информации из этого раздела достаточно.
-
 ## Итого
 
 - Есть три типа кавычек. Строки, использующие обратные кавычки, могут занимать более одной строки в коде и включать выражения `${…}`.
 - Строки в JavaScript кодируются в UTF-16.
-- Есть специальные символы, такие как `\n`, и можно добавить символ по его Юникодному коду, используя `\u…`.
+- Есть специальные символы, такие как разрыв строки `\n`.
 - Для получения символа используйте `[]`.
 - Для получения подстроки используйте `slice` или `substring`.
 - Для того, чтобы перевести строку в нижний или верхний регистр, используйте `toLowerCase/toUpperCase`.
@@ -681,4 +556,6 @@ alert( "S\u0307\u0323".normalize() == "\u1e68" ); // true
 - `str.repeat(n)` — повторяет строку `n` раз.
 - …и другие, которые вы можете найти в [справочнике](mdn:js/String).
 
-Также есть методы для поиска и замены с использованием регулярных выражений. Но это отдельная большая тема, поэтому ей посвящена отдельная глава учебника <info:regular-expressions>.
+Для строк предусмотрены методы для поиска и замены с использованием регулярных выражений. Но это отдельная большая тема, поэтому ей посвящена отдельная глава учебника <info:regular-expressions>. 
+
+Также, на данный момент важно знать, что строки основаны на кодировке Юникод, и поэтому иногда могут возникать проблемы со сравнениями. Подробнее о Юникоде в главе <info:unicode>.