Add TLS ClientHello fake packet generator #665

RknMustDie512 · 2024-09-25T23:30:50Z

Добавил опцию --fake-with-sni имя_домена, позволяющую генерировать и отправлять фейковый пакет ClientHello с заданным в параметре SNI.
Помогает пробивать некоторые сервера Гугла, если подставлять SNI от незаблокированного гуглового домена.
Избавляет от портянок --fake-from-hex, который некоторые велосипедисты уже даже через PowerShell зачем-то пытаются генерировать полностью случайными, не понимая исходного смысла от этого пакета.
Генерируемый пакет аналогичен по структуре, наборам шифров и расширениям тому, что используется в Firefox 130, потому по фингерпринту заблочить его не получится, не сломав при этом Firefox, случайные поля внутри пакета (Session ID, ключи для DHE, фейковый ECH) генерируются случайно при каждом запуске GoodbyeDPI, не позволяя Роскомнадзору зафингерпринтить их.
С маскировкой под Chrome чуть сложнее, там TLS-расширения перетасовуются в случайном порядке, что усложнит код, потому пока что так.

ValdikSS · 2024-09-26T21:00:08Z

Не уверен, что наличие ECH extension по умолчанию — хорошая идея. Предлагаю убрать ECH, возможно сделав его опциональным дополнительным параметром.
А так — LGTM.

Decavoid · 2024-09-26T21:04:37Z

Не уверен, что наличие ECH extension по умолчанию — хорошая идея. Предлагаю убрать ECH, возможно сделав его опциональным дополнительным параметром. А так — LGTM.

Все браузеры (chrome, yandex, edge) отправляют encrypted_client_hello. Если его не отправлять, то ркн сделает фильтр - если нет ech, то дропать.

ValdikSS · 2024-09-26T21:06:55Z

Он отправляется только в том случае, если сайт (домен) поддерживает ECH, коих совсем немного, относительно всех доменов в интернете.
Это довольно нетипичный extension на текущий день.

Decavoid · 2024-09-26T21:18:31Z

На скрине только assets.msn.com не имеет ech, остальные пакеты имеют ech.

SagePtr · 2024-09-26T22:57:50Z

Он отправляется только в том случае, если сайт (домен) поддерживает ECH, коих совсем немного, относительно всех доменов в интернете. Это довольно нетипичный extension на текущий день.

На сегодняшний день - типичный, популярная троица современных браузеров (Chrome, Edge, Firefox) отправляет ECH независимо от наличия в DNS-записи и на сервере, остальные браузеры не проверял. Если поддержки со стороны сайта нет - то данные в ECH лепятся от балды. Из статьи с Cloudflare:

While itself just an extension, the risk of ECH exposing (or introducing!) similar bugs is real. To combat this problem, ECH supports a variant of GREASE whose goal is to ensure that all ECH-capable clients produce syntactically equivalent ClientHello messages. In particular, if a client supports ECH but does not have the corresponding ECH configuration, it uses GREASE. Otherwise, it produces a ClientHello with real ECH support. In both cases, the syntax of the ClientHello messages is equivalent.

Decavoid · 2024-09-27T23:31:34Z

Скомпилил, проверил, работает (ютуб и другие сайты).
Теперь я могу заменить мой старый длинный конфиг:

goodbyedpi.exe -f 1 -e 1 --set-ttl 4 --reverse-frag --max-payload --fake-from-hex 16030102510100024d0303e8924e8aee2828c2ecf500574594b4e646488ba23933576db19161627739e4cf20509655eebac0de55438dbd77d3e830bdc020e5c7d6c19a6cc706e316ca4704dc00208a8a130113021303c02bc02fc02cc030cca9cca8c013c014009c009d002f0035010001e44a4a0000000b000201000010000e000c02683208687474702f312e3100000013001100000e7777772e676f6f676c652e636f6d446900050003026832002d000201010033002b00290a0a000100001d002087a721c0dc43fca3a41604a1bfcb69b8af4fa17ae5251f1f7cd59e476ecd1a2afe0d011a0000010001770020f7f4ee830f619bcab0a5514be210ce27b9c76a8622d7a0cf8157d8ed55607f7500f09ba8854102d311a652eb3072402b08c85633915eb6bb524d54298e06721cb173921d47333b80c067c404dcfa40ecea993ae2d3f16a2f5ce913a060e6d2f38d4a25229de3a9f76bf9596e51c90ee7cf622862fecdc25745c7fec47210106a3f520c7e5e0cd5b42246c6c38ce17e9d1b257cb249bf498c5b7f1f82a4afc5862ef0ca987429387d3cef472bc0170134bb04ae980c3108db31cb74cd6b1770e82622001464f28f2b4a77281299cab7dbc13cf328df2dc700cdae3937528c251309b57a0082e1695f9d07ca405f24508e9d362cb1d444321d12e7c35be0bb0589a8c5b0d18b15e43a828b1ebdd398fa4c3f3b001b0003020002000500050100000000000a000a00080a0a001d00170018ff01000100002300000017000000120000000d0012001004030804040105030805050108060601002b0007068a8a03040303dada000100 --blacklist ..\russia-blacklist.txt --blacklist ..\russia-youtube.txt

на новый с --fake-with-sni www.google.com, более короткий

goodbyedpi.exe -f 1 -e 1 --set-ttl 4 --reverse-frag --max-payload --fake-with-sni www.google.com --blacklist ..\russia-blacklist.txt --blacklist ..\russia-youtube.txt

Decavoid · 2024-09-27T23:55:30Z

goodbyedpi.exe (x86_64) для желающих потестить. Скомпилено в windows с отключенной либой libssp.
Размер: 102400 байт

Хеши файла goodbyedpi.exe:
MD5: C25B01DE6D5471F3B7337122049827F6
SHA-1: 90A8D3C8424D0F391555771AC2F709012A4EC2E1

goodbyedpi-fake-with-sni.zip

johnnyd-78 · 2024-09-28T00:06:06Z

@Decavoid Огромное спасибо!

UPD: Работает отлично, проверил с разными доменами вместо гугла и на разных сайтах с TLS 1.2
Оставил по приколу вместо имя_домена rt.ru ))

sansergs · 2024-09-28T00:48:46Z

@Decavoid спасибо!

Работает, и кстати без дополнительных фейковых пакетов и флагов fake-gen.

johnnyd-78 · 2024-09-28T01:04:21Z

и кстати без дополнительных фейковых пакетов и флагов fake-gen

Проверил. У меня без --fake-gen 3 --fake-resend 2 ютуб отрубился (

А не, с фейком от гугла заработал. Парни, вы лучшие! Дай вам бог здоровья!

sansergs · 2024-09-28T09:03:34Z

А не, с фейком от гугла заработал

У меня работает и без дополнительных фейковых пакетов, но субъективно в ними всё же лучше. Быстрее начинается воспроизведение роликов и первая подгрузка всего интерфейса сайта.
В любом случае всем спасибо!

SagePtr · 2024-09-28T11:00:54Z

goodbyedpi.exe (x86_64) для желающих потестить. Скомпилено в windows с отключенной либой libssp. Размер: 102400 байт

Ещё можно напрямую скачать артефакты из автоматического билда, собираемого при каждом пуше и пулреквесте: https://github.com/ValdikSS/GoodbyeDPI/actions/runs/11042716687?pr=665

johnnyd-78 · 2024-09-28T13:43:16Z

У меня работает и без дополнительных фейковых пакетов

У меня тоже. Просто если в новом ключе указать адрес не гугла, а какой-нибудь другой - все другие сайты работают, видео на ютубе не работает ) С ввв.гугл.ком пашет все

Если кто без реги на гитхабе и нужна версия х86 - то вот
goodbyedpi_x86_0411a42.zip
Хэши файла goodbyedpi.exe
MD5: A3131EABBF518EC6D8ED6DCA8BF112E6
SHA-1: 47BDDC1050A83BDCA15DC00597537D478576E7CE

WinDivert обновлять не надо - он не менялся.

RealFoxes · 2024-09-28T15:33:16Z

Спасибо за PR, без него никакие параметры ранее не работали, как только запустил с такими параметрами заработало
-f 1 -e 1 --set-ttl 4 --reverse-frag --max-payload --fake-with-sni www.google.com
Самара. Билайн

UPD: Работает только с отлюченым Kyber

TheGallad · 2024-09-28T21:25:52Z

Confirmed.
Downloaded from artifacts (because goodbyedpi-fake-with-sni.zip) file is detected as malicious by my Chrome browser).
Work with -f 1 -e 1 --set-ttl 4 --reverse-frag --max-payload --fake-with-sni www.google.com
Tested on Rostelecom, Tomsk, Russia.

RknMustDie512 · 2024-10-01T12:47:10Z

Но даже если нужен "рандомный" fake-from-hex и по каким-то причинам НЕ подходит сгенеренный --fake-with-sni, то хотя бы первые байты надо НЕ генерить случайно, а оставлять 160301FFFF01FFFFFF0, ну и возможно последние. Чтобы пакет был похож на ClientHello (подробнее тут конечно подскажут, те кто добавлял функционал fake-with-sni и автор).

Это минимальный синтаксически правильный ClientHello с заданным, но пустым SNI. Полностью он выглядит так:
1603010035010000310303[...random 32 bytes...]000000000009000000050003000000
Некоторые поля, обозначающие размер данных после заголовка, по какой-то причине заменены на FF, может быть, из-за того, что они игнорируются DPI, а может быть, каким-то образом его обманывают:
160301FFFF01FFFFFF0303[...random 32 bytes...]000000000009000000050003000000
[...random 32 bytes...] = случайные 32 байта (64 символа [0-9A-F]), в сумме получается 58-байтовый пакет.

johnnyd-78 · 2024-10-01T20:56:52Z

@sansergs Это не придумалось, это на форуме программы в этой теме пользователем написалось ) А вот и он, кстати. Там же, ближе к концу написано, что сначала идет, что потом. В разных вариациях.

Не нужны, уже несколько дней как. DPI научились этот мусор игнорить и искать SNI за его пределами. И находить. И блокировать. А SNI из --fake-with-sni они пока принимают за реальный, больше ничего не проверяют и пропускают пакет.

Фейк-ген генерирует несколько байтов фейка, 00 - всего один байт. Некоторым этого бывает достаточно. Как уже написали выше - дело в кол-ве пакетов, предшествующих реальному, с реальным SNI (он идет последним в любом случае)
frag-by-sni режет реальный SNI, затрудняя его обнаружение и блокировку. В итоге последний пакет с реальным SNI превращается в 2 пакета.

johnnyd-78 · 2024-10-01T21:14:05Z

протестил... сработало, страница ютуба открылась почти мгновенно, но загрузка видео 26 секунд

Теперь у вас и форум должен открыться, сходите сюда, может скрипт вам рабочую стратегию подберет.

ValdikSS · 2024-10-06T02:40:54Z

Выглядит хорошо, работает хорошо, спасибо!

Add TLS ClientHello fake packet generator

8de0478

Decavoid mentioned this pull request Sep 27, 2024

Небольшая доработка батника для генерации фейкового числа #663

Closed

1 task

This comment was marked as off-topic.

Sign in to view

johnnyd-78 mentioned this pull request Oct 1, 2024

Bug #675

Closed

1 task

This comment was marked as off-topic.

Sign in to view

bsun0000 mentioned this pull request Oct 4, 2024

Crash при добавлении флага fake-with-sni #683

Closed

1 task

This comment was marked as off-topic.

Sign in to view

ValdikSS merged commit 810aef6 into ValdikSS:master Oct 6, 2024
1 check passed

risandkiss mentioned this pull request Oct 12, 2024

YouTube не грузит само видео, превью и прочее грузит #702

Closed

1 task

EgorWeders mentioned this pull request Oct 16, 2024

Функция --fake-with-sni <value> не найдена #712

Closed

1 task

Add TLS ClientHello fake packet generator #665

Add TLS ClientHello fake packet generator #665

Conversation

RknMustDie512 commented Sep 25, 2024 • edited Loading

ValdikSS commented Sep 26, 2024

Decavoid commented Sep 26, 2024

ValdikSS commented Sep 26, 2024

Decavoid commented Sep 26, 2024

SagePtr commented Sep 26, 2024 • edited Loading

Decavoid commented Sep 27, 2024

Decavoid commented Sep 27, 2024

johnnyd-78 commented Sep 28, 2024 • edited Loading

sansergs commented Sep 28, 2024 • edited Loading

johnnyd-78 commented Sep 28, 2024 • edited Loading

sansergs commented Sep 28, 2024

SagePtr commented Sep 28, 2024

johnnyd-78 commented Sep 28, 2024 • edited Loading

RealFoxes commented Sep 28, 2024 • edited Loading

TheGallad commented Sep 28, 2024

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

RknMustDie512 commented Oct 1, 2024 • edited Loading

This comment was marked as off-topic.

This comment was marked as off-topic.

johnnyd-78 commented Oct 1, 2024 • edited Loading

johnnyd-78 commented Oct 1, 2024

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

This comment was marked as off-topic.

ValdikSS commented Oct 6, 2024

RknMustDie512 commented Sep 25, 2024 •

edited

Loading

SagePtr commented Sep 26, 2024 •

edited

Loading

johnnyd-78 commented Sep 28, 2024 •

edited

Loading

sansergs commented Sep 28, 2024 •

edited

Loading

johnnyd-78 commented Sep 28, 2024 •

edited

Loading

johnnyd-78 commented Sep 28, 2024 •

edited

Loading

RealFoxes commented Sep 28, 2024 •

edited

Loading

RknMustDie512 commented Oct 1, 2024 •

edited

Loading

johnnyd-78 commented Oct 1, 2024 •

edited

Loading