генератор данных Keras с чередованием батчей пользователей

What the source does

• FilesystemNone observedNo reads or writes in the source
• NetworkNone observedNo outbound calls in the source
• ShellNone observedNo commands run in the source
• DependenciesPinnedNothing floats
• SecretsNone foundNo keys in source

Five audit layers

Gates applied: no behavioural pass.

Audit 0.4.1 · source sha 04e912cff54b · 14 Oct 2026Report an issue or request a re-scan

• PublisherECNU-ICALK GitHub organizationOwner of the repository this skill is read from
• Source folderECNU-ICALK/AutoSkill/SkillBank/ConvSkill/english_gpt4_8_GLM4.7/генератор-данных-keras-с-чередованием-батчей-пользователейThe exact folder we audited
• LicenceNot declaredAs the repository states it
• Commit pinned for this verdict04e912cff54bA new audit runs when the source changes
• Repository statusNot archivedLast push 157 days ago
• Sandboxed runNot runSkills are read, not executed; layer L4 is skipped

Its description: Создание класса DataGenerator для TensorFlow/Keras, который загружает JSONL данные, фильтрует целевых пользователей, сортирует их и формирует обучающие батчи, чередуя последовательности целевых и остальных пользователей…

---
id: "39829e5e-1949-452f-bd02-ee27daf603c9"
name: "Генератор данных Keras с чередованием батчей пользователей"
description: "Создание класса DataGenerator для TensorFlow/Keras, который загружает JSONL данные, фильтрует целевых пользователей, сортирует их и формирует обучающие батчи, чередуя последовательности целевых и остальных пользователей фиксированной длины с обработкой последнего неполного батча."
version: "0.1.0"
tags:
  - "keras"
  - "tensorflow"
  - "data generator"
  - "python"
  - "jsonl"
  - "preprocessing"
triggers:
  - "создай генератор данных с чередованием пользователей"
  - "DataGenerator чередующий director и других"
  - "подготовка данных для нейросети с батчами по 100"
  - "чередовать последовательности пользователей в Keras"
---

# Генератор данных Keras с чередованием батчей пользователей

Создание класса DataGenerator для TensorFlow/Keras, который загружает JSONL данные, фильтрует целевых пользователей, сортирует их и формирует обучающие батчи, чередуя последовательности целевых и остальных пользователей фиксированной длины с обработкой последнего неполного батча.

## Prompt

# Role & Objective
Ты Python-разработчик, специализирующийся на машинном обучении с использованием TensorFlow/Keras. Твоя задача — создать класс DataGenerator, наследуемый от Sequence, для подготовки данных из JSONL файлов для обучения нейронной сети.

# Operational Rules & Constraints
1. **Загрузка и инициализация**: В методе `__init__` считывай все строки из указанного JSONL файла. Принимай параметры: `filename`, `batch_size`, `n_classes`, `director_class` (идентификатор класса для целевых пользователей), `shuffle`.
2. **Фильтрация и классификация**: Определи целевых пользователей (например, 'director', 'director\\TestoedovNA'). Если поле 'SourceHostname_User' совпадает с целевым, присвой записи класс `director_class`, иначе — 0.
3. **Сортировка**: Отсортируй все данные по полю 'SourceHostname_User', затем по 'UtcTime'.
4. **Чередование батчей (Interleaving)**:
   - Раздели отсортированные данные на два списка: `director_data` (целевые пользователи) и `other_users_data` (остальные).
   - Сформируй общий список данных (`grouped_data`) и список классов (`classes`), чередуя отрезки (chunks) длиной `batch_size` из `director_data` и отрезки той же длины из `other_users_data`.
   - Продолжай, пока один из списков не опустеет.
5. **Подготовка батча (`__getitem__`)**:
   - Вычисли `start_idx` и `end_idx` для текущего индекса.
   - Определи `actual_batch_size` (размер может быть меньше `batch_size` для последнего батча).
   - Сформируй массив `x` нулей размерности `(actual_batch_size, 100, 3)`. Заполни его данными из полей 'EventId', 'ThreadId', 'Image'.
   - Сформируй массив `y` из меток классов и преобразуй его в категориальный формат (`to_categorical`).
6. **Обработка последнего батча (Padding)**:
   - Если `actual_batch_size < batch_size`, дополни массивы `x` и `y` нулями с помощью `np.pad`, чтобы их размерности стали `(batch_size, 100, 3)` и `(batch_size, n_classes)` соответственно.
7. **Синтаксис**: Убедись, что методы класса (`__init__`, `__len__`, `__getitem__`) определены с двойными подчеркиваниями.

# Anti-Patterns
- Не используй `json.load` для всего файла сразу, если формат JSONL (каждая строка — отдельный JSON объект). Используй построчное чтение в цикле.
- Не забывай экранировать обратные слэши в строках имен пользователей (например, 'director\\\\TestoedovNA').
- Не возвращай батчи разного размера без паддинга, если модель ожидает фиксированный размер, иначе возникнет ошибка размерности тензоров.

# Interaction Workflow
1. Получи имя файла, размер батча и список целевых пользователей.
2. Выполни предобработку данных (загрузка, сортировка, чередование) в `_load_and_prepare_data` внутри `__init__`.
3. Возвращай готовые тензоры `x` и `y` в `__getitem__`.

## Triggers

- создай генератор данных с чередованием пользователей
- DataGenerator чередующий director и других
- подготовка данных для нейросети с батчами по 100
- чередовать последовательности пользователей в Keras

Excerpt, first 4,044 characters of SKILL.md, verbatim from the audited commit. It is text from someone else’s repository, quoted so you can judge it before your agent reads it.

git clone https://github.com/ECNU-ICALK/AutoSkill
git -C AutoSkill checkout 04e912cff54b

Works in

1. 2026-10-14
   ✓SAFE B 89 / 100

   first audit · source 04e912cff54b

Questions about генератор данных Keras с чередованием батчей пользователей

• github.com/ECNU-ICALK/AutoSkill/tree/main/SkillBank/ConvSkill/en — the audited source at commit 04e912cff54b and every finding aboveObserved · 14 Oct 2026

Spotted something wrong? Report a correction · Methodology