Обратный звонок

Понимание обратных вызовов в машинном обучении

Во время обучения модели последовательно происходят различные события: начинается обучение, появляется Эпоха начинается, обрабатывается партия, происходит валидация, заканчивается эпоха и, наконец, завершается тренировка. Обратные вызовы позволяют тебе запускать определенные действия, привязанные к этим событиям. Например, ты можешь захотеть сохранять веса модели каждый раз, когда точность проверки повышается, записывать метрики в журнал в таком инструменте визуализации, как TensorBoard, или прекратить тренировку раньше времени, если модель перестанет улучшаться. Такие фреймворки, как Keras и такие библиотеки, как ultralytics Пакет Python в значительной степени использует обратные вызовы, чтобы обеспечить гибкость и расширяемость.

Обратные вызовы в Ultralytics

Тренировочный движок Ultralytics предоставляет систему обратных вызовов, которые срабатывают в различные моменты во время тренировка, Валидация, предсказание, и экспорт процессы. К таким событиям относятся on_train_start, on_epoch_end, on_fit_epoch_end (что включает в себя валидацию), on_batch_end, on_train_end, и многие другие. Пользователи могут определять пользовательские обратные вызовы для выполнения таких действий, как подробное протоколирование, отправка уведомлений или взаимодействие с такими платформами, как Ultralytics HUB.

from ultralytics import YOLO
from ultralytics.engine.callbacks import BaseCallback

# Define a simple custom callback

class MyCallback(BaseCallback):
def on_epoch_end(self, trainer): # This code will run at the end of each epoch
print(f"Epoch {trainer.epoch + 1} finished.") # Example: Access metrics like validation loss
if trainer.metrics:
val_loss = trainer.metrics.get('val/loss', None) # Example metric key, adjust as needed
if val_loss is not None:
print(f"Validation loss: {val_loss:.4f}")

# Load a model

model = YOLO('yolov8n.yaml').load('yolov8n.pt') # build from YAML and transfer weights

# Initialize your callback

my_callback = MyCallback()

# Add the callback to the training process

# Note: Direct addition via API might vary; often done via configuration or extending Trainer

# For demonstration, assume a mechanism exists like adding to a list or overriding methods.

# In Ultralytics, callbacks are often managed internally or via specific integrations.

# A conceptual example of how one might use it if Trainer exposed callbacks directly:

# trainer.add_callback(my_callback) # Hypothetical method

# Train the model (the callback methods are triggered automatically by the Trainer)

# The actual mechanism involves the Trainer checking for registered callbacks for specific events.

try: # This is a simplified representation. Callbacks are typically integrated deeper. # We can simulate adding callback logic by overriding trainer methods or using signals if available. # The Ultralytics framework automatically handles registered internal and integration callbacks. # To add custom behaviour like this, you might need to modify the source or use provided extension points.
print("Training started (callback logic would be triggered internally)...") # Example: Manually trigger for demonstration if needed for testing callback logic # my_callback.on_epoch_end(trainer_mock_object)
results = model.train(data='coco128.yaml', epochs=3, imgsz=640) # Training triggers internal events
print("Training finished.")

except Exception as e:
print(f"An error occurred: {e}")

# Example of using an existing integration callback (e.g., TensorBoard)

# This is usually enabled via arguments or configuration:

# results = model.train(data='coco128.yaml', epochs=3, imgsz=640, tensorboard=True)




Применение в реальном мире

Обратные вызовы позволяют реализовать множество полезных функций во время разработки ML-моделей:

• Контрольная точка модели: Автоматическое сохранение модели (или только ее весов) периодически или всякий раз, когда производительность на наборе данных для проверки улучшается. Это гарантирует, что ты не потеряешь прогресс и сможешь получить лучшую версию своей модели. Фреймворки часто предоставляют встроенные обратные вызовы для этого.
• Ранняя остановка: Следи за определенной метрикой (например, потерей валидности или точностью) и останавливай процесс обучения, если метрика перестает улучшаться в течение заранее определенного количества эпох (терпения). Это предотвращает чрезмерную подгонку и экономит вычислительные ресурсы.
• Планирование скорости обучения: Динамическая регулировка скорости обучения во время тренировки. Например, снижение скорости обучения, когда улучшение модели достигает плато, может помочь ей сходиться более эффективно.
• Ведение логов и визуализация: Отправляй логи и метрики (например, потери и точность) в инструменты мониторинга, такие как TensorBoard, или на облачные платформы, например Weights & Biases для визуализации в реальном времени и отслеживания экспериментов. Ultralytics предлагает бесшовные интеграции для W&B и Comet ML.
• Мониторинг ресурсов: Отслеживание загрузки оборудованияGPUиспользование CPU , памяти) во время обучения, чтобы выявить узкие места или оптимизировать распределение ресурсов, что особенно важно в средах облачных вычислений.

Обратные вызовы являются основой для создания гибких, автоматизированных и наблюдаемых рабочих процессов машинного обучения, позволяя разработчикам эффективно расширять и настраивать процессы обучения. Они несколько отличаются от общих программных слушателей событий тем, что тесно интегрированы в конкретные этапы жизненного цикла обучения и оценки ML.