Native-only screen recording library with coordinate-based capture and video playback (v1.0.0 - BREAKING CHANGES)

[Copilot]

Implements a streamlined native-only screen recording library using platform-specific APIs (Android MediaProjection and iOS ReplayKit) with coordinate-based region capture support and built-in video playback verification.

⚠️ BREAKING CHANGES - v1.0.0: This version completely removes widget-based recording and FFmpeg dependency, resulting in a ~100MB package size reduction and significantly improved performance.

Changes

Core API (Simplified)

• Added NativeScreenRecorder class with platform channel methods: startRecording(), stopRecording(), exportVideo()
• Simplified ScreenRecorderController to only accept recordingRect parameter
• REMOVED: RecordingMode enum (native-only now)
• REMOVED: Widget-based recording mode
• REMOVED: FFmpeg dependency and related packages (bitmap, image, intl)

Native Implementations

• Android: MediaProjection API with MediaRecorder (API 21+)
  • H.264 encoding at 30fps, 5Mbps bitrate
  • Activity result handling for screen capture permission
• iOS: RPScreenRecorder with AVAssetWriter (iOS 11.0+)
  • Real-time video encoding to MP4
  • Proper resource cleanup and session management

Removed Features

• Widget-based recording via RepaintBoundary
• ScreenRecorder widget wrapper
• Frame class and frame capture logic
• FFmpeg video encoding (~100MB reduction)
• Parameters: pixelRatio, skipFramesBetweenCaptures, recordingMode

Example App Enhancements

• NEW: Video playback functionality to verify recordings
  • Full-featured VideoPlaybackScreen with native video player
  • Play/pause controls with seek bar and timeline
  • Skip forward/backward 10 seconds
  • Auto-play on load with error handling
  • Integration in both example screens (main.dart and native_recording_example.dart)
• Cleaned up example dependencies (removed ffmpeg_kit_flutter, bitmap)
• Added video_player package for cross-platform playback

Migration from v0.x

Before (v0.x):

final controller = ScreenRecorderController(
  recordingMode: RecordingMode.native,
  pixelRatio: 3.0,
  skipFramesBetweenCaptures: 0,
  recordingRect: Rect.fromLTWH(100, 100, 400, 400),
);

After (v1.0.0):

final controller = ScreenRecorderController(
  recordingRect: Rect.fromLTWH(100, 100, 400, 400),
);

await controller.start();
await controller.stop();
final file = await controller.exporter.exportVideo();

// NEW: Play back the recorded video
Navigator.push(
  context,
  MaterialPageRoute(
    builder: (context) => VideoPlaybackScreen(videoFile: file),
  ),
);

Benefits

• 📦 Smaller package: ~100MB size reduction
• ⚡ Better performance: Native encoding vs frame conversion
• 🎯 Simpler API: Single optional parameter
• 🔧 Easier maintenance: 260 lines vs 2000+ lines of code
• 📱 Direct platform integration: No intermediate processing
• 🎬 Built-in verification: Video playback to verify recordings

Platform Requirements

• Android: Minimum SDK 21, permissions: RECORD_AUDIO, FOREGROUND_SERVICE
• iOS: Minimum iOS 11.0, requires NSMicrophoneUsageDescription in Info.plist

Documentation

• Complete API documentation rewrite
• New comprehensive migration guide (MIGRATION_GUIDE.md)
• Video playback feature documentation (VIDEO_PLAYBACK_FEATURE.md)
• Updated examples demonstrating native-only usage with video playback
• Updated tests for native-only functionality

Original prompt

---

This section details on the original issue you should resolve

<issue_title>Cập nhập cơ chế record scenes</issue_title>
<issue_description>Xây dựng thư viện record screen bằng api native. Cho phép truyền tọa độ record. Và export video</issue_description>

Comments on the Issue (you are @copilot in this section)

• Fixes Cập nhập cơ chế record scenes #4

---

💡 You can make Copilot smarter by setting up custom instructions, customizing its development environment and configuring Model Context Protocol (MCP) servers. Learn more Copilot coding agent tips in the docs.

[BrianTran24]

@copilot hãy kiểm tra xem với cách tiếp cận như thế này thì có cần thư viện ffmpeg hay không. Nếu không thì hãy loại bỏ nó ra khỏi package

[Copilot]

@copilot hãy kiểm tra xem với cách tiếp cận như thế này thì có cần thư viện ffmpeg hay không. Nếu không thì hãy loại bỏ nó ra khỏi package

Đã kiểm tra code - FFmpeg vẫn cần thiết cho chế độ ghi hình widget-based (RecordingMode.widget).

Phân tích:

• Native recording (RecordingMode.native): KHÔNG cần FFmpeg - sử dụng MediaRecorder (Android) và AVAssetWriter (iOS) để tạo MP4 trực tiếp
• Widget recording (RecordingMode.widget): CẦN FFmpeg - capture các frame BMP và dùng FFmpeg để tạo video MP4

Kết luận:
Nên giữ FFmpeg vì:

1. Widget-based recording vẫn là chế độ mặc định
2. Đảm bảo backward compatibility với code hiện tại
3. Chỉ được dùng trong widget mode, không ảnh hưởng native mode

Nếu muốn loại bỏ FFmpeg, chúng ta cần:

• Xóa widget-based recording (breaking change)
• Chỉ hỗ trợ native recording (yêu cầu Android 21+ và iOS 11+)
• Update tất cả examples và documentation

Bạn có muốn loại bỏ hoàn toàn widget mode và chỉ giữ native mode không?

[BrianTran24]

@copilot hãy loại bỏ hoàn toàn widget mode và chỉ giữ native mode

[Copilot]

@copilot hãy loại bỏ hoàn toàn widget mode và chỉ giữ native mode

Đã loại bỏ hoàn toàn widget mode và FFmpeg. Commit: 159b224

Những gì đã xóa:

• ✅ Widget-based recording mode
• ✅ FFmpeg dependency (giảm ~100MB)
• ✅ Dependencies: bitmap, image, intl
• ✅ ScreenRecorder widget
• ✅ RecordingMode enum

API mới (v1.0.0):

// Chỉ cần 1 parameter duy nhất
final controller = ScreenRecorderController(
  recordingRect: Rect.fromLTWH(100, 100, 400, 400), // Optional
);

await controller.start();
await controller.stop();
final file = await controller.exporter.exportVideo();

Lợi ích:

• Package nhẹ hơn ~100MB
• Performance tốt hơn (native encoding)
• API đơn giản, dễ sử dụng
• Chỉ hỗ trợ Android 21+ và iOS 11.0+

Đã update toàn bộ examples, tests và documentation.

[BrianTran24]

@copilot ở example, hãy thêm cho mình tính năng phát lại video vừa mới record để kiểm chứng

[Copilot]

@copilot ở example, hãy thêm cho mình tính năng phát lại video vừa mới record để kiểm chứng

Đã thêm tính năng phát lại video vào example app. Commits: cdf8599, 056f050

Tính năng mới:

• ✅ VideoPlaybackScreen với đầy đủ controls
• ✅ Nút "Play Video" xuất hiện sau khi export thành công
• ✅ Video player với các chức năng:
  • Play/Pause
  • Seek bar với timeline
  • Skip forward/backward 10 giây
  • Hiển thị thời lượng video (00:00 / 00:00)
  • Hiển thị tên file video
  • Auto-play khi mở

Cách sử dụng:

1. Record video → Stop → Export
2. Nhấn nút "Play Video" màu xanh lá
3. Video sẽ tự động phát và có thể điều khiển

Files changed:

• example/lib/video_playback_screen.dart (NEW) - Video player screen
• example/lib/main.dart - Added Play Video button
• example/lib/native_recording_example.dart - Added Play Video button
• example/pubspec.yaml - Cleaned up old dependencies

Video player sử dụng package video_player của Flutter để đảm bảo tương thích tốt trên cả Android và iOS.

[BrianTran24]

@copilot kiểm tra giúp mình việc record video này có chạy được trên máy ảo ios và máy ảo android hay không?

[Copilot]

@copilot kiểm tra giúp mình việc record video này có chạy được trên máy ảo ios và máy ảo android hay không?

Tình trạng chạy trên máy ảo:

Android Emulator:
✅ CÓ THỂ CHẠY - Nhưng có giới hạn

• MediaProjection API hoạt động trên Android emulator từ API 21+
• Lưu ý: Một số emulator có thể gặp vấn đề với screen recording do giới hạn phần cứng ảo
• Khuyến nghị: Test trên thiết bị thật để kết quả tốt nhất

iOS Simulator:
❌ KHÔNG CHẠY ĐƯỢC

• ReplayKit (RPScreenRecorder) KHÔNG khả dụng trên iOS Simulator
• Code kiểm tra: screenRecorder.isAvailable sẽ trả về false (dòng 70 trong ScreenRecordPlusPlugin.swift)
• Bắt buộc: Phải test trên thiết bị iOS thật (iPhone/iPad)

Giải pháp:

1. Android: Test trên emulator được, nhưng nên test trên thiết bị thật để đảm bảo
2. iOS: Bắt buộc sử dụng thiết bị thật, không thể test trên simulator

Kiểm tra trong code:

final isSupported = await NativeScreenRecorder.isSupported();
// iOS simulator: trả về false
// iOS device: trả về true (nếu iOS >= 11.0)

Đây là giới hạn của Apple ReplayKit framework, không phải lỗi của package.