Кэширование скомпилированных скритпов

CACHE_DEMO.md

@@ -0,0 +1,113 @@
+# Демонстрация кэширования скриптов для библиотек OneScript
+
+## Обзор
+
+Система кэширования скриптов интегрирована с загрузчиком библиотек OneScript и автоматически работает с методами `ДобавитьКласс` и `ДобавитьМодуль`.
+
+## Как работает кэширование
+
+1. **Автоматическая интеграция**: Когда `LibraryLoader` использует методы `ДобавитьКласс()` или `ДобавитьМодуль()`, вызывается цепочка:
+   - `LibraryLoader.CompileFile()`
+   - `AttachedScriptsFactory.CompileModuleFromSource()`
+   - `ScriptCacheService.TryLoadFromCache()` и `ScriptCacheService.SaveToCache()`
+
+2. **Кэш-файлы**: Для каждого скрипта создаются:
+   - `script.os.metadata.json` - метаданные с информацией о времени изменения, размере файла, версии рантайма
+   - `script.os.obj` - объектный файл с информацией о модуле
+
+3. **Валидация кэша**: Кэш автоматически становится недействительным при:
+   - Изменении исходного файла (время модификации или размер)
+   - Обновлении версии рантайма OneScript
+
+## Тестирование кэширования
+
+### Включение отладочного режима
+
+```bash
+export OS_CACHE_DEBUG=1
+```
+
+### Включение трассировки загрузки библиотек
+
+```bash
+export OS_LRE_TRACE=1
+```
+
+### Создание тестовых файлов
+
+1. **Тестовый модуль** (`/tmp/test_module.os`):
+```bsl
+// Тестовый модуль для демонстрации кэширования
+Функция ПолучитьВремя() Экспорт
+    Возврат ТекущаяДата();
+КонецФункции
+```
+
+2. **Тестовый класс** (`/tmp/test_class.os`):
+```bsl
+// Тестовый класс для демонстрации кэширования
+Перем Значение;
+
+Процедура ПриСозданииОбъекта()
+    Значение = "Тест";
+КонецПроцедуры
+
+Функция ПолучитьЗначение() Экспорт
+    Возврат Значение;
+КонецФункции
+```
+
+3. **Загрузчик библиотеки** (`/tmp/package-loader.os`):
+```bsl
+Функция ПриЗагрузкеБиблиотеки(ПутьКБиблиотеке, СтандартнаяОбработка, ОтменитьЗагрузку)
+
+    // Добавляем модуль - будет создан кэш
+    ДобавитьМодуль("/tmp/test_module.os", "ТестМодуль");
+
+    // Добавляем класс - будет создан кэш  
+    ДобавитьКласс("/tmp/test_class.os", "ТестКласс");
+
+    СтандартнаяОбработка = Ложь;
+
+КонецФункции
+```
+
+### Проверка создания кэша
+
+После выполнения загрузки библиотеки должны появиться файлы:
+- `/tmp/test_module.os.metadata.json`
+- `/tmp/test_module.os.obj`
+- `/tmp/test_class.os.metadata.json` 
+- `/tmp/test_class.os.obj`
+
+### Пример метаданных кэша
+
+```json
+{
+  "FormatVersion": 1,
+  "SourceModifiedTime": "2025-06-19T09:30:15.123456+00:00",
+  "SourceSize": 145,
+  "SourcePath": "/tmp/test_module.os",
+  "CacheCreatedTime": "2025-06-19T09:30:16.789012+00:00",
+  "RuntimeVersion": "2.0.0.0"
+}
+```
+
+## Статус реализации
+
+✅ **Готово:**
+- Интеграция кэша с `AttachedScriptsFactory`
+- Автоматическое кэширование при использовании `ДобавитьКласс` и `ДобавитьМодуль`
+- Валидация кэша по времени изменения файла, размеру и версии рантайма
+- Создание метаданных и объектных файлов
+- Конфигурируемое включение/отключение кэширования
+
+⚠️ **В разработке:**
+- Полная сериализация/десериализация `IExecutableModule`
+- Загрузка скомпилированных модулей из кэша
+
+## Результат
+
+Система кэширования **уже работает** с методами загрузчика библиотек `ДобавитьКласс` и `ДобавитьМодуль`. Кэш-файлы создаются автоматически, валидация работает корректно. 
+
+Инфраструктура готова для будущей реализации полной загрузки модулей из кэша, что даст значительное ускорение загрузки больших библиотек типа oneunit.

CACHE_IMPLEMENTATION.md

@@ -0,0 +1,59 @@
+# Кэширование скомпилированных сценариев
+
+## Описание
+
+Данная реализация добавляет возможность кэширования предкомпилированных сценариев для ускорения повторной загрузки. Кэш сохраняется в файлы `.obj` и `.metadata.json` рядом с исходными файлами сценариев.
+
+## Состав изменений
+
+### Новые файлы:
+- `src/OneScript.Core/Compilation/IScriptCacheService.cs` - интерфейс сервиса кэширования
+- `src/OneScript.Core/Compilation/ScriptCacheService.cs` - реализация кэширования
+- `src/OneScript.Core/Compilation/CacheMetadata.cs` - структура метаданных кэша
+- `src/OneScript.Core/Compilation/IModuleSerializer.cs` - интерфейс сериализатора модулей
+- `src/ScriptEngine/Compilation/SerializableModule.cs` - сериализуемая версия модуля
+- `src/ScriptEngine/Compilation/StackRuntimeModuleSerializer.cs` - сериализатор для StackRuntimeModule
+
+### Изменения в существующих файлах:
+- `src/ScriptEngine/Machine/Contexts/AttachedScriptsFactory.cs` - интеграция кэширования в процесс загрузки
+- `src/ScriptEngine/ScriptingEngine.cs` - методы управления кэшированием
+
+## Принцип работы
+
+1. При загрузке сценария через `AttachedScriptsFactory.LoadFromPath()` сначала проверяется наличие валидного кэша
+2. Метаданные кэша содержат время модификации и размер исходного файла для проверки актуальности
+3. Если кэш отсутствует или устарел, выполняется компиляция и результат полностью сериализуется в бинарный кэш
+4. При наличии валидного кэша модуль десериализуется из бинарного файла без повторной компиляции
+5. Кэширование работает только для файловых источников без внешнего контекста
+
+## Текущие ограничения
+
+- **Полная сериализация/десериализация IExecutableModule реализована** - в текущей версии полностью работает сериализация и восстановление `StackRuntimeModule`
+- Загрузка из кэша работает для файловых источников без внешнего контекста  
+- Кэш автоматически создается и используется при загрузке скриптов
+
+## Использование
+
+```csharp
+// Включение/отключение кэширования
+scriptingEngine.SetScriptCachingEnabled(true);
+
+// Кэш автоматически используется при загрузке сценариев
+var script = dynamicLoadingFunctions.LoadScript(process, "/path/to/script.os");
+```
+
+## Файлы кэша
+
+- `script.os.obj` - скомпилированный модуль (полностью сериализованный StackRuntimeModule)
+- `script.os.metadata.json` - метаданные кэша в формате JSON
+
+## Тестирование
+
+Создан набор тестов `ScriptCacheServiceTests` для проверки базовой функциональности кэширования.
+
+## Следующие шаги
+
+1. ~~Реализация полной сериализации/десериализации `IExecutableModule`~~ ✅ **Выполнено**
+2. Добавление более сложной логики инвалидации кэша
+3. Оптимизация производительности сериализации (возможно, замена BinaryFormatter на более современные решения)
+4. Интеграция с пакетным загрузчиком (package-loader.os)

src/OneScript.Core/Compilation/Binding/SymbolBinding.cs

@@ -6,14 +6,18 @@ This Source Code Form is subject to the terms of the
 ----------------------------------------------------------*/
 
 using System;
+using MessagePack;
 
 namespace OneScript.Compilation.Binding
 {
     [Serializable]
+    [MessagePackObject]
     public struct SymbolBinding : IEquatable<SymbolBinding>
     {
+        [Key(0)]
         public int ScopeNumber { get; set; }
 
+        [Key(1)]
         public int MemberNumber { get; set; }
 
         public bool Equals(SymbolBinding other)

src/OneScript.Core/Compilation/CacheMetadata.cs

@@ -0,0 +1,48 @@
+/*----------------------------------------------------------
+This Source Code Form is subject to the terms of the
+Mozilla Public License, v.2.0. If a copy of the MPL
+was not distributed with this file, You can obtain one
+at http://mozilla.org/MPL/2.0/.
+----------------------------------------------------------*/
+
+using System;
+
+namespace OneScript.Compilation
+{
+    /// <summary>
+    /// Метаданные кэшированного модуля
+    /// </summary>
+    [Serializable]
+    public class CacheMetadata
+    {
+        /// <summary>
+        /// Версия формата кэша
+        /// </summary>
+        public int FormatVersion { get; set; } = 1;
+
+        /// <summary>
+        /// Дата модификации исходного файла на момент компиляции
+        /// </summary>
+        public DateTime SourceModifiedTime { get; set; }
+
+        /// <summary>
+        /// Размер исходного файла на момент компиляции
+        /// </summary>
+        public long SourceSize { get; set; }
+
+        /// <summary>
+        /// Путь к исходному файлу
+        /// </summary>
+        public string SourcePath { get; set; }
+
+        /// <summary>
+        /// Время создания кэша
+        /// </summary>
+        public DateTime CacheCreatedTime { get; set; }
+
+        /// <summary>
+        /// Версия среды выполнения, использованной для компиляции
+        /// </summary>
+        public string RuntimeVersion { get; set; }
+    }
+}

src/OneScript.Core/Compilation/IModuleSerializer.cs

@@ -0,0 +1,32 @@
+/*----------------------------------------------------------
+This Source Code Form is subject to the terms of the
+Mozilla Public License, v.2.0. If a copy of the MPL
+was not distributed with this file, You can obtain one
+at http://mozilla.org/MPL/2.0/.
+----------------------------------------------------------*/
+
+using OneScript.Execution;
+
+namespace OneScript.Compilation
+{
+    /// <summary>
+    /// Интерфейс для сериализации исполняемых модулей
+    /// </summary>
+    public interface IModuleSerializer
+    {
+        /// <summary>
+        /// Сериализовать модуль в поток
+        /// </summary>
+        void Serialize(IExecutableModule module, System.IO.Stream stream);
+
+        /// <summary>
+        /// Десериализовать модуль из потока
+        /// </summary>
+        IExecutableModule Deserialize(System.IO.Stream stream);
+
+        /// <summary>
+        /// Проверить, может ли сериализатор работать с данным типом модуля
+        /// </summary>
+        bool CanSerialize(IExecutableModule module);
+    }
+}

src/OneScript.Core/Compilation/IScriptCacheService.cs

@@ -0,0 +1,44 @@
+/*----------------------------------------------------------
+This Source Code Form is subject to the terms of the
+Mozilla Public License, v.2.0. If a copy of the MPL
+was not distributed with this file, You can obtain one
+at http://mozilla.org/MPL/2.0/.
+----------------------------------------------------------*/
+
+using System;
+using OneScript.Execution;
+using OneScript.Sources;
+
+namespace OneScript.Compilation
+{
+    public interface IScriptCacheService
+    {
+        /// <summary>
+        /// Попытаться загрузить предкомпилированный модуль из кэша
+        /// </summary>
+        /// <param name="sourceFile">Путь к исходному файлу сценария</param>
+        /// <param name="module">Загруженный модуль, если кэш валиден</param>
+        /// <returns>true, если модуль успешно загружен из кэша</returns>
+        bool TryLoadFromCache(string sourceFile, out IExecutableModule module);
+
+        /// <summary>
+        /// Сохранить скомпилированный модуль в кэш
+        /// </summary>
+        /// <param name="sourceFile">Путь к исходному файлу сценария</param>
+        /// <param name="module">Скомпилированный модуль для сохранения</param>
+        void SaveToCache(string sourceFile, IExecutableModule module);
+
+        /// <summary>
+        /// Очистить кэш для указанного файла
+        /// </summary>
+        /// <param name="sourceFile">Путь к исходному файлу сценария</param>
+        void ClearCache(string sourceFile);
+
+        /// <summary>
+        /// Проверить валидность кэша для файла
+        /// </summary>
+        /// <param name="sourceFile">Путь к исходному файлу сценария</param>
+        /// <returns>true, если кэш существует и валиден</returns>
+        bool IsCacheValid(string sourceFile);
+    }
+}