НИР by stewkk · Pull Request #2 · stewkk/iu9-sql-compiler

stewkk · 2026-05-04T22:28:06Z

No description provided.

TonitaN

Очень увлекательное описание мечты, но пока ещё далёкое от систематического изложения плана её реализации)

TonitaN · 2026-05-08T19:29:13Z

+    \noindent\hspace{13.5ex}\normalsize\hspace{170pt}\hspace{2ex}\scriptsize{(Подпись, дата)}\normalsize\hspace{30pt}\hspace{6ex}\scriptsize{(И.О. Фамилия)}\normalsize
+    \bigskip
+
+    \noindent Нормоконтролер \hfill \underline{\hspace{4cm}}\quad


Это для НИР не нужно)

У меня титульник в отдельном шаблоне, убрал отсюда

TonitaN · 2026-05-08T19:29:47Z

+\anonsection{ВВЕДЕНИЕ}
+
+В эпоху стремительного роста объемов данных системы управления базами данных
+(СУБД) являются ключевой частью информационных систем. По данным аналитических


Слово ключевой очень любят роботы, лучше бы не злоупотреблять. И из этого параграфа оптимально оставить только первое предложение (ключевой -> важный, как написал бы нормальный студент).

А я в последней курсовой так и писал примерно....

iu9-sql-compiler/report/report.tex

Lines 621 to 631 in 470d60e

С развитием технологий обработки больших данных и появлением все большего числа

распределенных высоконагруженных систем, как никогда актуальным становится

вопрос эффективного хранения данных. Системы управления базами данных решают эти

задачи, упрощая разработку и экономя вычислительные ресурсы, а также место на

дисках.

Реляционные системы управления базами данных занимают более половины

рынка~\cite{DBReport} и остаются стандартом для хранения данных. Основным языком

запросов к таким системам является SQL.

Разработчики СУБД постоянно борются за производительность исполнения SQL

Поправил

Курсовую читает только руководитель, а на ВКР (есть надежда, что куски из НИР пойдут туда) будет смотреть комиссия, поэтому лучше убрать триггеры и быть проще)

TonitaN · 2026-05-08T19:31:49Z

+допускающим параллельность исполнения.
+
+Целью данной работы является разработка и реализация оптимизатора подмножества
+SQL-запросов на основе архитектуры Cascades, а также создание фреймворка для его


фреймворка -> каркаса

TonitaN · 2026-05-08T19:33:24Z

+\begin{enumerate}
+  \item \emph{Синтаксический анализ} --- запроса проходит лексический и синтаксический разбор. Результатом данного этапа
+        является синтаксическое дерево, узлы которого соответствуют конструкциям
+        языка SQL: операторам \texttt{SELECT}, \texttt{FROM}, \texttt{WHERE},


Это лучше в макросы вынести и использовать здесь уже команды

TonitaN · 2026-05-08T19:34:13Z

+
+Реляционная алгебра представляет собой формальный язык для описания операций над
+отношениями реляционной базы данных. В отличие от декларативного SQL,
+реляционная алгебра процедурной, так как она определяет конкретную


*является процедурной

TonitaN · 2026-05-08T20:09:22Z

+
+Группа в Memo представляет собой множество выражений, которые эквивалентны с
+точки зрения логического результата. Например, для отношений \(A\), \(B\) и
+\(C\) выражения


не нужно здесь выключную формулу, можно и внутритекстовую

TonitaN · 2026-05-08T20:11:18Z

+листинга~\ref{lst:query}. Например, группа \(G_5\) представляет результат
+соединения трех отношений, в ней находятся два логически эквивалентных выражения
+с разной ассоциацией соединений и четыре физические реализации для них. Входными
+данными для операторов являются группы группы, поэтому общие подвыражения не


лучше просто группы

TonitaN · 2026-05-08T20:14:20Z

+\label{fig:cascades-tasks}
+\end{figure}
+
+\section{Правила трансформации и реализации}


В этом разделе есть одна важная проблема: правила имеют другой вид, чем описывается в самой первой формуле (условие - уже после левой и правой части, например, также форма стрелки другая). Предлагаю решить проблему кардинально - написать макрос с тремя аргументами для единообразной записи правил. А затем свести их в общую таблицу, к которой уже добавить текстовые комментарии

TonitaN · 2026-05-08T20:17:42Z

+сортировкой может конкурировать с планом на основе соединения слиянием, которое
+сохраняет порядок результата.
+
+\section{Метод ветвей и границ}


Тут, конечно, маловато конкретики - хотелось бы видеть, какую стоимостную модель вы выбрали для своей системы

Добавил формулы для конкретных операторов

TonitaN · 2026-05-08T20:28:09Z

+
+% {\color{red} TODO: табличка формул для разных операторов}
+
+\section{Дифференциальный анализ физических планов}


Тут крайне мало конкретики: пока что раздел выглядит как "за всё хорошее и против всего плохого". Непонятно, какие конкретно системы считаются эталонами, как конкретно вы собираетесь конвертировать извлеченный физический план в свою модель, и не получится ли после этого преобразования совсем другая производительность, а также почему эквивалентность планов достаточно проверить на единственном наборе таблиц.

Поправил

geogreck · 2026-05-10T10:14:42Z

круто

stewkk · 2026-06-10T00:13:32Z

1. ** В документе много символов, размер которых меньше 8 пт: Стр. 58 "𝜃|𝜃|𝜃 𝜃|оба соединения внутренние;|𝜃 ∧𝜃 пере", Стр. 59 "𝑝 𝜃|𝑝 null-отбрасывающий по 𝑎𝑡𝑡𝑟𝑠(𝑆)|𝑝 �".
2. Документ содержит страницы, размеры левого поля на которых не соответствуют требованиям или отступ первой строки абзаца не равен 1.25…1.27 см: Стр. 8, Стр. 10, Стр. 11, Стр. 12, Стр. 15, Стр. 16.
3. Документ содержит страницы, размеры верхнего поля на которых не соответствуют требованиям: Стр. 15, Стр. 16, Стр. 19, Стр. 42, Стр. 44, Стр. 45, Стр. 58.
4. Номер страницы должен находиться внутри нижнего поля и располагаться по центру текста. На титульном листе номер страницы не ставится.Стр. 2.

сложно

UPD: 1 пофиксил, остальное видимо можно не фиксить

TonitaN

Необходимо выполнить балансировку частей ВКР - расширить конструкторскую часть и уменьшить исследовательскую.

Не нашла в конструкторской части ничего про дифференциальные планы. В аналитической части упоминается фаззер, который ищет к ним приближение, но почему-то ничего - про результаты его работы (какие правила так удалось улучшить, насколько часто удаётся получить такой же план, среднее расстояние до промышленного плана).

TonitaN · 2026-06-12T10:02:19Z

+итеративного улучшения путем сравнения с промышленными реализациями.
+
+Для достижения поставленной цели прежде всего требуется изучить архитектуру
+оптимиазторов Cascades и на ее основе проработать собственную.


*оптимизаторов

TonitaN · 2026-06-12T10:02:57Z

+Правила трансформации должны порождать логически эквивалентные планы, а правила
+реализации сопоставлять логическим операторам допустимые физические операторы.
+
+Для оптимизации алгоритма поиска нужно реазивовать метод ветвей и границ. Этот


*реализовать

TonitaN · 2026-06-12T10:13:11Z

+
+\setlength{\tabcolsep}{3pt}
+\newpage
+\thispagestyle{empty}


Если это отключить, то на номер страницы ругаться не будет. И нужно будет поправить точку отсчёта (добавить страницы под калпланы etc)

добавить страницы под калпланы etc

а нам вот такое писали:

Титульный лист (нумеруется, но цифорка не ставится)

Задание на ВКР (не нумеруется)

Календарный план(не нумеруется)

Аннотация (не нумеруется)

Содержание (нумеруется)

Введение (нумеруется)
....

То есть у Содержания (оно же Оглавление) номер страницы 2. Ничего из 1-5) в содержание не идёт. Первый пункт содержания - введение.

TonitaN · 2026-06-12T10:16:01Z

+Процесс исполнения SQL-запроса в реляционной СУБД проходит несколько
+последовательных этапов.
+
+\begin{enumerate}


Тут enumerate лишний, лучше абзацами, заодно могут починиться поля

TonitaN · 2026-06-12T10:18:05Z

+\]
+
+Среди основных операторов реляционной алгебры выделяют
+следующие\cite{silberschatz2020database}.


Здесь и везде - цитирование отделяем неразрывным пробелом ~

TonitaN · 2026-06-12T12:12:12Z

+для пары \((G_i, P_i)\) на текущий момент работы алгоритма. Поскольку
+оптимизация группы является рекурсивным процессом, к моменту отсечения для
+\((G_i, P_i)\) уже могут быть найдены некоторые планы, и их минимальная
+стоимость служит нижней границей. Если же группа \(G_i\) под свойством \(P_i\)


Здесь важно подчеркнуть, что поскольку C* вычислена в том же пайплайне и использовала точно не лучшие оценки стоимости дочерних групп, такая оценка корректна. Потому что если $C^*$ взята из другого выполнения, например, в котором была оценка стоимости дочерних групп более низкая, то формула вызывает вопрос, а при таких ограничениях - уже не вызывает.

TonitaN · 2026-06-12T12:13:13Z

+    C_{local}(e) + \sum_{i=1}^{k} LB(G_i, P_i) \geq C^*,
+\]
+
+то выражение \(e\) может быть отсечено. Здесь \(LB\) обозначает нижнюю границу


после выключных формул лучше бы вставлять \noindent, чтобы подавить красную строку

TonitaN · 2026-06-12T12:14:07Z

+
+\subsubsection{Метод ветвей и границ}
+
+% актуализировать: формулы, алгос и у меня другая селективность...


Здесь можно оставить общее описание и даже сократить несколько, а актуализацию - в конструкторскую часть.

TonitaN · 2026-06-12T12:18:30Z

+%   \end{minted}
+% \end{listing}
+
+Для поиска ошибок исполнения реализован дифференциальный фаззер. Он генерирует


Нужно воткнуть схему общего пайплайна вашего проекта, в виде диаграммы, затем чтобы иметь возможность вставить её в слайды на защите

TonitaN · 2026-06-12T12:22:26Z

+повторений запросов SSB. Ускорение рассчитывается как отношение времени
+выполнения наивного плана ко времени выполнения оптимизированного плана.
+
+Видно, что на стандартном наборе запросов оптимизатор дает на $20-50\%$ раз, а


*ускорение на .. .

Важно! Не прокомментированы последние кейсы, где ускорения нет. Это обязательно нужно сделать. Также нужно прокомментировать явно рис. 5-6 и дать на них ссылки в тексте, иначе рисунок 6 вообще оказывается в вакууме

Я в итоге исправил код, теперь ускорение есть везде

stewkk · 2026-06-15T15:08:41Z

статистику по правилам добавил

stewkk added 20 commits April 18, 2026 15:31

Link llvm dynamicly & implement memo popultaion

7e42bad

Impl search algorithm

893e292

Refactoring

8fe07e4

Refactoring

1495fe3

Implement RulesApplier

d2d6074

Add deduptication in Memo

28cec90

Impl Memo population

a62c354

Impl implementation rules handling in RulesApplier

c1657a7

Refactor

2028669

Update flake

6f6c199

Add limit passing

8898de9

Implement branch & bound

3d99858

Add report wip

ecdcca7

wip

93ae089

Add pdf

ea46c0e

Wip

ca605f4

Wip

030283d

Wip

8833c04

Done

0683888

Fix

470d60e

TonitaN reviewed May 8, 2026

View reviewed changes

stewkk added 2 commits May 9, 2026 18:51

Impl building optimal plan

d27e517

Impl plan serializer

095da0a

stewkk added 6 commits May 11, 2026 14:16

Impl execution of physical plan

af7fe0d

Add test

5708c10

Fix review issues

aadd497

Fix

d164eaa

Fix

456171f

Add example

ca548b3

stewkk added 12 commits June 7, 2026 23:16

Add cost and cardinality to dot graph

09eb82c

Typo

c1d0eb7

Index seek support in optimizer

a2ee42e

Fix UB

0841199

Add MergeJoin

16a4f45

Add StreamAgg

7cf088e

Update report and benchmarks

c06be56

Update report

e06b6df

Update title

ea59a71

Fix

07935e1

Fix

815e14c

Done

8483013

Implement remaining transformation rules and support constraints

d911f88

TonitaN reviewed Jun 12, 2026

View reviewed changes

stewkk added 9 commits June 14, 2026 14:15

Fix

eead31c

Fix

1c9a7b7

Update

64b4713

Fix

906f1ee

Fix

369a864

Fix

9b26cc5

Add stats collection

455b649

More stats

fcec0c0

Done?

b2a1810

stewkk added 5 commits June 15, 2026 21:05

Fix all

fa35de0

fix

9d935f9

typos

32672f6

typos

b834120

Add presentation

f861888

	С развитием технологий обработки больших данных и появлением все большего числа
	распределенных высоконагруженных систем, как никогда актуальным становится
	вопрос эффективного хранения данных. Системы управления базами данных решают эти
	задачи, упрощая разработку и экономя вычислительные ресурсы, а также место на
	дисках.

	Реляционные системы управления базами данных занимают более половины
	рынка~\cite{DBReport} и остаются стандартом для хранения данных. Основным языком
	запросов к таким системам является SQL.

	Разработчики СУБД постоянно борются за производительность исполнения SQL


		% {\color{red} TODO: табличка формул для разных операторов}

		\section{Дифференциальный анализ физических планов}


		\subsubsection{Метод ветвей и границ}

		% актуализировать: формулы, алгос и у меня другая селективность...

Conversation

stewkk commented May 4, 2026

Uh oh!

TonitaN left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

TonitaN May 8, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

geogreck commented May 10, 2026

Uh oh!

stewkk commented Jun 10, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

TonitaN left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

stewkk commented Jun 15, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

TonitaN May 8, 2026 •

edited

Loading

stewkk commented Jun 10, 2026 •

edited

Loading