37895b3a5543f6c189625da9b4645ae9d418bccc
[matthijs/master-project/report.git] / Normalization.tex
1 \chapter[chap:normalization]{Normalization}
2   % A helper to print a single example in the half the page width. The example
3   % text should be in a buffer whose name is given in an argument.
4   %
5   % The align=right option really does left-alignment, but without the program
6   % will end up on a single line. The strut=no option prevents a bunch of empty
7   % space at the start of the frame.
8   \define[1]\example{
9     \framed[offset=1mm,align=right,strut=no,background=box,frame=off]{
10       \setuptyping[option=LAM,style=sans,before=,after=,strip=auto]
11       \typebuffer[#1]
12       \setuptyping[option=none,style=\tttf,strip=auto]
13     }
14   }
15
16   \define[4]\transexample{
17     \placeexample[here][ex:trans:#1]{#2}
18     \startcombination[2*1]
19       {\example{#3}}{Original program}
20       {\example{#4}}{Transformed program}
21     \stopcombination
22   }
23
24   The first step in the core to \small{VHDL} translation process, is normalization. We
25   aim to bring the core description into a simpler form, which we can
26   subsequently translate into \small{VHDL} easily. This normal form is needed because
27   the full core language is more expressive than \small{VHDL} in some areas and because
28   core can describe expressions that do not have a direct hardware
29   interpretation.
30
31   \section{Normal form}
32     The transformations described here have a well-defined goal: To bring the
33     program in a well-defined form that is directly translatable to hardware,
34     while fully preserving the semantics of the program. We refer to this form as
35     the \emph{normal form} of the program. The formal definition of this normal
36     form is quite simple:
37
38     \placedefinition{}{A program is in \emph{normal form} if none of the
39     transformations from this chapter apply.}
40
41     Of course, this is an \quote{easy} definition of the normal form, since our
42     program will end up in normal form automatically. The more interesting part is
43     to see if this normal form actually has the properties we would like it to
44     have.
45
46     But, before getting into more definitions and details about this normal form,
47     let's try to get a feeling for it first. The easiest way to do this is by
48     describing the things we want to not have in a normal form.
49
50     \startitemize
51       \item Any \emph{polymorphism} must be removed. When laying down hardware, we
52       can't generate any signals that can have multiple types. All types must be
53       completely known to generate hardware.
54       
55       \item Any \emph{higher order} constructions must be removed. We can't
56       generate a hardware signal that contains a function, so all values,
57       arguments and returns values used must be first order.
58
59       \item Any complex \emph{nested scopes} must be removed. In the \small{VHDL}
60       description, every signal is in a single scope. Also, full expressions are
61       not supported everywhere (in particular port maps can only map signal
62       names and constants, not complete expressions). To make the \small{VHDL}
63       generation easy, a separate binder must be bound to ever application or
64       other expression.
65     \stopitemize
66
67     \todo{Intermezzo: functions vs plain values}
68
69     A very simple example of a program in normal form is given in
70     \in{example}[ex:MulSum]. As you can see, all arguments to the function (which
71     will become input ports in the final hardware) are at the outer level.
72     This means that the body of the inner lambda abstraction is never a
73     function, but always a plain value.
74
75     As the body of the inner lambda abstraction, we see a single (recursive)
76     let expression, that binds two variables (\lam{mul} and \lam{sum}). These
77     variables will be signals in the final hardware, bound to the output port
78     of the \lam{*} and \lam{+} components.
79
80     The final line (the \quote{return value} of the function) selects the
81     \lam{sum} signal to be the output port of the function. This \quote{return
82     value} can always only be a variable reference, never a more complex
83     expression.
84
85     \todo{Add generated VHDL}
86
87     \startbuffer[MulSum]
88     alu :: Bit -> Word -> Word -> Word
89     alu = λa.λb.λc.
90         let
91           mul = (*) a b
92           sum = (+) mul c
93         in
94           sum
95     \stopbuffer
96
97     \startuseMPgraphic{MulSum}
98       save a, b, c, mul, add, sum;
99
100       % I/O ports
101       newCircle.a(btex $a$ etex) "framed(false)";
102       newCircle.b(btex $b$ etex) "framed(false)";
103       newCircle.c(btex $c$ etex) "framed(false)";
104       newCircle.sum(btex $res$ etex) "framed(false)";
105
106       % Components
107       newCircle.mul(btex * etex);
108       newCircle.add(btex + etex);
109
110       a.c      - b.c   = (0cm, 2cm);
111       b.c      - c.c   = (0cm, 2cm);
112       add.c            = c.c + (2cm, 0cm);
113       mul.c            = midpoint(a.c, b.c) + (2cm, 0cm);
114       sum.c            = add.c + (2cm, 0cm);
115       c.c              = origin;
116
117       % Draw objects and lines
118       drawObj(a, b, c, mul, add, sum);
119
120       ncarc(a)(mul) "arcangle(15)";
121       ncarc(b)(mul) "arcangle(-15)";
122       ncline(c)(add);
123       ncline(mul)(add);
124       ncline(add)(sum);
125     \stopuseMPgraphic
126
127     \placeexample[here][ex:MulSum]{Simple architecture consisting of a
128     multiplier and a subtractor.}
129       \startcombination[2*1]
130         {\typebufferlam{MulSum}}{Core description in normal form.}
131         {\boxedgraphic{MulSum}}{The architecture described by the normal form.}
132       \stopcombination
133
134     The previous example described composing an architecture by calling other
135     functions (operators), resulting in a simple architecture with components and
136     connections. There is of course also some mechanism for choice in the normal
137     form. In a normal Core program, the \emph{case} expression can be used in a
138     few different ways to describe choice. In normal form, this is limited to a
139     very specific form.
140
141     \in{Example}[ex:AddSubAlu] shows an example describing a
142     simple \small{ALU}, which chooses between two operations based on an opcode
143     bit. The main structure is similar to \in{example}[ex:MulSum], but this
144     time the \lam{res} variable is bound to a case expression. This case
145     expression scrutinizes the variable \lam{opcode} (and scrutinizing more
146     complex expressions is not supported). The case expression can select a
147     different variable based on the constructor of \lam{opcode}.
148
149     \startbuffer[AddSubAlu]
150     alu :: Bit -> Word -> Word -> Word
151     alu = λopcode.λa.λb.
152         let
153           res1 = (+) a b
154           res2 = (-) a b
155           res = case opcode of
156             Low -> res1
157             High -> res2
158         in
159           res
160     \stopbuffer
161
162     \startuseMPgraphic{AddSubAlu}
163       save opcode, a, b, add, sub, mux, res;
164
165       % I/O ports
166       newCircle.opcode(btex $opcode$ etex) "framed(false)";
167       newCircle.a(btex $a$ etex) "framed(false)";
168       newCircle.b(btex $b$ etex) "framed(false)";
169       newCircle.res(btex $res$ etex) "framed(false)";
170       % Components
171       newCircle.add(btex + etex);
172       newCircle.sub(btex - etex);
173       newMux.mux;
174
175       opcode.c - a.c   = (0cm, 2cm);
176       add.c    - a.c   = (4cm, 0cm);
177       sub.c    - b.c   = (4cm, 0cm);
178       a.c      - b.c   = (0cm, 3cm);
179       mux.c            = midpoint(add.c, sub.c) + (1.5cm, 0cm);
180       res.c    - mux.c = (1.5cm, 0cm);
181       b.c              = origin;
182
183       % Draw objects and lines
184       drawObj(opcode, a, b, res, add, sub, mux);
185
186       ncline(a)(add) "posA(e)";
187       ncline(b)(sub) "posA(e)";
188       nccurve(a)(sub) "posA(e)", "angleA(0)";
189       nccurve(b)(add) "posA(e)", "angleA(0)";
190       nccurve(add)(mux) "posB(inpa)", "angleB(0)";
191       nccurve(sub)(mux) "posB(inpb)", "angleB(0)";
192       nccurve(opcode)(mux) "posB(n)", "angleA(0)", "angleB(-90)";
193       ncline(mux)(res) "posA(out)";
194     \stopuseMPgraphic
195
196     \placeexample[here][ex:AddSubAlu]{Simple \small{ALU} supporting two operations.}
197       \startcombination[2*1]
198         {\typebufferlam{AddSubAlu}}{Core description in normal form.}
199         {\boxedgraphic{AddSubAlu}}{The architecture described by the normal form.}
200       \stopcombination
201
202     As a more complete example, consider \in{example}[ex:NormalComplete]. This
203     example contains everything that is supported in normal form, with the
204     exception of builtin higher order functions. The graphical version of the
205     architecture contains a slightly simplified version, since the state tuple
206     packing and unpacking have been left out. Instead, two seperate registers are
207     drawn. Also note that most synthesis tools will further optimize this
208     architecture by removing the multiplexers at the register input and
209     instead put some gates in front of the register's clock input, but we want
210     to show the architecture as close to the description as possible.
211
212     As you can see from the previous examples, the generation of the final
213     architecture from the normal form is straightforward. In each of the
214     examples, there is a direct match between the normal form structure,
215     the generated VHDL and the architecture shown in the images.
216
217     \startbuffer[NormalComplete]
218       regbank :: Bit 
219                  -> Word 
220                  -> State (Word, Word) 
221                  -> (State (Word, Word), Word)
222
223       -- All arguments are an inital lambda (address, data, packed state)
224       regbank = λa.λd.λsp.
225       -- There are nested let expressions at top level
226       let
227         -- Unpack the state by coercion (\eg, cast from
228         -- State (Word, Word) to (Word, Word))
229         s = sp ▶ (Word, Word)
230         -- Extract both registers from the state
231         r1 = case s of (a, b) -> a
232         r2 = case s of (a, b) -> b
233         -- Calling some other user-defined function.
234         d' = foo d
235         -- Conditional connections
236         out = case a of
237           High -> r1
238           Low -> r2
239         r1' = case a of
240           High -> d'
241           Low -> r1
242         r2' = case a of
243           High -> r2
244           Low -> d'
245         -- Packing a tuple
246         s' = (,) r1' r2'
247         -- pack the state by coercion (\eg, cast from
248         -- (Word, Word) to State (Word, Word))
249         sp' = s' ▶ State (Word, Word)
250         -- Pack our return value
251         res = (,) sp' out
252       in
253         -- The actual result
254         res
255     \stopbuffer
256
257     \startuseMPgraphic{NormalComplete}
258       save a, d, r, foo, muxr, muxout, out;
259
260       % I/O ports
261       newCircle.a(btex \lam{a} etex) "framed(false)";
262       newCircle.d(btex \lam{d} etex) "framed(false)";
263       newCircle.out(btex \lam{out} etex) "framed(false)";
264       % Components
265       %newCircle.add(btex + etex);
266       newBox.foo(btex \lam{foo} etex);
267       newReg.r1(btex $\lam{r1}$ etex) "dx(4mm)", "dy(6mm)";
268       newReg.r2(btex $\lam{r2}$ etex) "dx(4mm)", "dy(6mm)", "reflect(true)";
269       newMux.muxr1;
270       % Reflect over the vertical axis
271       reflectObj(muxr1)((0,0), (0,1));
272       newMux.muxr2;
273       newMux.muxout;
274       rotateObj(muxout)(-90);
275
276       d.c               = foo.c + (0cm, 1.5cm); 
277       a.c               = (xpart r2.c + 2cm, ypart d.c - 0.5cm);
278       foo.c             = midpoint(muxr1.c, muxr2.c) + (0cm, 2cm);
279       muxr1.c           = r1.c + (0cm, 2cm);
280       muxr2.c           = r2.c + (0cm, 2cm);
281       r2.c              = r1.c + (4cm, 0cm);
282       r1.c              = origin;
283       muxout.c          = midpoint(r1.c, r2.c) - (0cm, 2cm);
284       out.c             = muxout.c - (0cm, 1.5cm);
285
286     %  % Draw objects and lines
287       drawObj(a, d, foo, r1, r2, muxr1, muxr2, muxout, out);
288       
289       ncline(d)(foo);
290       nccurve(foo)(muxr1) "angleA(-90)", "posB(inpa)", "angleB(180)";
291       nccurve(foo)(muxr2) "angleA(-90)", "posB(inpb)", "angleB(0)";
292       nccurve(muxr1)(r1) "posA(out)", "angleA(180)", "posB(d)", "angleB(0)";
293       nccurve(r1)(muxr1) "posA(out)", "angleA(0)", "posB(inpb)", "angleB(180)";
294       nccurve(muxr2)(r2) "posA(out)", "angleA(0)", "posB(d)", "angleB(180)";
295       nccurve(r2)(muxr2) "posA(out)", "angleA(180)", "posB(inpa)", "angleB(0)";
296       nccurve(r1)(muxout) "posA(out)", "angleA(0)", "posB(inpb)", "angleB(-90)";
297       nccurve(r2)(muxout) "posA(out)", "angleA(180)", "posB(inpa)", "angleB(-90)";
298       % Connect port a
299       nccurve(a)(muxout) "angleA(-90)", "angleB(180)", "posB(sel)";
300       nccurve(a)(muxr1) "angleA(180)", "angleB(-90)", "posB(sel)";
301       nccurve(a)(muxr2) "angleA(180)", "angleB(-90)", "posB(sel)";
302       ncline(muxout)(out) "posA(out)";
303     \stopuseMPgraphic
304
305     \todo{Don't split registers in this image?}
306     \placeexample[here][ex:NormalComplete]{Simple architecture consisting of an adder and a
307     subtractor.}
308       \startcombination[2*1]
309         {\typebufferlam{NormalComplete}}{Core description in normal form.}
310         {\boxedgraphic{NormalComplete}}{The architecture described by the normal form.}
311       \stopcombination
312     
313
314
315     \subsection[sec:normalization:intendednormalform]{Intended normal form definition}
316       Now we have some intuition for the normal form, we can describe how we want
317       the normal form to look like in a slightly more formal manner. The following
318       EBNF-like description completely captures the intended structure (and
319       generates a subset of GHC's core format).
320
321       Some clauses have an expression listed in parentheses. These are conditions
322       that need to apply to the clause.
323
324       \defref{intended normal form definition}
325       \todo{Fix indentation}
326       \startlambda
327       \italic{normal} := \italic{lambda}
328       \italic{lambda} := λvar.\italic{lambda} (representable(var))
329                       | \italic{toplet} 
330       \italic{toplet} := letrec [\italic{binding}...] in var (representable(var))
331       \italic{binding} := var = \italic{rhs} (representable(rhs))
332                        -- State packing and unpacking by coercion
333                        | var0 = var1 ▶ State ty (lvar(var1))
334                        | var0 = var1 ▶ ty (var1 :: State ty ∧ lvar(var1))
335       \italic{rhs} := userapp
336                    | builtinapp
337                    -- Extractor case
338                    | case var of C a0 ... an -> ai (lvar(var))
339                    -- Selector case
340                    | case var of (lvar(var))
341                       [ DEFAULT -> var ]  (lvar(var))
342                       C0 w0,0 ... w0,n -> var0
343                       \vdots
344                       Cm wm,0 ... wm,n -> varm       (\forall{}i \forall{}j, wi,j \neq vari, lvar(vari))
345       \italic{userapp} := \italic{userfunc}
346                        | \italic{userapp} {userarg}
347       \italic{userfunc} := var (gvar(var))
348       \italic{userarg} := var (lvar(var))
349       \italic{builtinapp} := \italic{builtinfunc}
350                           | \italic{builtinapp} \italic{builtinarg}
351       \italic{builtinfunc} := var (bvar(var))
352       \italic{builtinarg} := var (representable(var) ∧ lvar(var))
353                           | \italic{partapp} (partapp :: a -> b)
354                           | \italic{coreexpr} (¬representable(coreexpr) ∧ ¬(coreexpr :: a -> b))
355       \italic{partapp} := \italic{userapp} | \italic{builtinapp}
356       \stoplambda
357
358       \todo{There can still be other casts around (which the code can handle,
359       e.g., ignore), which still need to be documented here}
360
361       When looking at such a program from a hardware perspective, the top level
362       lambda's define the input ports. The variable reference in the body of
363       the recursive let expression is the output port. Most function
364       applications bound by the let expression define a component
365       instantiation, where the input and output ports are mapped to local
366       signals or arguments. Some of the others use a builtin construction (\eg
367       the \lam{case} expression) or call a builtin function (\eg \lam{+} or
368       \lam{map}). For these, a hardcoded \small{VHDL} translation is
369       available.
370
371   \section[sec:normalization:transformation]{Transformation notation}
372     To be able to concisely present transformations, we use a specific format
373     for them. It is a simple format, similar to one used in logic reasoning.
374
375     Such a transformation description looks like the following.
376
377     \starttrans
378     <context conditions>
379     ~
380     <original expression>
381     --------------------------          <expression conditions>
382     <transformed expresssion>
383     ~
384     <context additions>
385     \stoptrans
386
387     This format desribes a transformation that applies to \lam{<original
388     expresssion>} and transforms it into \lam{<transformed expression>}, assuming
389     that all conditions apply. In this format, there are a number of placeholders
390     in pointy brackets, most of which should be rather obvious in their meaning.
391     Nevertheless, we will more precisely specify their meaning below:
392
393       \startdesc{<original expression>} The expression pattern that will be matched
394       against (subexpressions of) the expression to be transformed. We call this a
395       pattern, because it can contain \emph{placeholders} (variables), which match
396       any expression or binder. Any such placeholder is said to be \emph{bound} to
397       the expression it matches. It is convention to use an uppercase letter (\eg
398       \lam{M} or \lam{E}) to refer to any expression (including a simple variable
399       reference) and lowercase letters (\eg \lam{v} or \lam{b}) to refer to
400       (references to) binders.
401
402       For example, the pattern \lam{a + B} will match the expression 
403       \lam{v + (2 * w)} (binding \lam{a} to \lam{v} and \lam{B} to 
404       \lam{(2 * w)}), but not \lam{(2 * w) + v}.
405       \stopdesc
406
407       \startdesc{<expression conditions>}
408       These are extra conditions on the expression that is matched. These
409       conditions can be used to further limit the cases in which the
410       transformation applies, commonly to prevent a transformation from
411       causing a loop with itself or another transformation.
412
413       Only if these conditions are \emph{all} true, the transformation
414       applies.
415       \stopdesc
416
417       \startdesc{<context conditions>}
418       These are a number of extra conditions on the context of the function. In
419       particular, these conditions can require some (other) top level function to be
420       present, whose value matches the pattern given here. The format of each of
421       these conditions is: \lam{binder = <pattern>}.
422
423       Typically, the binder is some placeholder bound in the \lam{<original
424       expression>}, while the pattern contains some placeholders that are used in
425       the \lam{transformed expression}.
426       
427       Only if a top level binder exists that matches each binder and pattern,
428       the transformation applies.
429       \stopdesc
430
431       \startdesc{<transformed expression>}
432       This is the expression template that is the result of the transformation. If, looking
433       at the above three items, the transformation applies, the \lam{<original
434       expression>} is completely replaced with the \lam{<transformed expression>}.
435       We call this a template, because it can contain placeholders, referring to
436       any placeholder bound by the \lam{<original expression>} or the
437       \lam{<context conditions>}. The resulting expression will have those
438       placeholders replaced by the values bound to them.
439
440       Any binder (lowercase) placeholder that has no value bound to it yet will be
441       bound to (and replaced with) a fresh binder.
442       \stopdesc
443
444       \startdesc{<context additions>}
445       These are templates for new functions to add to the context. This is a way
446       to have a transformation create new top level functions.
447
448       Each addition has the form \lam{binder = template}. As above, any
449       placeholder in the addition is replaced with the value bound to it, and any
450       binder placeholder that has no value bound to it yet will be bound to (and
451       replaced with) a fresh binder.
452       \stopdesc
453
454     As an example, we'll look at η-abstraction:
455
456     \starttrans
457     E                 \lam{E :: a -> b}
458     --------------    \lam{E} does not occur on a function position in an application
459     λx.E x            \lam{E} is not a lambda abstraction.
460     \stoptrans
461
462     η-abstraction is a well known transformation from lambda calculus. What
463     this transformation does, is take any expression that has a function type
464     and turn it into a lambda expression (giving an explicit name to the
465     argument). There are some extra conditions that ensure that this
466     transformation does not apply infinitely (which are not necessarily part
467     of the conventional definition of η-abstraction).
468
469     Consider the following function, which is a fairly obvious way to specify a
470     simple ALU (Note that \in{example}[ex:AddSubAlu] shows the normal form of this
471     function). The parentheses around the \lam{+} and \lam{-} operators are
472     commonly used in Haskell to show that the operators are used as normal
473     functions, instead of \emph{infix} operators (\eg, the operators appear
474     before their arguments, instead of in between).
475
476     \startlambda 
477     alu :: Bit -> Word -> Word -> Word
478     alu = λopcode. case opcode of
479       Low -> (+)
480       High -> (-)
481     \stoplambda
482
483     There are a few subexpressions in this function to which we could possibly
484     apply the transformation. Since the pattern of the transformation is only
485     the placeholder \lam{E}, any expression will match that. Whether the
486     transformation applies to an expression is thus solely decided by the
487     conditions to the right of the transformation.
488
489     We will look at each expression in the function in a top down manner. The
490     first expression is the entire expression the function is bound to.
491
492     \startlambda
493     λopcode. case opcode of
494       Low -> (+)
495       High -> (-)
496     \stoplambda
497
498     As said, the expression pattern matches this. The type of this expression is
499     \lam{Bit -> Word -> Word -> Word}, which matches \lam{a -> b} (Note that in
500     this case \lam{a = Bit} and \lam{b = Word -> Word -> Word}).
501
502     Since this expression is at top level, it does not occur at a function
503     position of an application. However, The expression is a lambda abstraction,
504     so this transformation does not apply.
505
506     The next expression we could apply this transformation to, is the body of
507     the lambda abstraction:
508
509     \startlambda
510     case opcode of
511       Low -> (+)
512       High -> (-)
513     \stoplambda
514
515     The type of this expression is \lam{Word -> Word -> Word}, which again
516     matches \lam{a -> b}. The expression is the body of a lambda expression, so
517     it does not occur at a function position of an application. Finally, the
518     expression is not a lambda abstraction but a case expression, so all the
519     conditions match. There are no context conditions to match, so the
520     transformation applies.
521
522     By now, the placeholder \lam{E} is bound to the entire expression. The
523     placeholder \lam{x}, which occurs in the replacement template, is not bound
524     yet, so we need to generate a fresh binder for that. Let's use the binder
525     \lam{a}. This results in the following replacement expression:
526
527     \startlambda
528     λa.(case opcode of
529       Low -> (+)
530       High -> (-)) a
531     \stoplambda
532
533     Continuing with this expression, we see that the transformation does not
534     apply again (it is a lambda expression). Next we look at the body of this
535     lambda abstraction:
536
537     \startlambda
538     (case opcode of
539       Low -> (+)
540       High -> (-)) a
541     \stoplambda
542     
543     Here, the transformation does apply, binding \lam{E} to the entire
544     expression and \lam{x} to the fresh binder \lam{b}, resulting in the
545     replacement:
546
547     \startlambda
548     λb.(case opcode of
549       Low -> (+)
550       High -> (-)) a b
551     \stoplambda
552
553     Again, the transformation does not apply to this lambda abstraction, so we
554     look at its body. For brevity, we'll put the case statement on one line from
555     now on.
556
557     \startlambda
558     (case opcode of Low -> (+); High -> (-)) a b
559     \stoplambda
560
561     The type of this expression is \lam{Word}, so it does not match \lam{a -> b}
562     and the transformation does not apply. Next, we have two options for the
563     next expression to look at: The function position and argument position of
564     the application. The expression in the argument position is \lam{b}, which
565     has type \lam{Word}, so the transformation does not apply. The expression in
566     the function position is:
567
568     \startlambda
569     (case opcode of Low -> (+); High -> (-)) a
570     \stoplambda
571
572     Obviously, the transformation does not apply here, since it occurs in
573     function position (which makes the second condition false). In the same
574     way the transformation does not apply to both components of this
575     expression (\lam{case opcode of Low -> (+); High -> (-)} and \lam{a}), so
576     we'll skip to the components of the case expression: The scrutinee and
577     both alternatives. Since the opcode is not a function, it does not apply
578     here.
579
580     The first alternative is \lam{(+)}. This expression has a function type
581     (the operator still needs two arguments). It does not occur in function
582     position of an application and it is not a lambda expression, so the
583     transformation applies.
584
585     We look at the \lam{<original expression>} pattern, which is \lam{E}.
586     This means we bind \lam{E} to \lam{(+)}. We then replace the expression
587     with the \lam{<transformed expression>}, replacing all occurences of
588     \lam{E} with \lam{(+)}. In the \lam{<transformed expression>}, the This gives us the replacement expression:
589     \lam{λx.(+) x} (A lambda expression binding \lam{x}, with a body that
590     applies the addition operator to \lam{x}).
591
592     The complete function then becomes:
593     \startlambda
594     (case opcode of Low -> λa1.(+) a1; High -> (-)) a
595     \stoplambda
596
597     Now the transformation no longer applies to the complete first alternative
598     (since it is a lambda expression). It does not apply to the addition
599     operator again, since it is now in function position in an application. It
600     does, however, apply to the application of the addition operator, since
601     that is neither a lambda expression nor does it occur in function
602     position. This means after one more application of the transformation, the
603     function becomes:
604
605     \startlambda
606     (case opcode of Low -> λa1.λb1.(+) a1 b1; High -> (-)) a
607     \stoplambda
608
609     The other alternative is left as an exercise to the reader. The final
610     function, after applying η-abstraction until it does no longer apply is:
611
612     \startlambda 
613     alu :: Bit -> Word -> Word -> Word
614     alu = λopcode.λa.b. (case opcode of
615       Low -> λa1.λb1 (+) a1 b1
616       High -> λa2.λb2 (-) a2 b2) a b
617     \stoplambda
618
619     \subsection{Transformation application}
620       In this chapter we define a number of transformations, but how will we apply
621       these? As stated before, our normal form is reached as soon as no
622       transformation applies anymore. This means our application strategy is to
623       simply apply any transformation that applies, and continuing to do that with
624       the result of each transformation.
625
626       In particular, we define no particular order of transformations. Since
627       transformation order should not influence the resulting normal form,
628       this leaves the implementation free to choose any application order that
629       results in an efficient implementation. Unfortunately this is not
630       entirely true for the current set of transformations. See
631       \in{section}[sec:normalization:non-determinism] for a discussion of this
632       problem.
633
634       When applying a single transformation, we try to apply it to every (sub)expression
635       in a function, not just the top level function body. This allows us to
636       keep the transformation descriptions concise and powerful.
637
638     \subsection{Definitions}
639       In the following sections, we will be using a number of functions and
640       notations, which we will define here.
641
642       \subsubsection{Concepts}
643         A \emph{global variable} is any variable (binder) that is bound at the
644         top level of a program, or an external module. A \emph{local variable} is any
645         other variable (\eg, variables local to a function, which can be bound by
646         lambda abstractions, let expressions and pattern matches of case
647         alternatives).  Note that this is a slightly different notion of global versus
648         local than what \small{GHC} uses internally.
649         \defref{global variable} \defref{local variable}
650
651         A \emph{hardware representable} (or just \emph{representable}) type or value
652         is (a value of) a type that we can generate a signal for in hardware. For
653         example, a bit, a vector of bits, a 32 bit unsigned word, etc. Values that are
654         not runtime representable notably include (but are not limited to): Types,
655         dictionaries, functions.
656         \defref{representable}
657
658         A \emph{builtin function} is a function supplied by the Cλash framework, whose
659         implementation is not valid Cλash. The implementation is of course valid
660         Haskell, for simulation, but it is not expressable in Cλash.
661         \defref{builtin function} \defref{user-defined function}
662
663       For these functions, Cλash has a \emph{builtin hardware translation}, so calls
664       to these functions can still be translated. These are functions like
665       \lam{map}, \lam{hwor} and \lam{length}.
666
667       A \emph{user-defined} function is a function for which we do have a Cλash
668       implementation available.
669
670       \subsubsection{Predicates}
671         Here, we define a number of predicates that can be used below to concisely
672         specify conditions.\refdef{global variable}
673
674         \emph{gvar(expr)} is true when \emph{expr} is a variable that references a
675         global variable. It is false when it references a local variable.
676
677         \refdef{local variable}\emph{lvar(expr)} is the complement of \emph{gvar}; it is true when \emph{expr}
678         references a local variable, false when it references a global variable.
679
680         \refdef{representable}\emph{representable(expr)} or \emph{representable(var)} is true when
681         \emph{expr} or \emph{var} is \emph{representable}.
682
683     \subsection[sec:normalization:uniq]{Binder uniqueness}
684       A common problem in transformation systems, is binder uniqueness. When not
685       considering this problem, it is easy to create transformations that mix up
686       bindings and cause name collisions. Take for example, the following core
687       expression:
688
689       \startlambda
690       (λa.λb.λc. a * b * c) x c
691       \stoplambda
692
693       By applying β-reduction (see \in{section}[sec:normalization:beta]) once,
694       we can simplify this expression to:
695
696       \startlambda
697       (λb.λc. x * b * c) c
698       \stoplambda
699
700       Now, we have replaced the \lam{a} binder with a reference to the \lam{x}
701       binder. No harm done here. But note that we see multiple occurences of the
702       \lam{c} binder. The first is a binding occurence, to which the second refers.
703       The last, however refers to \emph{another} instance of \lam{c}, which is
704       bound somewhere outside of this expression. Now, if we would apply beta
705       reduction without taking heed of binder uniqueness, we would get:
706
707       \startlambda
708       λc. x * c * c
709       \stoplambda
710
711       This is obviously not what was supposed to happen! The root of this problem is
712       the reuse of binders: Identical binders can be bound in different scopes, such
713       that only the inner one is \quote{visible} in the inner expression. In the example
714       above, the \lam{c} binder was bound outside of the expression and in the inner
715       lambda expression. Inside that lambda expression, only the inner \lam{c} is
716       visible.
717
718       There are a number of ways to solve this. \small{GHC} has isolated this
719       problem to their binder substitution code, which performs \emph{deshadowing}
720       during its expression traversal. This means that any binding that shadows
721       another binding on a higher level is replaced by a new binder that does not
722       shadow any other binding. This non-shadowing invariant is enough to prevent
723       binder uniqueness problems in \small{GHC}.
724
725       In our transformation system, maintaining this non-shadowing invariant is
726       a bit harder to do (mostly due to implementation issues, the prototype doesn't
727       use \small{GHC}'s subsitution code). Also, the following points can be
728       observed.
729
730       \startitemize
731       \item Deshadowing does not guarantee overall uniqueness. For example, the
732       following (slightly contrived) expression shows the identifier \lam{x} bound in
733       two seperate places (and to different values), even though no shadowing
734       occurs.
735
736       \startlambda
737       (let x = 1 in x) + (let x = 2 in x)
738       \stoplambda
739
740       \item In our normal form (and the resulting \small{VHDL}), all binders
741       (signals) within the same function (entity) will end up in the same
742       scope. To allow this, all binders within the same function should be
743       unique.
744
745       \item When we know that all binders in an expression are unique, moving around
746       or removing a subexpression will never cause any binder conflicts. If we have
747       some way to generate fresh binders, introducing new subexpressions will not
748       cause any problems either. The only way to cause conflicts is thus to
749       duplicate an existing subexpression.
750       \stopitemize
751
752       Given the above, our prototype maintains a unique binder invariant. This
753       means that in any given moment during normalization, all binders \emph{within
754       a single function} must be unique. To achieve this, we apply the following
755       technique.
756
757       \todo{Define fresh binders and unique supplies}
758
759       \startitemize
760       \item Before starting normalization, all binders in the function are made
761       unique. This is done by generating a fresh binder for every binder used. This
762       also replaces binders that did not cause any conflict, but it does ensure that
763       all binders within the function are generated by the same unique supply.
764       \refdef{fresh binder}
765       \item Whenever a new binder must be generated, we generate a fresh binder that
766       is guaranteed to be different from \emph{all binders generated so far}. This
767       can thus never introduce duplication and will maintain the invariant.
768       \item Whenever (a part of) an expression is duplicated (for example when
769       inlining), all binders in the expression are replaced with fresh binders
770       (using the same method as at the start of normalization). These fresh binders
771       can never introduce duplication, so this will maintain the invariant.
772       \item Whenever we move part of an expression around within the function, there
773       is no need to do anything special. There is obviously no way to introduce
774       duplication by moving expressions around. Since we know that each of the
775       binders is already unique, there is no way to introduce (incorrect) shadowing
776       either.
777       \stopitemize
778
779   \section{Transform passes}
780     In this section we describe the actual transforms.
781
782     Each transformation will be described informally first, explaining
783     the need for and goal of the transformation. Then, we will formally define
784     the transformation using the syntax introduced in
785     \in{section}[sec:normalization:transformation].
786
787     \subsection{General cleanup}
788       These transformations are general cleanup transformations, that aim to
789       make expressions simpler. These transformations usually clean up the
790        mess left behind by other transformations or clean up expressions to
791        expose new transformation opportunities for other transformations.
792
793        Most of these transformations are standard optimizations in other
794        compilers as well. However, in our compiler, most of these are not just
795        optimizations, but they are required to get our program into intended
796        normal form.
797
798         \placeintermezzo{}{
799           \defref{substitution notation}
800           \startframedtext[width=8cm,background=box,frame=no]
801           \startalignment[center]
802             {\tfa Substitution notation}
803           \stopalignment
804           \blank[medium]
805
806           In some of the transformations in this chapter, we need to perform
807           substitution on an expression. Substitution means replacing every
808           occurence of some expression (usually a variable reference) with
809           another expression.
810
811           There have been a lot of different notations used in literature for
812           specifying substitution. The notation that will be used in this report
813           is the following:
814
815           \startlambda
816             E[A=>B]
817           \stoplambda
818
819           This means expression \lam{E} with all occurences of \lam{A} replaced
820           with \lam{B}.
821           \stopframedtext
822         }
823
824       \defref{beta-reduction}
825       \subsubsection[sec:normalization:beta]{β-reduction}
826         β-reduction is a well known transformation from lambda calculus, where it is
827         the main reduction step. It reduces applications of lambda abstractions,
828         removing both the lambda abstraction and the application.
829
830         In our transformation system, this step helps to remove unwanted lambda
831         abstractions (basically all but the ones at the top level). Other
832         transformations (application propagation, non-representable inlining) make
833         sure that most lambda abstractions will eventually be reducable by
834         β-reduction.
835
836         Note that β-reduction also works on type lambda abstractions and type
837         applications as well. This means the substitution below also works on
838         type variables, in the case that the binder is a type variable and teh
839         expression applied to is a type.
840
841         \starttrans
842         (λx.E) M
843         -----------------
844         E[x=>M]
845         \stoptrans
846
847         % And an example
848         \startbuffer[from]
849         (λa. 2 * a) (2 * b)
850         \stopbuffer
851
852         \startbuffer[to]
853         2 * (2 * b)
854         \stopbuffer
855
856         \transexample{beta}{β-reduction}{from}{to}
857
858         \startbuffer[from]
859         (λt.λa::t. a) @Int
860         \stopbuffer
861
862         \startbuffer[to]
863         (λa::Int. a)
864         \stopbuffer
865
866         \transexample{beta-type}{β-reduction for type abstractions}{from}{to}
867        
868       \subsubsection{Empty let removal}
869         This transformation is simple: It removes recursive lets that have no bindings
870         (which usually occurs when unused let binding removal removes the last
871         binding from it).
872
873         Note that there is no need to define this transformation for
874         non-recursive lets, since they always contain exactly one binding.
875
876         \starttrans
877         letrec in M
878         --------------
879         M
880         \stoptrans
881
882         \todo{Example}
883
884       \subsubsection[sec:normalization:simplelet]{Simple let binding removal}
885         This transformation inlines simple let bindings, that bind some
886         binder to some other binder instead of a more complex expression (\ie
887         a = b).
888
889         This transformation is not needed to get an expression into intended
890         normal form (since these bindings are part of the intended normal
891         form), but makes the resulting \small{VHDL} a lot shorter.
892        
893         \refdef{substitution notation}
894         \starttrans
895         letrec
896           a0 = E0
897           \vdots
898           ai = b
899           \vdots
900           an = En
901         in
902           M
903         -----------------------------  \lam{b} is a variable reference
904         letrec                         \lam{ai} ≠ \lam{b}
905           a0 = E0 [ai=>b]
906           \vdots
907           ai-1 = Ei-1 [ai=>b]
908           ai+1 = Ei+1 [ai=>b]
909           \vdots
910           an = En [ai=>b]
911         in
912           M[ai=>b]
913         \stoptrans
914
915         \todo{example}
916
917       \subsubsection{Unused let binding removal}
918         This transformation removes let bindings that are never used.
919         Occasionally, \GHC's desugarer introduces some unused let bindings.
920
921         This normalization pass should really be unneeded to get into intended normal form
922         (since unused bindings are not forbidden by the normal form), but in practice
923         the desugarer or simplifier emits some unused bindings that cannot be
924         normalized (e.g., calls to a \type{PatError}\todo{Check this name}). Also,
925         this transformation makes the resulting \small{VHDL} a lot shorter.
926
927         \todo{Don't use old-style numerals in transformations}
928         \starttrans
929         letrec
930           a0 = E0
931           \vdots
932           ai = Ei
933           \vdots
934           an = En
935         in
936           M                             \lam{ai} does not occur free in \lam{M}
937         ----------------------------    \forall j, 0 ≤ j ≤ n, j ≠ i (\lam{ai} does not occur free in \lam{Ej})
938         letrec
939           a0 = E0
940           \vdots
941           ai-1 = Ei-1
942           ai+1 = Ei+1
943           \vdots
944           an = En
945         in
946           M
947         \stoptrans
948
949         \todo{Example}
950
951       \subsubsection{Cast propagation / simplification}
952         This transform pushes casts down into the expression as far as possible.
953         Since its exact role and need is not clear yet, this transformation is
954         not yet specified.
955
956         \todo{Cast propagation}
957
958       \subsubsection{Top level binding inlining}
959         This transform takes simple top level bindings generated by the
960         \small{GHC} compiler. \small{GHC} sometimes generates very simple
961         \quote{wrapper} bindings, which are bound to just a variable
962         reference, or a partial application to constants or other variable
963         references.
964
965         Note that this transformation is completely optional. It is not
966         required to get any function into intended normal form, but it does help making
967         the resulting VHDL output easier to read (since it removes a bunch of
968         components that are really boring).
969
970         This transform takes any top level binding generated by the compiler,
971         whose normalized form contains only a single let binding.
972
973         \starttrans
974         x = λa0 ... λan.let y = E in y
975         ~
976         x
977         --------------------------------------         \lam{x} is generated by the compiler
978         λa0 ... λan.let y = E in y
979         \stoptrans
980
981         \startbuffer[from]
982         (+) :: Word -> Word -> Word
983         (+) = GHC.Num.(+) @Word \$dNum
984         ~
985         (+) a b
986         \stopbuffer
987         \startbuffer[to]
988         GHC.Num.(+) @ Alu.Word \$dNum a b
989         \stopbuffer
990
991         \transexample{toplevelinline}{Top level binding inlining}{from}{to}
992        
993         \in{Example}[ex:trans:toplevelinline] shows a typical application of
994         the addition operator generated by \GHC. The type and dictionary
995         arguments used here are described in
996         \in{Section}[section:prototype:polymorphism].
997
998         Without this transformation, there would be a \lam{(+)} entity
999         in the \VHDL which would just add its inputs. This generates a
1000         lot of overhead in the \VHDL, which is particularly annoying
1001         when browsing the generated RTL schematic (especially since most
1002         non-alphanumerics, like all characters in \lam{(+)}, are not
1003         allowed in \VHDL architecture names\footnote{Technically, it is
1004         allowed to use non-alphanumerics when using extended
1005         identifiers, but it seems that none of the tooling likes
1006         extended identifiers in filenames, so it effectively doesn't
1007         work.}, so the entity would be called \quote{w7aA7f} or
1008         something similarly unreadable and autogenerated).
1009
1010     \subsection{Program structure}
1011       These transformations are aimed at normalizing the overall structure
1012       into the intended form. This means ensuring there is a lambda abstraction
1013       at the top for every argument (input port or current state), putting all
1014       of the other value definitions in let bindings and making the final
1015       return value a simple variable reference.
1016
1017       \subsubsection[sec:normalization:eta]{η-abstraction}
1018         This transformation makes sure that all arguments of a function-typed
1019         expression are named, by introducing lambda expressions. When combined with
1020         β-reduction and non-representable binding inlining, all function-typed
1021         expressions should be lambda abstractions or global identifiers.
1022
1023         \starttrans
1024         E                 \lam{E :: a -> b}
1025         --------------    \lam{E} is not the first argument of an application.
1026         λx.E x            \lam{E} is not a lambda abstraction.
1027                           \lam{x} is a variable that does not occur free in \lam{E}.
1028         \stoptrans
1029
1030         \startbuffer[from]
1031         foo = λa.case a of 
1032           True -> λb.mul b b
1033           False -> id
1034         \stopbuffer
1035
1036         \startbuffer[to]
1037         foo = λa.λx.(case a of 
1038             True -> λb.mul b b
1039             False -> λy.id y) x
1040         \stopbuffer
1041
1042         \transexample{eta}{η-abstraction}{from}{to}
1043
1044       \subsubsection[sec:normalization:appprop]{Application propagation}
1045         This transformation is meant to propagate application expressions downwards
1046         into expressions as far as possible. This allows partial applications inside
1047         expressions to become fully applied and exposes new transformation
1048         opportunities for other transformations (like β-reduction and
1049         specialization).
1050
1051         Since all binders in our expression are unique (see
1052         \in{section}[sec:normalization:uniq]), there is no risk that we will
1053         introduce unintended shadowing by moving an expression into a lower
1054         scope. Also, since only move expression into smaller scopes (down into
1055         our expression), there is no risk of moving a variable reference out
1056         of the scope in which it is defined.
1057
1058         \starttrans
1059         (letrec binds in E) M
1060         ------------------------
1061         letrec binds in E M
1062         \stoptrans
1063
1064         % And an example
1065         \startbuffer[from]
1066         ( letrec
1067             val = 1
1068           in 
1069             add val
1070         ) 3
1071         \stopbuffer
1072
1073         \startbuffer[to]
1074         letrec
1075           val = 1
1076         in 
1077           add val 3
1078         \stopbuffer
1079
1080         \transexample{appproplet}{Application propagation for a let expression}{from}{to}
1081
1082         \starttrans
1083         (case x of
1084           p1 -> E1
1085           \vdots
1086           pn -> En) M
1087         -----------------
1088         case x of
1089           p1 -> E1 M
1090           \vdots
1091           pn -> En M
1092         \stoptrans
1093
1094         % And an example
1095         \startbuffer[from]
1096         ( case x of 
1097             True -> id
1098             False -> neg
1099         ) 1
1100         \stopbuffer
1101
1102         \startbuffer[to]
1103         case x of 
1104           True -> id 1
1105           False -> neg 1
1106         \stopbuffer
1107
1108         \transexample{apppropcase}{Application propagation for a case expression}{from}{to}
1109
1110       \subsubsection[sec:normalization:letrecurse]{Let recursification}
1111         This transformation makes all non-recursive lets recursive. In the
1112         end, we want a single recursive let in our normalized program, so all
1113         non-recursive lets can be converted. This also makes other
1114         transformations simpler: They can simply assume all lets are
1115         recursive.
1116
1117         \starttrans
1118         let
1119           a = E
1120         in
1121           M
1122         ------------------------------------------
1123         letrec
1124           a = E
1125         in
1126           M
1127         \stoptrans
1128
1129       \subsubsection{Let flattening}
1130         This transformation puts nested lets in the same scope, by lifting the
1131         binding(s) of the inner let into the outer let. Eventually, this will
1132         cause all let bindings to appear in the same scope.
1133
1134         This transformation only applies to recursive lets, since all
1135         non-recursive lets will be made recursive (see
1136         \in{section}[sec:normalization:letrecurse]).
1137
1138         Since we are joining two scopes together, there is no risk of moving a
1139         variable reference out of the scope where it is defined.
1140
1141         \starttrans
1142         letrec 
1143           a0 = E0
1144           \vdots
1145           ai = (letrec bindings in M)
1146           \vdots
1147           an = En
1148         in
1149           N
1150         ------------------------------------------
1151         letrec
1152           a0 = E0
1153           \vdots
1154           ai = M
1155           \vdots
1156           an = En
1157           bindings
1158         in
1159           N
1160         \stoptrans
1161
1162         \startbuffer[from]
1163         letrec
1164           a = 1
1165           b = letrec
1166             x = a
1167             y = c
1168           in
1169             x + y
1170           c = 2
1171         in
1172           b
1173         \stopbuffer
1174         \startbuffer[to]
1175         letrec
1176           a = 1
1177           b = x + y
1178           c = 2
1179           x = a
1180           y = c
1181         in
1182           b
1183         \stopbuffer
1184
1185         \transexample{letflat}{Let flattening}{from}{to}
1186
1187       \subsubsection{Return value simplification}
1188         This transformation ensures that the return value of a function is always a
1189         simple local variable reference.
1190
1191         Currently implemented using lambda simplification, let simplification, and
1192         top simplification. Should change into something like the following, which
1193         works only on the result of a function instead of any subexpression. This is
1194         achieved by the contexts, like \lam{x = E}, though this is strictly not
1195         correct (you could read this as "if there is any function \lam{x} that binds
1196         \lam{E}, any \lam{E} can be transformed, while we only mean the \lam{E} that
1197         is bound by \lam{x}. This might need some extra notes or something).
1198
1199         Note that the return value is not simplified if its not representable.
1200         Otherwise, this would cause a direct loop with the inlining of
1201         unrepresentable bindings. If the return value is not
1202         representable because it has a function type, η-abstraction should
1203         make sure that this transformation will eventually apply. If the value
1204         is not representable for other reasons, the function result itself is
1205         not representable, meaning this function is not translatable anyway.
1206
1207         \starttrans
1208         x = E                            \lam{E} is representable
1209         ~                                \lam{E} is not a lambda abstraction
1210         E                                \lam{E} is not a let expression
1211         ---------------------------      \lam{E} is not a local variable reference
1212         letrec x = E in x
1213         \stoptrans
1214
1215         \starttrans
1216         x = λv0 ... λvn.E
1217         ~                                \lam{E} is representable
1218         E                                \lam{E} is not a let expression
1219         ---------------------------      \lam{E} is not a local variable reference
1220         letrec x = E in x
1221         \stoptrans
1222
1223         \starttrans
1224         x = λv0 ... λvn.let ... in E
1225         ~                                \lam{E} is representable
1226         E                                \lam{E} is not a local variable reference
1227         -----------------------------
1228         letrec x = E in x
1229         \stoptrans
1230
1231         \startbuffer[from]
1232         x = add 1 2
1233         \stopbuffer
1234
1235         \startbuffer[to]
1236         x = letrec x = add 1 2 in x
1237         \stopbuffer
1238
1239         \transexample{retvalsimpl}{Return value simplification}{from}{to}
1240         
1241         \todo{More examples}
1242
1243     \subsection[sec:normalization:argsimpl]{Representable arguments simplification}
1244       This section contains just a single transformation that deals with
1245       representable arguments in applications. Non-representable arguments are
1246       handled by the transformations in
1247       \in{section}[sec:normalization:nonrep]. 
1248       
1249       This transformation ensures that all representable arguments will become
1250       references to local variables. This ensures they will become references
1251       to local signals in the resulting \small{VHDL}, which is required due to
1252       limitations in the component instantiation code in \VHDL (one can only
1253       assign a signal or constant to an input port). By ensuring that all
1254       arguments are always simple variable references, we always have a signal
1255       available to map to the input ports.
1256
1257       To reduce a complex expression to a simple variable reference, we create
1258       a new let expression around the application, which binds the complex
1259       expression to a new variable. The original function is then applied to
1260       this variable.
1261
1262       \refdef{global variable}
1263       Note that references to \emph{global variables} (like a top level
1264       function without arguments, but also an argumentless dataconstructors
1265       like \lam{True}) are also simplified. Only local variables generate
1266       signals in the resulting architecture. Even though argumentless
1267       dataconstructors generate constants in generated \VHDL code and could be
1268       mapped to an input port directly, they are still simplified to make the
1269       normal form more regular.
1270
1271       \refdef{representable}
1272       \starttrans
1273       M N
1274       --------------------    \lam{N} is representable
1275       letrec x = N in M x     \lam{N} is not a local variable reference
1276       \stoptrans
1277       \refdef{local variable}
1278
1279       \startbuffer[from]
1280       add (add a 1) 1
1281       \stopbuffer
1282
1283       \startbuffer[to]
1284       letrec x = add a 1 in add x 1
1285       \stopbuffer
1286
1287       \transexample{argsimpl}{Argument simplification}{from}{to}
1288
1289     \subsection[sec:normalization:builtins]{Builtin functions}
1290       This section deals with (arguments to) builtin functions.  In the
1291       intended normal form definition\refdef{intended normal form definition}
1292       we can see that there are three sorts of arguments a builtin function
1293       can receive.
1294       
1295       \startitemize[KR]
1296         \item A representable local variable reference. This is the most
1297         common argument to any function. The argument simplification
1298         transformation described in \in{section}[sec:normalization:argsimpl]
1299         makes sure that \emph{any} representable argument to \emph{any}
1300         function (including builtin functions) is turned into a local variable
1301         reference.
1302         \item (A partial application of) a top level function (either builtin on
1303         user-defined). The function extraction transformation described in
1304         this section takes care of turning every functiontyped argument into
1305         (a partial application of) a top level function.
1306         \item Any expression that is not representable and does not have a
1307         function type. Since these can be any expression, there is no
1308         transformation needed. Note that this category is exactly all
1309         expressions that are not transformed by the transformations for the
1310         previous two categories. This means that \emph{any} core expression
1311         that is used as an argument to a builtin function will be either
1312         transformed into one of the above categories, or end up in this
1313         categorie. In any case, the result is in normal form.
1314       \stopitemize
1315
1316       As noted, the argument simplification will handle any representable
1317       arguments to a builtin function. The following transformation is needed
1318       to handle non-representable arguments with a function type, all other
1319       non-representable arguments don't need any special handling.
1320
1321       \subsubsection[sec:normalization:funextract]{Function extraction}
1322         This transform deals with function-typed arguments to builtin
1323         functions. 
1324         Since builtin functions cannot be specialized (see
1325         \in{section}[sec:normalization:specialize]) to remove the arguments,
1326         these arguments are extracted into a new global function instead. In
1327         other words, we create a new top level function that has exactly the
1328         extracted argument as its body. This greatly simplifies the
1329         translation rules needed for builtin functions, since they only need
1330         to handle (partial applications of) top level functions.
1331
1332         Any free variables occuring in the extracted arguments will become
1333         parameters to the new global function. The original argument is replaced
1334         with a reference to the new function, applied to any free variables from
1335         the original argument.
1336
1337         This transformation is useful when applying higher order builtin functions
1338         like \hs{map} to a lambda abstraction, for example. In this case, the code
1339         that generates \small{VHDL} for \hs{map} only needs to handle top level functions and
1340         partial applications, not any other expression (such as lambda abstractions or
1341         even more complicated expressions).
1342
1343         \starttrans
1344         M N                     \lam{M} is (a partial aplication of) a builtin function.
1345         ---------------------   \lam{f0 ... fn} are all free local variables of \lam{N}
1346         M (x f0 ... fn)         \lam{N :: a -> b}
1347         ~                       \lam{N} is not a (partial application of) a top level function
1348         x = λf0 ... λfn.N
1349         \stoptrans
1350
1351         \startbuffer[from]
1352         addList = λb.λxs.map (λa . add a b) xs
1353         \stopbuffer
1354
1355         \startbuffer[to]
1356         addList = λb.λxs.map (f b) xs
1357         ~
1358         f = λb.λa.add a b
1359         \stopbuffer
1360
1361         \transexample{funextract}{Function extraction}{from}{to}
1362
1363         Note that the function \lam{f} will still need normalization after
1364         this.
1365
1366     \subsection{Case normalisation}
1367       \subsubsection{Scrutinee simplification}
1368         This transform ensures that the scrutinee of a case expression is always
1369         a simple variable reference.
1370
1371         \starttrans
1372         case E of
1373           alts
1374         -----------------        \lam{E} is not a local variable reference
1375         letrec x = E in 
1376           case E of
1377             alts
1378         \stoptrans
1379
1380         \startbuffer[from]
1381         case (foo a) of
1382           True -> a
1383           False -> b
1384         \stopbuffer
1385
1386         \startbuffer[to]
1387         letrec x = foo a in
1388           case x of
1389             True -> a
1390             False -> b
1391         \stopbuffer
1392
1393         \transexample{letflat}{Case normalisation}{from}{to}
1394
1395
1396       \subsubsection{Case simplification}
1397         This transformation ensures that all case expressions become normal form. This
1398         means they will become one of:
1399         \startitemize
1400         \item An extractor case with a single alternative that picks a single field
1401         from a datatype, \eg \lam{case x of (a, b) -> a}.
1402         \item A selector case with multiple alternatives and only wild binders, that
1403         makes a choice between expressions based on the constructor of another
1404         expression, \eg \lam{case x of Low -> a; High -> b}.
1405         \stopitemize
1406         
1407         \defref{wild binder}
1408         \starttrans
1409         case E of
1410           C0 v0,0 ... v0,m -> E0
1411           \vdots
1412           Cn vn,0 ... vn,m -> En
1413         --------------------------------------------------- \forall i \forall j, 0 ≤ i ≤ n, 0 ≤ i < m (\lam{wi,j} is a wild (unused) binder)
1414         letrec
1415           v0,0 = case E of C0 v0,0 .. v0,m -> v0,0
1416           \vdots
1417           v0,m = case E of C0 v0,0 .. v0,m -> v0,m
1418           \vdots
1419           vn,m = case E of Cn vn,0 .. vn,m -> vn,m
1420           x0 = E0
1421           \vdots
1422           xn = En
1423         in
1424           case E of
1425             C0 w0,0 ... w0,m -> x0
1426             \vdots
1427             Cn wn,0 ... wn,m -> xn
1428         \stoptrans
1429         \todo{Check the subscripts of this transformation}
1430
1431         Note that this transformation applies to case statements with any
1432         scrutinee. If the scrutinee is a complex expression, this might result
1433         in duplicate hardware. An extra condition to only apply this
1434         transformation when the scrutinee is already simple (effectively
1435         causing this transformation to be only applied after the scrutinee
1436         simplification transformation) might be in order. 
1437
1438         \fxnote{This transformation specified like this is complicated and misses
1439         conditions to prevent looping with itself. Perhaps it should be split here for
1440         discussion?}
1441
1442         \startbuffer[from]
1443         case a of
1444           True -> add b 1
1445           False -> add b 2
1446         \stopbuffer
1447
1448         \startbuffer[to]
1449         letnonrec
1450           x0 = add b 1
1451           x1 = add b 2
1452         in
1453           case a of
1454             True -> x0
1455             False -> x1
1456         \stopbuffer
1457
1458         \transexample{selcasesimpl}{Selector case simplification}{from}{to}
1459
1460         \startbuffer[from]
1461         case a of
1462           (,) b c -> add b c
1463         \stopbuffer
1464         \startbuffer[to]
1465         letrec
1466           b = case a of (,) b c -> b
1467           c = case a of (,) b c -> c
1468           x0 = add b c
1469         in
1470           case a of
1471             (,) w0 w1 -> x0
1472         \stopbuffer
1473
1474         \transexample{excasesimpl}{Extractor case simplification}{from}{to}
1475
1476         \refdef{selector case}
1477         In \in{example}[ex:trans:excasesimpl] the case expression is expanded
1478         into multiple case expressions, including a pretty useless expression
1479         (that is neither a selector or extractor case). This case can be
1480         removed by the Case removal transformation in
1481         \in{section}[sec:transformation:caseremoval].
1482
1483       \subsubsection[sec:transformation:caseremoval]{Case removal}
1484         This transform removes any case statements with a single alternative and
1485         only wild binders.
1486
1487         These "useless" case statements are usually leftovers from case simplification
1488         on extractor case (see the previous example).
1489
1490         \starttrans
1491         case x of
1492           C v0 ... vm -> E
1493         ----------------------     \lam{\forall i, 0 ≤ i ≤ m} (\lam{vi} does not occur free in E)
1494         E
1495         \stoptrans
1496
1497         \startbuffer[from]
1498         case a of
1499           (,) w0 w1 -> x0
1500         \stopbuffer
1501
1502         \startbuffer[to]
1503         x0
1504         \stopbuffer
1505
1506         \transexample{caserem}{Case removal}{from}{to}
1507
1508     \subsection[sec:normalization:nonrep]{Removing unrepresentable values}
1509       The transformations in this section are aimed at making all the
1510       values used in our expression representable. There are two main
1511       transformations that are applied to \emph{all} unrepresentable let
1512       bindings and function arguments. These are meant to address three
1513       different kinds of unrepresentable values: Polymorphic values, higher
1514       order values and literals. The transformation are described generically:
1515       They apply to all non-representable values. However, non-representable
1516       values that don't fall into one of these three categories will be moved
1517       around by these transformations but are unlikely to completely
1518       disappear. They usually mean the program was not valid in the first
1519       place, because unsupported types were used (for example, a program using
1520       strings).
1521      
1522       Each of these three categories will be detailed below, followed by the
1523       actual transformations.
1524
1525       \subsubsection{Removing Polymorphism}
1526         As noted in \in{section}[sec:prototype:polymporphism],
1527         polymorphism is made explicit in Core through type and
1528         dictionary arguments. To remove the polymorphism from a
1529         function, we can simply specialize the polymorphic function for
1530         the particular type applied to it. The same goes for dictionary
1531         arguments. To remove polymorphism from let bound values, we
1532         simply inline the let bindings that have a polymorphic type,
1533         which should (eventually) make sure that the polymorphic
1534         expression is applied to a type and/or dictionary, which can
1535         then be removed by β-reduction (\in{section}[sec:normalization:beta]).
1536
1537         Since both type and dictionary arguments are not representable,
1538         \refdef{representable}
1539         the non-representable argument specialization and
1540         non-representable let binding inlining transformations below
1541         take care of exactly this.
1542
1543         There is one case where polymorphism cannot be completely
1544         removed: Builtin functions are still allowed to be polymorphic
1545         (Since we have no function body that we could properly
1546         specialize). However, the code that generates \VHDL for builtin
1547         functions knows how to handle this, so this is not a problem.
1548
1549       \subsubsection{Defunctionalization}
1550         These transformations remove higher order expressions from our
1551         program, making all values first-order.
1552       
1553         Higher order values are always introduced by lambda abstractions, none
1554         of the other Core expression elements can introduce a function type.
1555         However, other expressions can \emph{have} a function type, when they
1556         have a lambda expression in their body. 
1557         
1558         For example, the following expression is a higher order expression
1559         that is not a lambda expression itself:
1560         
1561         \refdef{id function}
1562         \startlambda
1563           case x of
1564             High -> id
1565             Low -> λx.x
1566         \stoplambda
1567
1568         The reference to the \lam{id} function shows that we can introduce a
1569         higher order expression in our program without using a lambda
1570         expression directly. However, inside the definition of the \lam{id}
1571         function, we can be sure that a lambda expression is present.
1572         
1573         Looking closely at the definition of our normal form in
1574         \in{section}[sec:normalization:intendednormalform], we can see that
1575         there are three possibilities for higher order values to appear in our
1576         intended normal form:
1577
1578         \startitemize[KR]
1579           \item[item:toplambda] Lambda abstractions can appear at the highest level of a
1580           top level function. These lambda abstractions introduce the
1581           arguments (input ports / current state) of the function.
1582           \item[item:builtinarg] (Partial applications of) top level functions can appear as an
1583           argument to a builtin function.
1584           \item[item:completeapp] (Partial applications of) top level functions can appear in
1585           function position of an application. Since a partial application
1586           cannot appear anywhere else (except as builtin function arguments),
1587           all partial applications are applied, meaning that all applications
1588           will become complete applications. However, since application of
1589           arguments happens one by one, in the expression:
1590           \startlambda
1591             f 1 2
1592           \stoplambda
1593           the subexpression \lam{f 1} has a function type. But this is
1594           allowed, since it is inside a complete application.
1595         \stopitemize
1596
1597         We will take a typical function with some higher order values as an
1598         example. The following function takes two arguments: a \lam{Bit} and a
1599         list of numbers. Depending on the first argument, each number in the
1600         list is doubled, or the list is returned unmodified. For the sake of
1601         the example, no polymorphism is shown. In reality, at least map would
1602         be polymorphic.
1603
1604         \startlambda
1605         λy.let double = λx. x + x in
1606              case y of
1607                 Low -> map double
1608                 High -> λz. z
1609         \stoplambda
1610
1611         This example shows a number of higher order values that we cannot
1612         translate to \VHDL directly. The \lam{double} binder bound in the let
1613         expression has a function type, as well as both of the alternatives of
1614         the case expression. The first alternative is a partial application of
1615         the \lam{map} builtin function, whereas the second alternative is a
1616         lambda abstraction.
1617
1618         To reduce all higher order values to one of the above items, a number
1619         of transformations we've already seen are used. The η-abstraction
1620         transformation from \in{section}[sec:normalization:eta] ensures all
1621         function arguments are introduced by lambda abstraction on the highest
1622         level of a function. These lambda arguments are allowed because of
1623         \in{item}[item:toplambda] above. After η-abstraction, our example
1624         becomes a bit bigger:
1625
1626         \startlambda
1627         λy.λq.(let double = λx. x + x in
1628                  case y of
1629                    Low -> map double
1630                    High -> λz. z
1631               ) q
1632         \stoplambda
1633
1634         η-abstraction also introduces extra applications (the application of
1635         the let expression to \lam{q} in the above example). These
1636         applications can then propagated down by the application propagation
1637         transformation (\in{section}[sec:normalization:appprop]). In our
1638         example, the \lam{q} and \lam{r} variable will be propagated into the
1639         let expression and then into the case expression:
1640
1641         \startlambda
1642         λy.λq.let double = λx. x + x in
1643                 case y of
1644                   Low -> map double q
1645                   High -> (λz. z) q
1646         \stoplambda
1647         
1648         This propagation makes higher order values become applied (in
1649         particular both of the alternatives of the case now have a
1650         representable type). Completely applied top level functions (like the
1651         first alternative) are now no longer invalid (they fall under
1652         \in{item}[item:completeapp] above). (Completely) applied lambda
1653         abstractions can be removed by β-abstraction. For our example,
1654         applying β-abstraction results in the following:
1655
1656         \startlambda
1657         λy.λq.let double = λx. x + x in
1658                 case y of
1659                   Low -> map double q
1660                   High -> q
1661         \stoplambda
1662
1663         As you can see in our example, all of this moves applications towards
1664         the higher order values, but misses higher order functions bound by
1665         let expressions. The applications cannot be moved towards these values
1666         (since they can be used in multiple places), so the values will have
1667         to be moved towards the applications. This is achieved by inlining all
1668         higher order values bound by let applications, by the
1669         non-representable binding inlining transformation below. When applying
1670         it to our example, we get the following:
1671         
1672         \startlambda
1673         λy.λq.case y of
1674                 Low -> map (λx. x + x) q
1675                 High -> q
1676         \stoplambda
1677
1678         We've nearly eliminated all unsupported higher order values from this
1679         expressions. The one that's remaining is the first argument to the
1680         \lam{map} function. Having higher order arguments to a builtin
1681         function like \lam{map} is allowed in the intended normal form, but
1682         only if the argument is a (partial application) of a top level
1683         function. This is easily done by introducing a new top level function
1684         and put the lambda abstraction inside. This is done by the function
1685         extraction transformation from
1686         \in{section}[sec:normalization:funextract].
1687
1688         \startlambda
1689         λy.λq.case y of
1690                 Low -> map func q
1691                 High -> q
1692         \stoplambda
1693
1694         This also introduces a new function, that we have called \lam{func}:
1695
1696         \startlambda
1697         func = λx. x + x
1698         \stoplambda
1699
1700         Note that this does not actually remove the lambda, but now it is a
1701         lambda at the highest level of a function, which is allowed in the
1702         intended normal form.
1703
1704         There is one case that has not been discussed yet. What if the
1705         \lam{map} function in the example above was not a builtin function
1706         but a user-defined function? Then extracting the lambda expression
1707         into a new function would not be enough, since user-defined functions
1708         can never have higher order arguments. For example, the following
1709         expression shows an example:
1710
1711         \startlambda
1712         twice :: (Word -> Word) -> Word -> Word
1713         twice = λf.λa.f (f a)
1714
1715         main = λa.app (λx. x + x) a
1716         \stoplambda
1717
1718         This example shows a function \lam{twice} that takes a function as a
1719         first argument and applies that function twice to the second argument.
1720         Again, we've made the function monomorphic for clarity, even though
1721         this function would be a lot more useful if it was polymorphic. The
1722         function \lam{main} uses \lam{twice} to apply a lambda epression twice.
1723
1724         When faced with a user defined function, a body is available for that
1725         function. This means we could create a specialized version of the
1726         function that only works for this particular higher order argument
1727         (\ie, we can just remove the argument and call the specialized
1728         function without the argument). This transformation is detailed below.
1729         Applying this transformation to the example gives:
1730
1731         \startlambda
1732         twice' :: Word -> Word
1733         twice' = λb.(λf.λa.f (f a)) (λx. x + x) b
1734
1735         main = λa.app' a
1736         \stoplambda
1737
1738         The \lam{main} function is now in normal form, since the only higher
1739         order value there is the top level lambda expression. The new
1740         \lam{twice'} function is a bit complex, but the entire original body of
1741         the original \lam{twice} function is wrapped in a lambda abstraction
1742         and applied to the argument we've specialized for (\lam{λx. x + x})
1743         and the other arguments. This complex expression can fortunately be
1744         effectively reduced by repeatedly applying β-reduction: 
1745
1746         \startlambda
1747         twice' :: Word -> Word
1748         twice' = λb.(b + b) + (b + b)
1749         \stoplambda
1750
1751         This example also shows that the resulting normal form might not be as
1752         efficient as we might hope it to be (it is calculating \lam{(b + b)}
1753         twice). This is discussed in more detail in
1754         \in{section}[sec:normalization:duplicatework].
1755
1756       \subsubsection{Literals}
1757         There are a limited number of literals available in Haskell and Core.
1758         \refdef{enumerated types} When using (enumerating) algebraic
1759         datatypes, a literal is just a reference to the corresponding data
1760         constructor, which has a representable type (the algebraic datatype)
1761         and can be translated directly. This also holds for literals of the
1762         \hs{Bool} Haskell type, which is just an enumerated type.
1763
1764         There is, however, a second type of literal that does not have a
1765         representable type: Integer literals. Cλash supports using integer
1766         literals for all three integer types supported (\hs{SizedWord},
1767         \hs{SizedInt} and \hs{RangedWord}). This is implemented using
1768         Haskell's \hs{Num} typeclass, which offers a \hs{fromInteger} method
1769         that converts any \hs{Integer} to the Cλash datatypes.
1770
1771         When \GHC sees integer literals, it will automatically insert calls to
1772         the \hs{fromInteger} method in the resulting Core expression. For
1773         example, the following expression in Haskell creates a 32 bit unsigned
1774         word with the value 1. The explicit type signature is needed, since
1775         there is no context for \GHC to determine the type from otherwise.
1776
1777         \starthaskell
1778         1 :: SizedWord D32
1779         \stophaskell
1780
1781         This Haskell code results in the following Core expression:
1782
1783         \startlambda
1784         fromInteger @(SizedWord D32) \$dNum (smallInteger 10)
1785         \stoplambda
1786
1787         The literal 10 will have the type \lam{GHC.Prim.Int\#}, which is
1788         converted into an \lam{Integer} by \lam{smallInteger}. Finally, the
1789         \lam{fromInteger} function will finally convert this into a
1790         \lam{SizedWord D32}.
1791
1792         Both the \lam{GHC.Prim.Int\#} and \lam{Integer} types are not
1793         representable, and cannot be translated directly. Fortunately, there
1794         is no need to translate them, since \lam{fromInteger} is a builtin
1795         function that knows how to handle these values. However, this does
1796         require that the \lam{fromInteger} function is directly applied to
1797         these non-representable literal values, otherwise errors will occur.
1798         For example, the following expression is not in the intended normal
1799         form, since one of the let bindings has an unrepresentable type
1800         (\lam{Integer}):
1801
1802         \startlambda
1803         let l = smallInteger 10 in fromInteger @(SizedWord D32) \$dNum l
1804         \stoplambda
1805
1806         By inlining these let-bindings, we can ensure that unrepresentable
1807         literals bound by a let binding end up in an application of the
1808         appropriate builtin function, where they are allowed. Since it is
1809         possible that the application of that function is in a different
1810         function than the definition of the literal value, we will always need
1811         to specialize away any unrepresentable literals that are used as
1812         function arguments. The following two transformations do exactly this.
1813
1814       \subsubsection{Non-representable binding inlining}
1815         This transform inlines let bindings that are bound to a
1816         non-representable value. Since we can never generate a signal
1817         assignment for these bindings (we cannot declare a signal assignment
1818         with a non-representable type, for obvious reasons), we have no choice
1819         but to inline the binding to remove it.
1820
1821         As we have seen in the previous sections, inlining these bindings
1822         solves (part of) the polymorphism, higher order values and
1823         unrepresentable literals in an expression.
1824
1825         \refdef{substitution notation}
1826         \starttrans
1827         letrec 
1828           a0 = E0
1829           \vdots
1830           ai = Ei
1831           \vdots
1832           an = En
1833         in
1834           M
1835         --------------------------    \lam{Ei} has a non-representable type.
1836         letrec
1837           a0 = E0 [ai=>Ei] \vdots
1838           ai-1 = Ei-1 [ai=>Ei]
1839           ai+1 = Ei+1 [ai=>Ei]
1840           \vdots
1841           an = En [ai=>Ei]
1842         in
1843           M[ai=>Ei]
1844         \stoptrans
1845
1846         \startbuffer[from]
1847         letrec
1848           a = smallInteger 10
1849           inc = λb -> add b 1
1850           inc' = add 1
1851           x = fromInteger a 
1852         in
1853           inc (inc' x)
1854         \stopbuffer
1855
1856         \startbuffer[to]
1857         letrec
1858           x = fromInteger (smallInteger 10)
1859         in
1860           (λb -> add b 1) (add 1 x)
1861         \stopbuffer
1862
1863         \transexample{nonrepinline}{Nonrepresentable binding inlining}{from}{to}
1864
1865       \subsubsection[sec:normalization:specialize]{Function specialization}
1866         This transform removes arguments to user-defined functions that are
1867         not representable at runtime. This is done by creating a
1868         \emph{specialized} version of the function that only works for one
1869         particular value of that argument (in other words, the argument can be
1870         removed).
1871
1872         Specialization means to create a specialized version of the called
1873         function, with one argument already filled in. As a simple example, in
1874         the following program (this is not actual Core, since it directly uses
1875         a literal with the unrepresentable type \lam{GHC.Prim.Int\#}).
1876
1877         \startlambda
1878         f = λa.λb.a + b
1879         inc = λa.f a 1
1880         \stoplambda
1881
1882         We could specialize the function \lam{f} against the literal argument
1883         1, with the following result:
1884
1885         \startlambda
1886         f' = λa.a + 1
1887         inc = λa.f' a
1888         \stoplambda
1889
1890         In some way, this transformation is similar to β-reduction, but it
1891         operates across function boundaries. It is also similar to
1892         non-representable let binding inlining above, since it sort of
1893         \quote{inlines} an expression into a called function.
1894
1895         Special care must be taken when the argument has any free variables.
1896         If this is the case, the original argument should not be removed
1897         completely, but replaced by all the free variables of the expression.
1898         In this way, the original expression can still be evaluated inside the
1899         new function.
1900
1901         To prevent us from propagating the same argument over and over, a
1902         simple local variable reference is not propagated (since is has
1903         exactly one free variable, itself, we would only replace that argument
1904         with itself).
1905
1906         This shows that any free local variables that are not runtime
1907         representable cannot be brought into normal form by this transform. We
1908         rely on an inlining or β-reduction transformation to replace such a
1909         variable with an expression we can propagate again.
1910
1911         \starttrans
1912         x = E
1913         ~
1914         x Y0 ... Yi ... Yn                               \lam{Yi} is not representable
1915         ---------------------------------------------    \lam{Yi} is not a local variable reference
1916         x' y0 ... yi-1 f0 ...  fm Yi+1 ... Yn            \lam{f0 ... fm} are all free local vars of \lam{Yi}
1917         ~                                                \lam{T0 ... Tn} are the types of \lam{Y0 ... Yn}
1918         x' = λ(y0 :: T0) ... λ(yi-1 :: Ty-1). λf0 ... λfm. λ(yi+1 :: Ty+1) ...  λ(yn :: Tn).       
1919               E y0 ... yi-1 Yi yi+1 ... yn   
1920         \stoptrans
1921
1922         This is a bit of a complex transformation. It transforms an
1923         application of the function \lam{x}, where one of the arguments
1924         (\lam{Y_i}) is not representable. A new
1925         function \lam{x'} is created that wraps the body of the old function.
1926         The body of the new function becomes a number of nested lambda
1927         abstractions, one for each of the original arguments that are left
1928         unchanged.
1929         
1930         The ith argument is replaced with the free variables of
1931         \lam{Y_i}. Note that we reuse the same binders as those used in
1932         \lam{Y_i}, since we can then just use \lam{Y_i} inside the new
1933         function body and have all of the variables it uses be in scope.
1934
1935         The argument that we are specializing for, \lam{Y_i}, is put inside
1936         the new function body. The old function body is applied to it. Since
1937         we use this new function only in place of an application with that
1938         particular argument \lam{Y_i}, behaviour should not change.
1939         
1940         Note that the types of the arguments of our new function are taken
1941         from the types of the \emph{actual} arguments (\lam{T0 ... Tn}). This
1942         means that any polymorphism in the arguments is removed, even when the
1943         corresponding explicit type lambda is not removed
1944         yet.\refdef{type lambda}
1945
1946         \todo{Examples. Perhaps reference the previous sections}
1947
1948   \section{Unsolved problems}
1949     The above system of transformations has been implemented in the prototype
1950     and seems to work well to compile simple and more complex examples of
1951     hardware descriptions. \todo{Ref christiaan?} However, this normalization
1952     system has not seen enough review and work to be complete and work for
1953     every Core expression that is supplied to it. A number of problems
1954     have already been identified and are discussed in this section.
1955
1956     \subsection[sec:normalization:duplicatework]{Work duplication}
1957         A possible problem of β-reduction is that it could duplicate work.
1958         When the expression applied is not a simple variable reference, but
1959         requires calculation and the binder the lambda abstraction binds to
1960         is used more than once, more hardware might be generated than strictly
1961         needed. 
1962
1963         As an example, consider the expression:
1964
1965         \startlambda
1966         (λx. x + x) (a * b)
1967         \stoplambda
1968
1969         When applying β-reduction to this expression, we get:
1970
1971         \startlambda
1972         (a * b) + (a * b)
1973         \stoplambda
1974
1975         which of course calculates \lam{(a * b)} twice.
1976         
1977         A possible solution to this would be to use the following alternative
1978         transformation, which is of course no longer normal β-reduction. The
1979         followin transformation has not been tested in the prototype, but is
1980         given here for future reference:
1981
1982         \starttrans
1983         (λx.E) M
1984         -----------------
1985         letrec x = M in E
1986         \stoptrans
1987         
1988         This doesn't seem like much of an improvement, but it does get rid of
1989         the lambda expression (and the associated higher order value), while
1990         at the same time introducing a new let binding. Since the result of
1991         every application or case expression must be bound by a let expression
1992         in the intended normal form anyway, this is probably not a problem. If
1993         the argument happens to be a variable reference, then simple let
1994         binding removal (\in{section}[sec:normalization:simplelet]) will
1995         remove it, making the result identical to that of the original
1996         β-reduction transformation.
1997
1998         When also applying argument simplification to the above example, we
1999         get the following expression:
2000
2001         \startlambda
2002         let y = (a * b)
2003             z = (a * b)
2004         in y + z
2005         \stoplambda
2006
2007         Looking at this, we could imagine an alternative approach: Create a
2008         transformation that removes let bindings that bind identical values.
2009         In the above expression, the \lam{y} and \lam{z} variables could be
2010         merged together, resulting in the more efficient expression:
2011
2012         \startlambda
2013         let y = (a * b) in y + y
2014         \stoplambda
2015
2016       \subsection[sec:normalization:non-determinism]{Non-determinism}
2017         As an example, again consider the following expression:
2018
2019         \startlambda
2020         (λx. x + x) (a * b)
2021         \stoplambda
2022
2023         We can apply both β-reduction (\in{section}[sec:normalization:beta])
2024         as well as argument simplification
2025         (\in{section}[sec:normalization:argsimpl]) to this expression.
2026
2027         When applying argument simplification first and then β-reduction, we
2028         get the following expression:
2029
2030         \startlambda
2031         let y = (a * b) in y + y
2032         \stoplambda
2033
2034         When applying β-reduction first and then argument simplification, we
2035         get the following expression:
2036
2037         \startlambda
2038         let y = (a * b)
2039             z = (a * b)
2040         in y + z
2041         \stoplambda
2042
2043         As you can see, this is a different expression. This means that the
2044         order of expressions, does in fact change the resulting normal form,
2045         which is something that we would like to avoid. In this particular
2046         case one of the alternatives is even clearly more efficient, so we
2047         would of course like the more efficient form to be the normal form.
2048
2049         For this particular problem, the solutions for duplication of work
2050         seem from the previous section seem to fix the determinism of our
2051         transformation system as well. However, it is likely that there are
2052         other occurences of this problem.
2053
2054       \subsection{Casts}
2055         We do not fully understand the use of cast expressions in Core, so
2056         there are probably expressions involving cast expressions that cannot
2057         be brought into intended normal form by this transformation system.
2058
2059         The uses of casts in the core system should be investigated more and
2060         transformations will probably need updating to handle them in all
2061         cases.
2062
2063       \subsection{Normalization of stateful descriptions}
2064         Currently, the intended normal form definition\refdef{intended
2065         normal form definition} offers enough freedom to describe all
2066         valid stateful descriptions, but is not limiting enough. It is
2067         possible to write descriptions which are in intended normal
2068         form, but cannot be translated into \VHDL in a meaningful way
2069         (\eg, a function that swaps two substates in its result, or a
2070         function that changes a substate itself instead of passing it to
2071         a subfunction).
2072
2073         It is now up to the programmer to not do anything funny with
2074         these state values, whereas the normalization just tries not to
2075         mess up the flow of state values. In practice, there are
2076         situations where a Core program that \emph{could} be a valid
2077         stateful description is not translateable by the prototype. This
2078         most often happens when statefulness is mixed with pattern
2079         matching, causing a state input to be unpacked multiple times or
2080         be unpacked and repacked only in some of the code paths.
2081
2082         \todo{example?}
2083
2084         Without going into detail about the exact problems (of which
2085         there are probably more than have shown up so far), it seems
2086         unlikely that these problems can be solved entirely by just
2087         improving the \VHDL state generation in the final stage. The
2088         normalization stage seems the best place to apply the rewriting
2089         needed to support more complex stateful descriptions. This does
2090         of course mean that the intended normal form definition must be
2091         extended as well to be more specific about how state handling
2092         should look like in normal form.
2093
2094   \section[sec:normalization:properties]{Provable properties}
2095     When looking at the system of transformations outlined above, there are a
2096     number of questions that we can ask ourselves. The main question is of course:
2097     \quote{Does our system work as intended?}. We can split this question into a
2098     number of subquestions:
2099
2100     \startitemize[KR]
2101     \item[q:termination] Does our system \emph{terminate}? Since our system will
2102     keep running as long as transformations apply, there is an obvious risk that
2103     it will keep running indefinitely. This typically happens when one
2104     transformation produces a result that is transformed back to the original
2105     by another transformation, or when one or more transformations keep
2106     expanding some expression.
2107     \item[q:soundness] Is our system \emph{sound}? Since our transformations
2108     continuously modify the expression, there is an obvious risk that the final
2109     normal form will not be equivalent to the original program: Its meaning could
2110     have changed.
2111     \item[q:completeness] Is our system \emph{complete}? Since we have a complex
2112     system of transformations, there is an obvious risk that some expressions will
2113     not end up in our intended normal form, because we forgot some transformation.
2114     In other words: Does our transformation system result in our intended normal
2115     form for all possible inputs?
2116     \item[q:determinism] Is our system \emph{deterministic}? Since we have defined
2117     no particular order in which the transformation should be applied, there is an
2118     obvious risk that different transformation orderings will result in
2119     \emph{different} normal forms. They might still both be intended normal forms
2120     (if our system is \emph{complete}) and describe correct hardware (if our
2121     system is \emph{sound}), so this property is less important than the previous
2122     three: The translator would still function properly without it.
2123     \stopitemize
2124
2125     Unfortunately, the final transformation system has only been
2126     developed in the final part of the research, leaving no more time
2127     for verifying these properties. In fact, it is likely that the
2128     current transformation system still violates some of these
2129     properties in some cases and should be improved (or extra conditions
2130     on the input hardware descriptions should be formulated).
2131
2132     This is most likely the case with the completeness and determinism
2133     properties, perhaps als the termination property. The soundness
2134     property probably holds, since it is easier to manually verify (each
2135     transformation can be reviewed separately).
2136
2137     Even though no complete proofs have been made, some ideas for
2138     possible proof strategies are shown below.
2139
2140     \subsection{Graph representation}
2141       Before looking into how to prove these properties, we'll look at our
2142       transformation system from a graph perspective. The nodes of the graph are
2143       all possible Core expressions. The (directed) edges of the graph are
2144       transformations. When a transformation α applies to an expression \lam{A} to
2145       produce an expression \lam{B}, we add an edge from the node for \lam{A} to the
2146       node for \lam{B}, labeled α.
2147
2148       \startuseMPgraphic{TransformGraph}
2149         save a, b, c, d;
2150
2151         % Nodes
2152         newCircle.a(btex \lam{(λx.λy. (+) x y) 1} etex);
2153         newCircle.b(btex \lam{λy. (+) 1 y} etex);
2154         newCircle.c(btex \lam{(λx.(+) x) 1} etex);
2155         newCircle.d(btex \lam{(+) 1} etex);
2156
2157         b.c = origin;
2158         c.c = b.c + (4cm, 0cm);
2159         a.c = midpoint(b.c, c.c) + (0cm, 4cm);
2160         d.c = midpoint(b.c, c.c) - (0cm, 3cm);
2161
2162         % β-conversion between a and b
2163         ncarc.a(a)(b) "name(bred)";
2164         ObjLabel.a(btex $\xrightarrow[normal]{}{β}$ etex) "labpathname(bred)", "labdir(rt)";
2165         ncarc.b(b)(a) "name(bexp)", "linestyle(dashed withdots)";
2166         ObjLabel.b(btex $\xleftarrow[normal]{}{β}$ etex) "labpathname(bexp)", "labdir(lft)";
2167
2168         % η-conversion between a and c
2169         ncarc.a(a)(c) "name(ered)";
2170         ObjLabel.a(btex $\xrightarrow[normal]{}{η}$ etex) "labpathname(ered)", "labdir(rt)";
2171         ncarc.c(c)(a) "name(eexp)", "linestyle(dashed withdots)";
2172         ObjLabel.c(btex $\xleftarrow[normal]{}{η}$ etex) "labpathname(eexp)", "labdir(lft)";
2173
2174         % η-conversion between b and d
2175         ncarc.b(b)(d) "name(ered)";
2176         ObjLabel.b(btex $\xrightarrow[normal]{}{η}$ etex) "labpathname(ered)", "labdir(rt)";
2177         ncarc.d(d)(b) "name(eexp)", "linestyle(dashed withdots)";
2178         ObjLabel.d(btex $\xleftarrow[normal]{}{η}$ etex) "labpathname(eexp)", "labdir(lft)";
2179
2180         % β-conversion between c and d
2181         ncarc.c(c)(d) "name(bred)";
2182         ObjLabel.c(btex $\xrightarrow[normal]{}{β}$ etex) "labpathname(bred)", "labdir(rt)";
2183         ncarc.d(d)(c) "name(bexp)", "linestyle(dashed withdots)";
2184         ObjLabel.d(btex $\xleftarrow[normal]{}{β}$ etex) "labpathname(bexp)", "labdir(lft)";
2185
2186         % Draw objects and lines
2187         drawObj(a, b, c, d);
2188       \stopuseMPgraphic
2189
2190       \placeexample[right][ex:TransformGraph]{Partial graph of a lambda calculus
2191       system with β and η reduction (solid lines) and expansion (dotted lines).}
2192           \boxedgraphic{TransformGraph}
2193
2194       Of course our graph is unbounded, since we can construct an infinite amount of
2195       Core expressions. Also, there might potentially be multiple edges between two
2196       given nodes (with different labels), though seems unlikely to actually happen
2197       in our system.
2198
2199       See \in{example}[ex:TransformGraph] for the graph representation of a very
2200       simple lambda calculus that contains just the expressions \lam{(λx.λy. (+) x
2201       y) 1}, \lam{λy. (+) 1 y}, \lam{(λx.(+) x) 1} and \lam{(+) 1}. The
2202       transformation system consists of β-reduction and η-reduction (solid edges) or
2203       β-expansion and η-expansion (dotted edges).
2204
2205       \todo{Define β-reduction and η-reduction?}
2206
2207       Note that the normal form of such a system consists of the set of nodes
2208       (expressions) without outgoing edges, since those are the expression to which
2209       no transformation applies anymore. We call this set of nodes the \emph{normal
2210       set}. The set of nodes containing expressions in intended normal
2211       form \refdef{intended normal form} is called the \emph{intended
2212       normal set}.
2213
2214       From such a graph, we can derive some properties easily:
2215       \startitemize[KR]
2216         \item A system will \emph{terminate} if there is no path of infinite length
2217         in the graph (this includes cycles, but can also happen without cycles).
2218         \item Soundness is not easily represented in the graph.
2219         \item A system is \emph{complete} if all of the nodes in the normal set have
2220         the intended normal form. The inverse (that all of the nodes outside of
2221         the normal set are \emph{not} in the intended normal form) is not
2222         strictly required. In other words, our normal set must be a
2223         subset of the intended normal form, but they do not need to be
2224         the same set.
2225         form.
2226         \item A system is deterministic if all paths starting at a particular
2227         node, which end in a node in the normal set, end at the same node.
2228       \stopitemize
2229
2230       When looking at the \in{example}[ex:TransformGraph], we see that the system
2231       terminates for both the reduction and expansion systems (but note that, for
2232       expansion, this is only true because we've limited the possible
2233       expressions.  In comlete lambda calculus, there would be a path from
2234       \lam{(λx.λy. (+) x y) 1} to \lam{(λx.λy.(λz.(+) z) x y) 1} to
2235       \lam{(λx.λy.(λz.(λq.(+) q) z) x y) 1} etc.)
2236
2237       If we would consider the system with both expansion and reduction, there
2238       would no longer be termination either, since there would be cycles all
2239       over the place.
2240
2241       The reduction and expansion systems have a normal set of containing just
2242       \lam{(+) 1} or \lam{(λx.λy. (+) x y) 1} respectively. Since all paths in
2243       either system end up in these normal forms, both systems are \emph{complete}.
2244       Also, since there is only one node in the normal set, it must obviously be
2245       \emph{deterministic} as well.
2246
2247     \todo{Add content to these sections}
2248     \subsection{Termination}
2249       In general, proving termination of an arbitrary program is a very
2250       hard problem. \todo{Ref about arbitrary termination} Fortunately,
2251       we only have to prove termination for our specific transformation
2252       system.
2253
2254       A common approach for these kinds of proofs is to associate a
2255       measure with each possible expression in our system. If we can
2256       show that each transformation strictly decreases this measure
2257       (\ie, the expression transformed to has a lower measure than the
2258       expression transformed from).  \todo{ref about measure-based
2259       termination proofs / analysis}
2260       
2261       A good measure for a system consisting of just β-reduction would
2262       be the number of lambda expressions in the expression. Since every
2263       application of β-reduction removes a lambda abstraction (and there
2264       is always a bounded number of lambda abstractions in every
2265       expression) we can easily see that a transformation system with
2266       just β-reduction will always terminate.
2267
2268       For our complete system, this measure would be fairly complex
2269       (probably the sum of a lot of things). Since the (conditions on)
2270       our transformations are pretty complex, we would need to include
2271       both simple things like the number of let expressions as well as
2272       more complex things like the number of case expressions that are
2273       not yet in normal form.
2274
2275       No real attempt has been made at finding a suitable measure for
2276       our system yet.
2277
2278     \subsection{Soundness}
2279       Soundness is a property that can be proven for each transformation
2280       separately. Since our system only runs separate transformations
2281       sequentially, if each of our transformations leaves the
2282       \emph{meaning} of the expression unchanged, then the entire system
2283       will of course leave the meaning unchanged and is thus
2284       \emph{sound}.
2285
2286       The current prototype has only been verified in an ad-hoc fashion
2287       by inspecting (the code for) each transformation. A more formal
2288       verification would be more appropriate.
2289
2290       To be able to formally show that each transformation properly
2291       preserves the meaning of every expression, we require an exact
2292       definition of the \emph{meaning} of every expression, so we can
2293       compare them. Currently there seems to be no formal definition of
2294       the meaning or semantics of \GHC's core language, only informal
2295       descriptions are available.
2296
2297       It should be possible to have a single formal definition of
2298       meaning for Core for both normal Core compilation by \GHC and for
2299       our compilation to \VHDL. The main difference seems to be that in
2300       hardware every expression is always evaluated, while in software
2301       it is only evaluated if needed, but it should be possible to
2302       assign a meaning to core expressions that assumes neither.
2303       
2304       Since each of the transformations can be applied to any
2305       subexpression as well, there is a constraint on our meaning
2306       definition: The meaning of an expression should depend only on the
2307       meaning of subexpressions, not on the expressions themselves. For
2308       example, the meaning of the application in \lam{f (let x = 4 in
2309       x)} should be the same as the meaning of the application in \lam{f
2310       4}, since the argument subexpression has the same meaning (though
2311       the actual expression is different).
2312       
2313     \subsection{Completeness}
2314       Proving completeness is probably not hard, but it could be a lot
2315       of work. We have seen above that to prove completeness, we must
2316       show that the normal set of our graph representation is a subset
2317       of the intended normal set.
2318
2319       However, it is hard to systematically generate or reason about the
2320       normal set, since it is defined as any nodes to which no
2321       transformation applies. To determine this set, each transformation
2322       must be considered and when a transformation is added, the entire
2323       set should be re-evaluated. This means it is hard to show that
2324       each node in the normal set is also in the intended normal set.
2325       Reasoning about our intended normal set is easier, since we know
2326       how to generate it from its definition. \refdef{intended normal
2327       form definition}.
2328
2329       Fortunately, we can also prove the complement (which is
2330       equivalent, since $A \subseteq B \Leftrightarrow \overline{B}
2331       \subseteq \overline{A}$): Show that the set of nodes not in
2332       intended normal form is a subset of the set of nodes not in normal
2333       form. In other words, show that for every expression that is not
2334       in intended normal form, that there is at least one transformation
2335       that applies to it (since that means it is not in normal form
2336       either and since $A \subseteq C \Leftrightarrow \forall x (x \in A
2337       \rightarrow x \in C)$).
2338
2339       By systematically reviewing the entire Core language definition
2340       along with the intended normal form definition (both of which have
2341       a similar structure), it should be possible to identify all
2342       possible (sets of) core expressions that are not in intended
2343       normal form and identify a transformation that applies to it.
2344       
2345       This approach is especially useful for proving completeness of our
2346       system, since if expressions exist to which none of the
2347       transformations apply (\ie if the system is not yet complete), it
2348       is immediately clear which expressions these are and adding
2349       (or modifying) transformations to fix this should be relatively
2350       easy.
2351
2352       As observed above, applying this approach is a lot of work, since
2353       we need to check every (set of) transformation(s) separately.
2354
2355       \todo{Perhaps do a few steps of the proofs as proof-of-concept}
2356
2357 % vim: set sw=2 sts=2 expandtab: