cbb634c312d72c68872e65274973992260bc9518
[matthijs/master-project/report.git] / Chapters / Normalization.tex
1 \chapter[chap:normalization]{Normalization}
2   % A helper to print a single example in the half the page width. The example
3   % text should be in a buffer whose name is given in an argument.
4   %
5   % The align=right option really does left-alignment, but without the program
6   % will end up on a single line. The strut=no option prevents a bunch of empty
7   % space at the start of the frame.
8   \define[1]\example{
9     \framed[offset=1mm,align=right,strut=no,background=box,frame=off]{
10       \setuptyping[option=LAM,style=sans,before=,after=,strip=auto]
11       \typebuffer[#1]
12       \setuptyping[option=none,style=\tttf,strip=auto]
13     }
14   }
15
16   \define[4]\transexample{
17     \placeexample[here][ex:trans:#1]{#2}
18     \startcombination[2*1]
19       {\example{#3}}{Original program}
20       {\example{#4}}{Transformed program}
21     \stopcombination
22   }
23
24   The first step in the core to \small{VHDL} translation process, is normalization. We
25   aim to bring the core description into a simpler form, which we can
26   subsequently translate into \small{VHDL} easily. This normal form is needed because
27   the full core language is more expressive than \small{VHDL} in some
28   areas (higher-order expressions, limited polymorphism using type
29   classes, etc.) and because core can describe expressions that do not
30   have a direct hardware interpretation.
31
32   \section{Normal form}
33     The transformations described here have a well-defined goal: To bring the
34     program in a well-defined form that is directly translatable to
35     \VHDL, while fully preserving the semantics of the program. We refer
36     to this form as the \emph{normal form} of the program. The formal
37     definition of this normal form is quite simple:
38
39     \placedefinition{}{\startboxed A program is in \emph{normal form} if none of the
40     transformations from this chapter apply.\stopboxed}
41
42     Of course, this is an \quote{easy} definition of the normal form, since our
43     program will end up in normal form automatically. The more interesting part is
44     to see if this normal form actually has the properties we would like it to
45     have.
46
47     But, before getting into more definitions and details about this normal
48     form, let us try to get a feeling for it first. The easiest way to do this
49     is by describing the things that are unwanted in the intended normal form.
50
51     \startitemize
52       \item Any \emph{polymorphism} must be removed. When laying down hardware, we
53       cannot generate any signals that can have multiple types. All types must be
54       completely known to generate hardware.
55       
56       \item All \emph{higher-order} constructions must be removed. We cannot
57       generate a hardware signal that contains a function, so all values,
58       arguments and return values used must be first order.
59
60       \item All complex \emph{nested scopes} must be removed. In the \small{VHDL}
61       description, every signal is in a single scope. Also, full expressions are
62       not supported everywhere (in particular port maps can only map signal
63       names and constants, not complete expressions). To make the \small{VHDL}
64       generation easy, a separate binder must be bound to ever application or
65       other expression.
66     \stopitemize
67
68     \todo{Intermezzo: functions vs plain values}
69
70     A very simple example of a program in normal form is given in
71     \in{example}[ex:MulSum]. As you can see, all arguments to the function (which
72     will become input ports in the generated \VHDL) are at the outer level.
73     This means that the body of the inner lambda abstraction is never a
74     function, but always a plain value.
75
76     As the body of the inner lambda abstraction, we see a single (recursive)
77     let expression, that binds two variables (\lam{mul} and \lam{sum}). These
78     variables will be signals in the generated \VHDL, bound to the output port
79     of the \lam{*} and \lam{+} components.
80
81     The final line (the \quote{return value} of the function) selects the
82     \lam{sum} signal to be the output port of the function. This \quote{return
83     value} can always only be a variable reference, never a more complex
84     expression.
85
86     \todo{Add generated VHDL}
87
88     \startbuffer[MulSum]
89     alu :: Bit -> Word -> Word -> Word
90     alu = λa.λb.λc.
91         let
92           mul = (*) a b
93           sum = (+) mul c
94         in
95           sum
96     \stopbuffer
97
98     \startuseMPgraphic{MulSum}
99       save a, b, c, mul, add, sum;
100
101       % I/O ports
102       newCircle.a(btex $a$ etex) "framed(false)";
103       newCircle.b(btex $b$ etex) "framed(false)";
104       newCircle.c(btex $c$ etex) "framed(false)";
105       newCircle.sum(btex $sum$ etex) "framed(false)";
106
107       % Components
108       newCircle.mul(btex * etex);
109       newCircle.add(btex + etex);
110
111       a.c      - b.c   = (0cm, 2cm);
112       b.c      - c.c   = (0cm, 2cm);
113       add.c            = c.c + (2cm, 0cm);
114       mul.c            = midpoint(a.c, b.c) + (2cm, 0cm);
115       sum.c            = add.c + (2cm, 0cm);
116       c.c              = origin;
117
118       % Draw objects and lines
119       drawObj(a, b, c, mul, add, sum);
120
121       ncarc(a)(mul) "arcangle(15)";
122       ncarc(b)(mul) "arcangle(-15)";
123       ncline(c)(add);
124       ncline(mul)(add);
125       ncline(add)(sum);
126     \stopuseMPgraphic
127
128     \placeexample[here][ex:MulSum]{Simple architecture consisting of a
129     multiplier and a subtractor.}
130       \startcombination[2*1]
131         {\typebufferlam{MulSum}}{Core description in normal form.}
132         {\boxedgraphic{MulSum}}{The architecture described by the normal form.}
133       \stopcombination
134
135     \in{Example}[ex:MulSum] showed a function that just applied two
136     other functions (multiplication and addition), resulting in a simple
137     architecture with two components and some connections.  There is of
138     course also some mechanism for choice in the normal form. In a
139     normal Core program, the \emph{case} expression can be used in a few
140     different ways to describe choice. In normal form, this is limited
141     to a very specific form.
142
143     \in{Example}[ex:AddSubAlu] shows an example describing a
144     simple \small{ALU}, which chooses between two operations based on an opcode
145     bit. The main structure is similar to \in{example}[ex:MulSum], but this
146     time the \lam{res} variable is bound to a case expression. This case
147     expression scrutinizes the variable \lam{opcode} (and scrutinizing more
148     complex expressions is not supported). The case expression can select a
149     different variable based on the constructor of \lam{opcode}.
150     \refdef{case expression}
151
152     \startbuffer[AddSubAlu]
153     alu :: Bit -> Word -> Word -> Word
154     alu = λopcode.λa.λb.
155         let
156           res1 = (+) a b
157           res2 = (-) a b
158           res = case opcode of
159             Low -> res1
160             High -> res2
161         in
162           res
163     \stopbuffer
164
165     \startuseMPgraphic{AddSubAlu}
166       save opcode, a, b, add, sub, mux, res;
167
168       % I/O ports
169       newCircle.opcode(btex $opcode$ etex) "framed(false)";
170       newCircle.a(btex $a$ etex) "framed(false)";
171       newCircle.b(btex $b$ etex) "framed(false)";
172       newCircle.res(btex $res$ etex) "framed(false)";
173       % Components
174       newCircle.add(btex + etex);
175       newCircle.sub(btex - etex);
176       newMux.mux;
177
178       opcode.c - a.c   = (0cm, 2cm);
179       add.c    - a.c   = (4cm, 0cm);
180       sub.c    - b.c   = (4cm, 0cm);
181       a.c      - b.c   = (0cm, 3cm);
182       mux.c            = midpoint(add.c, sub.c) + (1.5cm, 0cm);
183       res.c    - mux.c = (1.5cm, 0cm);
184       b.c              = origin;
185
186       % Draw objects and lines
187       drawObj(opcode, a, b, res, add, sub, mux);
188
189       ncline(a)(add) "posA(e)";
190       ncline(b)(sub) "posA(e)";
191       nccurve(a)(sub) "posA(e)", "angleA(0)";
192       nccurve(b)(add) "posA(e)", "angleA(0)";
193       nccurve(add)(mux) "posB(inpa)", "angleB(0)";
194       nccurve(sub)(mux) "posB(inpb)", "angleB(0)";
195       nccurve(opcode)(mux) "posB(n)", "angleA(0)", "angleB(-90)";
196       ncline(mux)(res) "posA(out)";
197     \stopuseMPgraphic
198
199     \placeexample[here][ex:AddSubAlu]{Simple \small{ALU} supporting two operations.}
200       \startcombination[2*1]
201         {\typebufferlam{AddSubAlu}}{Core description in normal form.}
202         {\boxedgraphic{AddSubAlu}}{The architecture described by the normal form.}
203       \stopcombination
204
205     As a more complete example, consider
206     \in{example}[ex:NormalComplete]. This example shows everything that
207     is allowed in normal form, except for built-in higher-order functions
208     (like \lam{map}). The graphical version of the architecture contains
209     a slightly simplified version, since the state tuple packing and
210     unpacking have been left out. Instead, two separate registers are
211     drawn. Also note that most synthesis tools will further optimize
212     this architecture by removing the multiplexers at the register input
213     and instead put some gates in front of the register's clock input,
214     but we want to show the architecture as close to the description as
215     possible.
216
217     As you can see from the previous examples, the generation of the final
218     architecture from the normal form is straightforward. In each of the
219     examples, there is a direct match between the normal form structure,
220     the generated VHDL and the architecture shown in the images.
221
222     \startbuffer[NormalComplete]
223       regbank :: Bit 
224                  -> Word 
225                  -> State (Word, Word) 
226                  -> (State (Word, Word), Word)
227
228       -- All arguments are an inital lambda (address, data, packed state)
229       regbank = λa.λd.λsp.
230       -- There are nested let expressions at top level
231       let
232         -- Unpack the state by coercion (\eg, cast from
233         -- State (Word, Word) to (Word, Word))
234         s = sp ▶ (Word, Word)
235         -- Extract both registers from the state
236         r1 = case s of (a, b) -> a
237         r2 = case s of (a, b) -> b
238         -- Calling some other user-defined function.
239         d' = foo d
240         -- Conditional connections
241         out = case a of
242           High -> r1
243           Low -> r2
244         r1' = case a of
245           High -> d'
246           Low -> r1
247         r2' = case a of
248           High -> r2
249           Low -> d'
250         -- Packing a tuple
251         s' = (,) r1' r2'
252         -- pack the state by coercion (\eg, cast from
253         -- (Word, Word) to State (Word, Word))
254         sp' = s' ▶ State (Word, Word)
255         -- Pack our return value
256         res = (,) sp' out
257       in
258         -- The actual result
259         res
260     \stopbuffer
261
262     \startuseMPgraphic{NormalComplete}
263       save a, d, r, foo, muxr, muxout, out;
264
265       % I/O ports
266       newCircle.a(btex \lam{a} etex) "framed(false)";
267       newCircle.d(btex \lam{d} etex) "framed(false)";
268       newCircle.out(btex \lam{out} etex) "framed(false)";
269       % Components
270       %newCircle.add(btex + etex);
271       newBox.foo(btex \lam{foo} etex);
272       newReg.r1(btex $\lam{r1}$ etex) "dx(4mm)", "dy(6mm)";
273       newReg.r2(btex $\lam{r2}$ etex) "dx(4mm)", "dy(6mm)", "reflect(true)";
274       newMux.muxr1;
275       % Reflect over the vertical axis
276       reflectObj(muxr1)((0,0), (0,1));
277       newMux.muxr2;
278       newMux.muxout;
279       rotateObj(muxout)(-90);
280
281       d.c               = foo.c + (0cm, 1.5cm); 
282       a.c               = (xpart r2.c + 2cm, ypart d.c - 0.5cm);
283       foo.c             = midpoint(muxr1.c, muxr2.c) + (0cm, 2cm);
284       muxr1.c           = r1.c + (0cm, 2cm);
285       muxr2.c           = r2.c + (0cm, 2cm);
286       r2.c              = r1.c + (4cm, 0cm);
287       r1.c              = origin;
288       muxout.c          = midpoint(r1.c, r2.c) - (0cm, 2cm);
289       out.c             = muxout.c - (0cm, 1.5cm);
290
291     %  % Draw objects and lines
292       drawObj(a, d, foo, r1, r2, muxr1, muxr2, muxout, out);
293       
294       ncline(d)(foo);
295       nccurve(foo)(muxr1) "angleA(-90)", "posB(inpa)", "angleB(180)";
296       nccurve(foo)(muxr2) "angleA(-90)", "posB(inpb)", "angleB(0)";
297       nccurve(muxr1)(r1) "posA(out)", "angleA(180)", "posB(d)", "angleB(0)";
298       nccurve(r1)(muxr1) "posA(out)", "angleA(0)", "posB(inpb)", "angleB(180)";
299       nccurve(muxr2)(r2) "posA(out)", "angleA(0)", "posB(d)", "angleB(180)";
300       nccurve(r2)(muxr2) "posA(out)", "angleA(180)", "posB(inpa)", "angleB(0)";
301       nccurve(r1)(muxout) "posA(out)", "angleA(0)", "posB(inpb)", "angleB(-90)";
302       nccurve(r2)(muxout) "posA(out)", "angleA(180)", "posB(inpa)", "angleB(-90)";
303       % Connect port a
304       nccurve(a)(muxout) "angleA(-90)", "angleB(180)", "posB(sel)";
305       nccurve(a)(muxr1) "angleA(180)", "angleB(-90)", "posB(sel)";
306       nccurve(a)(muxr2) "angleA(180)", "angleB(-90)", "posB(sel)";
307       ncline(muxout)(out) "posA(out)";
308     \stopuseMPgraphic
309
310     \todo{Don't split registers in this image?}
311     \placeexample[here][ex:NormalComplete]{Simple architecture consisting of an adder and a
312     subtractor.}
313       \startcombination[2*1]
314         {\typebufferlam{NormalComplete}}{Core description in normal form.}
315         {\boxedgraphic{NormalComplete}}{The architecture described by the normal form.}
316       \stopcombination
317     
318
319
320     \subsection[sec:normalization:intendednormalform]{Intended normal form definition}
321       Now we have some intuition for the normal form, we can describe how we want
322       the normal form to look like in a slightly more formal manner. The following
323       EBNF-like description captures most of the intended structure (and
324       generates a subset of \GHC's core format). 
325       
326       There are two things missing: Cast expressions are sometimes
327       allowed by the prototype, but not specified here and the below
328       definition allows uses of state that cannot be translated to \VHDL
329       properly. These two problems are discussed in
330       \in{section}[sec:normalization:castproblems] and
331       \in{section}[sec:normalization:stateproblems] respectively.
332
333       Some clauses have an expression listed behind them in parentheses.
334       These are conditions that need to apply to the clause. The
335       predicates used there (\lam{lvar()}, \lam{representable()},
336       \lam{gvar()}) will be defined in
337       \in{section}[sec:normalization:predicates].
338
339       An expression is in normal form if it matches the first
340       definition, \emph{normal}.
341
342       \todo{Fix indentation}
343       \startbuffer[IntendedNormal]
344       \italic{normal} := \italic{lambda}
345       \italic{lambda} := λvar.\italic{lambda}                        (representable(var))
346                       | \italic{toplet} 
347       \italic{toplet} := letrec [\italic{binding}...] in var         (representable(var))
348       \italic{binding} := var = \italic{rhs}                         (representable(rhs))
349                        -- State packing and unpacking by coercion
350                        | var0 = var1 ▶ State ty                      (lvar(var1))
351                        | var0 = var1 ▶ ty                            (var1 :: State ty ∧ lvar(var1))
352       \italic{rhs} := \italic{userapp}
353                    | \italic{builtinapp}
354                    -- Extractor case
355                    | case var of C a0 ... an -> ai                   (lvar(var))
356                    -- Selector case
357                    | case var of                                     (lvar(var))
358                       [ DEFAULT -> var ]                             (lvar(var))
359                       C0 w0,0 ... w0,n -> var0
360                       \vdots
361                       Cm wm,0 ... wm,n -> varm                       (\forall{}i \forall{}j, wi,j \neq vari, lvar(vari))
362       \italic{userapp} := \italic{userfunc}
363                        | \italic{userapp} {userarg}
364       \italic{userfunc} := var                                       (gvar(var))
365       \italic{userarg} := var                                        (lvar(var))
366       \italic{builtinapp} := \italic{builtinfunc}
367                           | \italic{builtinapp} \italic{builtinarg}
368       \italic{built-infunc} := var                                    (bvar(var))
369       \italic{built-inarg} := var                                     (representable(var) ∧ lvar(var))
370                           | \italic{partapp}                         (partapp :: a -> b)
371                           | \italic{coreexpr}                        (¬representable(coreexpr) ∧ ¬(coreexpr :: a -> b))
372       \italic{partapp} := \italic{userapp} 
373                        | \italic{builtinapp}
374       \stopbuffer
375
376       \placedefinition[][def:IntendedNormal]{Definition of the intended nnormal form using an \small{EBNF}-like syntax.}
377           {\defref{intended normal form definition}
378            \typebufferlam{IntendedNormal}}
379
380       When looking at such a program from a hardware perspective, the
381       top level lambda abstractions define the input ports. Lambda
382       abstractions cannot appear anywhere else. The variable reference
383       in the body of the recursive let expression is the output port.
384       Most function applications bound by the let expression define a
385       component instantiation, where the input and output ports are
386       mapped to local signals or arguments. Some of the others use a
387       built-in construction (\eg the \lam{case} expression) or call a
388       built-in function (\eg \lam{+} or \lam{map}). For these, a
389       hardcoded \small{VHDL} translation is available.
390
391   \section[sec:normalization:transformation]{Transformation notation}
392     To be able to concisely present transformations, we use a specific format
393     for them. It is a simple format, similar to one used in logic reasoning.
394
395     Such a transformation description looks like the following.
396
397     \starttrans
398     <context conditions>
399     ~
400     <original expression>
401     --------------------------          <expression conditions>
402     <transformed expression>
403     ~
404     <context additions>
405     \stoptrans
406
407     This format describes a transformation that applies to \lam{<original
408     expression>} and transforms it into \lam{<transformed expression>}, assuming
409     that all conditions are satisfied. In this format, there are a number of placeholders
410     in pointy brackets, most of which should be rather obvious in their meaning.
411     Nevertheless, we will more precisely specify their meaning below:
412
413       \startdesc{<original expression>} The expression pattern that will be matched
414       against (subexpressions of) the expression to be transformed. We call this a
415       pattern, because it can contain \emph{placeholders} (variables), which match
416       any expression or binder. Any such placeholder is said to be \emph{bound} to
417       the expression it matches. It is convention to use an uppercase letter (\eg
418       \lam{M} or \lam{E}) to refer to any expression (including a simple variable
419       reference) and lowercase letters (\eg \lam{v} or \lam{b}) to refer to
420       (references to) binders.
421
422       For example, the pattern \lam{a + B} will match the expression 
423       \lam{v + (2 * w)} (binding \lam{a} to \lam{v} and \lam{B} to 
424       \lam{(2 * w)}), but not \lam{(2 * w) + v}.
425       \stopdesc
426
427       \startdesc{<expression conditions>}
428       These are extra conditions on the expression that is matched. These
429       conditions can be used to further limit the cases in which the
430       transformation applies, commonly to prevent a transformation from
431       causing a loop with itself or another transformation.
432
433       Only if these conditions are \emph{all} satisfied, the transformation
434       applies.
435       \stopdesc
436
437       \startdesc{<context conditions>}
438       These are a number of extra conditions on the context of the function. In
439       particular, these conditions can require some (other) top level function to be
440       present, whose value matches the pattern given here. The format of each of
441       these conditions is: \lam{binder = <pattern>}.
442
443       Typically, the binder is some placeholder bound in the \lam{<original
444       expression>}, while the pattern contains some placeholders that are used in
445       the \lam{transformed expression}.
446       
447       Only if a top level binder exists that matches each binder and pattern,
448       the transformation applies.
449       \stopdesc
450
451       \startdesc{<transformed expression>}
452       This is the expression template that is the result of the transformation. If, looking
453       at the above three items, the transformation applies, the \lam{<original
454       expression>} is completely replaced by the \lam{<transformed expression>}.
455       We call this a template, because it can contain placeholders, referring to
456       any placeholder bound by the \lam{<original expression>} or the
457       \lam{<context conditions>}. The resulting expression will have those
458       placeholders replaced by the values bound to them.
459
460       Any binder (lowercase) placeholder that has no value bound to it yet will be
461       bound to (and replaced with) a fresh binder.
462       \stopdesc
463
464       \startdesc{<context additions>}
465       These are templates for new functions to be added to the context.
466       This is a way to let a transformation create new top level
467       functions.
468
469       Each addition has the form \lam{binder = template}. As above, any
470       placeholder in the addition is replaced with the value bound to it, and any
471       binder placeholder that has no value bound to it yet will be bound to (and
472       replaced with) a fresh binder.
473       \stopdesc
474
475     To understand this notation better, the step by step application of
476     the η-abstraction transformation to a simple \small{ALU} will be
477     shown. Consider η-abstraction, which is a common transformation from
478     labmda calculus, described using above notation as follows:
479
480     \starttrans
481     E                 \lam{E :: a -> b}
482     --------------    \lam{E} does not occur on a function position in an application
483     λx.E x            \lam{E} is not a lambda abstraction.
484     \stoptrans
485
486     η-abstraction is a well known transformation from lambda calculus. What
487     this transformation does, is take any expression that has a function type
488     and turn it into a lambda expression (giving an explicit name to the
489     argument). There are some extra conditions that ensure that this
490     transformation does not apply infinitely (which are not necessarily part
491     of the conventional definition of η-abstraction).
492
493     Consider the following function, in Core notation, which is a fairly obvious way to specify a
494     simple \small{ALU} (Note that it is not yet in normal form, but
495     \in{example}[ex:AddSubAlu] shows the normal form of this function).
496     The parentheses around the \lam{+} and \lam{-} operators are
497     commonly used in Haskell to show that the operators are used as
498     normal functions, instead of \emph{infix} operators (\eg, the
499     operators appear before their arguments, instead of in between).
500
501     \startlambda 
502     alu :: Bit -> Word -> Word -> Word
503     alu = λopcode. case opcode of
504       Low -> (+)
505       High -> (-)
506     \stoplambda
507
508     There are a few subexpressions in this function to which we could possibly
509     apply the transformation. Since the pattern of the transformation is only
510     the placeholder \lam{E}, any expression will match that. Whether the
511     transformation applies to an expression is thus solely decided by the
512     conditions to the right of the transformation.
513
514     We will look at each expression in the function in a top down manner. The
515     first expression is the entire expression the function is bound to.
516
517     \startlambda
518     λopcode. case opcode of
519       Low -> (+)
520       High -> (-)
521     \stoplambda
522
523     As said, the expression pattern matches this. The type of this expression is
524     \lam{Bit -> Word -> Word -> Word}, which matches \lam{a -> b} (Note that in
525     this case \lam{a = Bit} and \lam{b = Word -> Word -> Word}).
526
527     Since this expression is at top level, it does not occur at a function
528     position of an application. However, The expression is a lambda abstraction,
529     so this transformation does not apply.
530
531     The next expression we could apply this transformation to, is the body of
532     the lambda abstraction:
533
534     \startlambda
535     case opcode of
536       Low -> (+)
537       High -> (-)
538     \stoplambda
539
540     The type of this expression is \lam{Word -> Word -> Word}, which again
541     matches \lam{a -> b}. The expression is the body of a lambda expression, so
542     it does not occur at a function position of an application. Finally, the
543     expression is not a lambda abstraction but a case expression, so all the
544     conditions match. There are no context conditions to match, so the
545     transformation applies.
546
547     By now, the placeholder \lam{E} is bound to the entire expression. The
548     placeholder \lam{x}, which occurs in the replacement template, is not bound
549     yet, so we need to generate a fresh binder for that. Let us use the binder
550     \lam{a}. This results in the following replacement expression:
551
552     \startlambda
553     λa.(case opcode of
554       Low -> (+)
555       High -> (-)) a
556     \stoplambda
557
558     Continuing with this expression, we see that the transformation does not
559     apply again (it is a lambda expression). Next we look at the body of this
560     lambda abstraction:
561
562     \startlambda
563     (case opcode of
564       Low -> (+)
565       High -> (-)) a
566     \stoplambda
567     
568     Here, the transformation does apply, binding \lam{E} to the entire
569     expression (which has type \lam{Word -> Word}) and binding \lam{x}
570     to the fresh binder \lam{b}, resulting in the replacement:
571
572     \startlambda
573     λb.(case opcode of
574       Low -> (+)
575       High -> (-)) a b
576     \stoplambda
577
578     The transformation does not apply to this lambda abstraction, so we
579     look at its body. For brevity, we will put the case expression on one line from
580     now on.
581
582     \startlambda
583     (case opcode of Low -> (+); High -> (-)) a b
584     \stoplambda
585
586     The type of this expression is \lam{Word}, so it does not match \lam{a -> b}
587     and the transformation does not apply. Next, we have two options for the
588     next expression to look at: The function position and argument position of
589     the application. The expression in the argument position is \lam{b}, which
590     has type \lam{Word}, so the transformation does not apply. The expression in
591     the function position is:
592
593     \startlambda
594     (case opcode of Low -> (+); High -> (-)) a
595     \stoplambda
596
597     Obviously, the transformation does not apply here, since it occurs in
598     function position (which makes the second condition false). In the same
599     way the transformation does not apply to both components of this
600     expression (\lam{case opcode of Low -> (+); High -> (-)} and \lam{a}), so
601     we will skip to the components of the case expression: The scrutinee and
602     both alternatives. Since the opcode is not a function, it does not apply
603     here.
604
605     The first alternative is \lam{(+)}. This expression has a function type
606     (the operator still needs two arguments). It does not occur in function
607     position of an application and it is not a lambda expression, so the
608     transformation applies.
609
610     We look at the \lam{<original expression>} pattern, which is \lam{E}.
611     This means we bind \lam{E} to \lam{(+)}. We then replace the expression
612     with the \lam{<transformed expression>}, replacing all occurences of
613     \lam{E} with \lam{(+)}. In the \lam{<transformed expression>}, the This gives us the replacement expression:
614     \lam{λx.(+) x} (A lambda expression binding \lam{x}, with a body that
615     applies the addition operator to \lam{x}).
616
617     The complete function then becomes:
618     \startlambda
619     (case opcode of Low -> λa1.(+) a1; High -> (-)) a
620     \stoplambda
621
622     Now the transformation no longer applies to the complete first alternative
623     (since it is a lambda expression). It does not apply to the addition
624     operator again, since it is now in function position in an application. It
625     does, however, apply to the application of the addition operator, since
626     that is neither a lambda expression nor does it occur in function
627     position. This means after one more application of the transformation, the
628     function becomes:
629
630     \startlambda
631     (case opcode of Low -> λa1.λb1.(+) a1 b1; High -> (-)) a
632     \stoplambda
633
634     The other alternative is left as an exercise to the reader. The final
635     function, after applying η-abstraction until it does no longer apply is:
636
637     \startlambda 
638     alu :: Bit -> Word -> Word -> Word
639     alu = λopcode.λa.b. (case opcode of
640       Low -> λa1.λb1 (+) a1 b1
641       High -> λa2.λb2 (-) a2 b2) a b
642     \stoplambda
643
644     \subsection{Transformation application}
645       In this chapter we define a number of transformations, but how will we apply
646       these? As stated before, our normal form is reached as soon as no
647       transformation applies anymore. This means our application strategy is to
648       simply apply any transformation that applies, and continuing to do that with
649       the result of each transformation.
650
651       In particular, we define no particular order of transformations. Since
652       transformation order should not influence the resulting normal form,
653       this leaves the implementation free to choose any application order that
654       results in an efficient implementation. Unfortunately this is not
655       entirely true for the current set of transformations. See
656       \in{section}[sec:normalization:non-determinism] for a discussion of this
657       problem.
658
659       When applying a single transformation, we try to apply it to every (sub)expression
660       in a function, not just the top level function body. This allows us to
661       keep the transformation descriptions concise and powerful.
662
663     \subsection{Definitions}
664       A \emph{global variable} is any variable (binder) that is bound at the
665       top level of a program, or an external module. A \emph{local variable} is any
666       other variable (\eg, variables local to a function, which can be bound by
667       lambda abstractions, let expressions and pattern matches of case
668       alternatives). This is a slightly different notion of global versus
669       local than what \small{GHC} uses internally, but for our purposes
670       the distinction \GHC makes is not useful.
671       \defref{global variable} \defref{local variable}
672
673       A \emph{hardware representable} (or just \emph{representable}) type or value
674       is (a value of) a type that we can generate a signal for in hardware. For
675       example, a bit, a vector of bits, a 32 bit unsigned word, etc. Values that are
676       not runtime representable notably include (but are not limited to): Types,
677       dictionaries, functions.
678       \defref{representable}
679
680       A \emph{built-in function} is a function supplied by the Cλash framework, whose
681       implementation is not valid Cλash. The implementation is of course valid
682       Haskell, for simulation, but it is not expressable in Cλash.
683       \defref{built-in function} \defref{user-defined function}
684
685       For these functions, Cλash has a \emph{built-in hardware translation}, so calls
686       to these functions can still be translated. These are functions like
687       \lam{map}, \lam{hwor} and \lam{length}.
688
689       A \emph{user-defined} function is a function for which we do have a Cλash
690       implementation available.
691
692       \subsubsection[sec:normalization:predicates]{Predicates}
693         Here, we define a number of predicates that can be used below to concisely
694         specify conditions.
695
696         \emph{gvar(expr)} is true when \emph{expr} is a variable that references a
697         global variable. It is false when it references a local variable.
698
699         \emph{lvar(expr)} is the complement of \emph{gvar}; it is true when \emph{expr}
700         references a local variable, false when it references a global variable.
701
702         \emph{representable(expr)} is true when \emph{expr} is \emph{representable}.
703
704     \subsection[sec:normalization:uniq]{Binder uniqueness}
705       A common problem in transformation systems, is binder uniqueness. When not
706       considering this problem, it is easy to create transformations that mix up
707       bindings and cause name collisions. Take for example, the following core
708       expression:
709
710       \startlambda
711       (λa.λb.λc. a * b * c) x c
712       \stoplambda
713
714       By applying β-reduction (see \in{section}[sec:normalization:beta]) once,
715       we can simplify this expression to:
716
717       \startlambda
718       (λb.λc. x * b * c) c
719       \stoplambda
720
721       Now, we have replaced the \lam{a} binder with a reference to the \lam{x}
722       binder. No harm done here. But note that we see multiple occurences of the
723       \lam{c} binder. The first is a binding occurence, to which the second refers.
724       The last, however refers to \emph{another} instance of \lam{c}, which is
725       bound somewhere outside of this expression. Now, if we would apply beta
726       reduction without taking heed of binder uniqueness, we would get:
727
728       \startlambda
729       λc. x * c * c
730       \stoplambda
731
732       This is obviously not what was supposed to happen! The root of this problem is
733       the reuse of binders: Identical binders can be bound in different,
734       but overlapping scopes. Any variable reference in those
735       overlapping scopes then refers to the variable bound in the inner
736       (smallest) scope. There is not way to refer to the variable in the
737       outer scope. This effect is usually referred to as
738       \emph{shadowing}: When a binder is bound in a scope where the
739       binder already had a value, the inner binding is said to
740       \emph{shadow} the outer binding. In the example above, the \lam{c}
741       binder was bound outside of the expression and in the inner lambda
742       expression. Inside that lambda expression, only the inner \lam{c}
743       can be accessed.
744
745       There are a number of ways to solve this. \small{GHC} has isolated this
746       problem to their binder substitution code, which performs \emph{deshadowing}
747       during its expression traversal. This means that any binding that shadows
748       another binding on a higher level is replaced by a new binder that does not
749       shadow any other binding. This non-shadowing invariant is enough to prevent
750       binder uniqueness problems in \small{GHC}.
751
752       In our transformation system, maintaining this non-shadowing invariant is
753       a bit harder to do (mostly due to implementation issues, the prototype
754       does not use \small{GHC}'s subsitution code). Also, the following points
755       can be observed.
756
757       \startitemize
758       \item Deshadowing does not guarantee overall uniqueness. For example, the
759       following (slightly contrived) expression shows the identifier \lam{x} bound in
760       two seperate places (and to different values), even though no shadowing
761       occurs.
762
763       \startlambda
764       (let x = 1 in x) + (let x = 2 in x)
765       \stoplambda
766
767       \item In our normal form (and the resulting \small{VHDL}), all binders
768       (signals) within the same function (entity) will end up in the same
769       scope. To allow this, all binders within the same function should be
770       unique.
771
772       \item When we know that all binders in an expression are unique, moving around
773       or removing a subexpression will never cause any binder conflicts. If we have
774       some way to generate fresh binders, introducing new subexpressions will not
775       cause any problems either. The only way to cause conflicts is thus to
776       duplicate an existing subexpression.
777       \stopitemize
778
779       Given the above, our prototype maintains a unique binder invariant. This
780       means that in any given moment during normalization, all binders \emph{within
781       a single function} must be unique. To achieve this, we apply the following
782       technique.
783
784       \todo{Define fresh binders and unique supplies}
785
786       \startitemize
787       \item Before starting normalization, all binders in the function are made
788       unique. This is done by generating a fresh binder for every binder used. This
789       also replaces binders that did not cause any conflict, but it does ensure that
790       all binders within the function are generated by the same unique supply.
791       \refdef{fresh binder}
792       \item Whenever a new binder must be generated, we generate a fresh binder that
793       is guaranteed to be different from \emph{all binders generated so far}. This
794       can thus never introduce duplication and will maintain the invariant.
795       \item Whenever (a part of) an expression is duplicated (for example when
796       inlining), all binders in the expression are replaced with fresh binders
797       (using the same method as at the start of normalization). These fresh binders
798       can never introduce duplication, so this will maintain the invariant.
799       \item Whenever we move part of an expression around within the function, there
800       is no need to do anything special. There is obviously no way to introduce
801       duplication by moving expressions around. Since we know that each of the
802       binders is already unique, there is no way to introduce (incorrect) shadowing
803       either.
804       \stopitemize
805
806   \section{Transform passes}
807     In this section we describe the actual transforms.
808
809     Each transformation will be described informally first, explaining
810     the need for and goal of the transformation. Then, we will formally define
811     the transformation using the syntax introduced in
812     \in{section}[sec:normalization:transformation].
813
814     \subsection{General cleanup}
815       These transformations are general cleanup transformations, that aim to
816       make expressions simpler. These transformations usually clean up the
817        mess left behind by other transformations or clean up expressions to
818        expose new transformation opportunities for other transformations.
819
820        Most of these transformations are standard optimizations in other
821        compilers as well. However, in our compiler, most of these are not just
822        optimizations, but they are required to get our program into intended
823        normal form.
824
825         \placeintermezzo{}{
826           \defref{substitution notation}
827           \startframedtext[width=8cm,background=box,frame=no]
828           \startalignment[center]
829             {\tfa Substitution notation}
830           \stopalignment
831           \blank[medium]
832
833           In some of the transformations in this chapter, we need to perform
834           substitution on an expression. Substitution means replacing every
835           occurence of some expression (usually a variable reference) with
836           another expression.
837
838           There have been a lot of different notations used in literature for
839           specifying substitution. The notation that will be used in this report
840           is the following:
841
842           \startlambda
843             E[A=>B]
844           \stoplambda
845
846           This means expression \lam{E} with all occurences of \lam{A} replaced
847           with \lam{B}.
848           \stopframedtext
849         }
850
851       \subsubsection[sec:normalization:beta]{β-reduction}
852         β-reduction is a well known transformation from lambda calculus, where it is
853         the main reduction step. It reduces applications of lambda abstractions,
854         removing both the lambda abstraction and the application.
855
856         In our transformation system, this step helps to remove unwanted lambda
857         abstractions (basically all but the ones at the top level). Other
858         transformations (application propagation, non-representable inlining) make
859         sure that most lambda abstractions will eventually be reducable by
860         β-reduction.
861
862         Note that β-reduction also works on type lambda abstractions and type
863         applications as well. This means the substitution below also works on
864         type variables, in the case that the binder is a type variable and teh
865         expression applied to is a type.
866
867         \starttrans
868         (λx.E) M
869         -----------------
870         E[x=>M]
871         \stoptrans
872
873         % And an example
874         \startbuffer[from]
875         (λa. 2 * a) (2 * b)
876         \stopbuffer
877
878         \startbuffer[to]
879         2 * (2 * b)
880         \stopbuffer
881
882         \transexample{beta}{β-reduction}{from}{to}
883
884         \startbuffer[from]
885         (λt.λa::t. a) @Int
886         \stopbuffer
887
888         \startbuffer[to]
889         (λa::Int. a)
890         \stopbuffer
891
892         \transexample{beta-type}{β-reduction for type abstractions}{from}{to}
893        
894       \subsubsection{Unused let binding removal}
895         This transformation removes let bindings that are never used.
896         Occasionally, \GHC's desugarer introduces some unused let bindings.
897
898         This normalization pass should really be not be necessary to get
899         into intended normal form (since the intended normal form
900         definition \refdef{intended normal form definition} does not
901         require that every binding is used), but in practice the
902         desugarer or simplifier emits some bindings that cannot be
903         normalized (e.g., calls to a
904         \hs{Control.Exception.Base.patError}) but are not used anywhere
905         either. To prevent the \VHDL generation from breaking on these
906         artifacts, this transformation removes them.
907
908         \todo{Do not use old-style numerals in transformations}
909         \starttrans
910         letrec
911           a0 = E0
912           \vdots
913           ai = Ei
914           \vdots
915           an = En
916         in
917           M                             \lam{ai} does not occur free in \lam{M}
918         ----------------------------    \lam{\forall j, 0 ≤ j ≤ n, j ≠ i} (\lam{ai} does not occur free in \lam{Ej})
919         letrec
920           a0 = E0
921           \vdots
922           ai-1 = Ei-1
923           ai+1 = Ei+1
924           \vdots
925           an = En
926         in
927           M
928         \stoptrans
929
930         % And an example
931         \startbuffer[from]
932         let
933           x = 1
934         in
935           2
936         \stopbuffer
937
938         \startbuffer[to]
939         let
940         in
941           2
942         \stopbuffer
943
944         \transexample{unusedlet}{Unused let binding removal}{from}{to}
945
946       \subsubsection{Empty let removal}
947         This transformation is simple: It removes recursive lets that have no bindings
948         (which usually occurs when unused let binding removal removes the last
949         binding from it).
950
951         Note that there is no need to define this transformation for
952         non-recursive lets, since they always contain exactly one binding.
953
954         \starttrans
955         letrec in M
956         --------------
957         M
958         \stoptrans
959
960         % And an example
961         \startbuffer[from]
962         let
963         in
964           2
965         \stopbuffer
966
967         \startbuffer[to]
968           2
969         \stopbuffer
970
971         \transexample{emptylet}{Empty let removal}{from}{to}
972
973       \subsubsection[sec:normalization:simplelet]{Simple let binding removal}
974         This transformation inlines simple let bindings, that bind some
975         binder to some other binder instead of a more complex expression (\ie
976         a = b).
977
978         This transformation is not needed to get an expression into intended
979         normal form (since these bindings are part of the intended normal
980         form), but makes the resulting \small{VHDL} a lot shorter.
981        
982         \refdef{substitution notation}
983         \starttrans
984         letrec
985           a0 = E0
986           \vdots
987           ai = b
988           \vdots
989           an = En
990         in
991           M
992         -----------------------------  \lam{b} is a variable reference
993         letrec                         \lam{ai} ≠ \lam{b}
994           a0 = E0 [ai=>b]
995           \vdots
996           ai-1 = Ei-1 [ai=>b]
997           ai+1 = Ei+1 [ai=>b]
998           \vdots
999           an = En [ai=>b]
1000         in
1001           M[ai=>b]
1002         \stoptrans
1003
1004         \todo{example}
1005
1006       \subsubsection{Cast propagation / simplification}
1007         This transform pushes casts down into the expression as far as
1008         possible. This transformation has been added to make a few
1009         specific corner cases work, but it is not clear yet if this
1010         transformation handles cast expressions completely or in the
1011         right way. See \in{section}[sec:normalization:castproblems].
1012
1013         \starttrans
1014         (let binds in E) ▶ T
1015         -------------------------
1016         let binds in (E ▶ T)
1017         \stoptrans
1018
1019         \starttrans
1020         (case S of
1021           p0 -> E0
1022           \vdots
1023           pn -> En
1024         ) ▶ T
1025         -------------------------
1026         case S of
1027           p0 -> E0 ▶ T
1028           \vdots
1029           pn -> En ▶ T
1030         \stoptrans
1031
1032       \subsubsection{Top level binding inlining}
1033         \refdef{top level binding}
1034         This transform takes simple top level bindings generated by the
1035         \small{GHC} compiler. \small{GHC} sometimes generates very simple
1036         \quote{wrapper} bindings, which are bound to just a variable
1037         reference, or contain just a (partial) function appliation with
1038         the type and dictionary arguments filled in (such as the
1039         \lam{(+)} in the example below).
1040
1041         Note that this transformation is completely optional. It is not
1042         required to get any function into intended normal form, but it does help making
1043         the resulting VHDL output easier to read (since it removes components
1044         that do not add any real structure, but do hide away operations and
1045         cause extra clutter).
1046
1047         This transform takes any top level binding generated by \GHC,
1048         whose normalized form contains only a single let binding.
1049
1050         \starttrans
1051         x = λa0 ... λan.let y = E in y
1052         ~
1053         x
1054         --------------------------------------         \lam{x} is generated by the compiler
1055         λa0 ... λan.let y = E in y
1056         \stoptrans
1057
1058         \startbuffer[from]
1059         (+) :: Word -> Word -> Word
1060         (+) = GHC.Num.(+) @Word \$dNum
1061         ~
1062         (+) a b
1063         \stopbuffer
1064         \startbuffer[to]
1065         GHC.Num.(+) @ Alu.Word \$dNum a b
1066         \stopbuffer
1067
1068         \transexample{toplevelinline}{Top level binding inlining}{from}{to}
1069        
1070         \in{Example}[ex:trans:toplevelinline] shows a typical application of
1071         the addition operator generated by \GHC. The type and dictionary
1072         arguments used here are described in
1073         \in{Section}[section:prototype:polymorphism].
1074
1075         Without this transformation, there would be a \lam{(+)} entity
1076         in the \VHDL which would just add its inputs. This generates a
1077         lot of overhead in the \VHDL, which is particularly annoying
1078         when browsing the generated RTL schematic (especially since most
1079         non-alphanumerics, like all characters in \lam{(+)}, are not
1080         allowed in \VHDL architecture names\footnote{Technically, it is
1081         allowed to use non-alphanumerics when using extended
1082         identifiers, but it seems that none of the tooling likes
1083         extended identifiers in filenames, so it effectively does not
1084         work.}, so the entity would be called \quote{w7aA7f} or
1085         something similarly meaningless and autogenerated).
1086
1087     \subsection{Program structure}
1088       These transformations are aimed at normalizing the overall structure
1089       into the intended form. This means ensuring there is a lambda abstraction
1090       at the top for every argument (input port or current state), putting all
1091       of the other value definitions in let bindings and making the final
1092       return value a simple variable reference.
1093
1094       \subsubsection[sec:normalization:eta]{η-abstraction}
1095         This transformation makes sure that all arguments of a function-typed
1096         expression are named, by introducing lambda expressions. When combined with
1097         β-reduction and non-representable binding inlining, all function-typed
1098         expressions should be lambda abstractions or global identifiers.
1099
1100         \starttrans
1101         E                 \lam{E :: a -> b}
1102         --------------    \lam{E} does not occur on a function position in an application
1103         λx.E x            \lam{E} is not a lambda abstraction.
1104         \stoptrans
1105
1106         \startbuffer[from]
1107         foo = λa.case a of 
1108           True -> λb.mul b b
1109           False -> id
1110         \stopbuffer
1111
1112         \startbuffer[to]
1113         foo = λa.λx.(case a of 
1114             True -> λb.mul b b
1115             False -> λy.id y) x
1116         \stopbuffer
1117
1118         \transexample{eta}{η-abstraction}{from}{to}
1119
1120       \subsubsection[sec:normalization:appprop]{Application propagation}
1121         This transformation is meant to propagate application expressions downwards
1122         into expressions as far as possible. This allows partial applications inside
1123         expressions to become fully applied and exposes new transformation
1124         opportunities for other transformations (like β-reduction and
1125         specialization).
1126
1127         Since all binders in our expression are unique (see
1128         \in{section}[sec:normalization:uniq]), there is no risk that we will
1129         introduce unintended shadowing by moving an expression into a lower
1130         scope. Also, since only move expression into smaller scopes (down into
1131         our expression), there is no risk of moving a variable reference out
1132         of the scope in which it is defined.
1133
1134         \starttrans
1135         (letrec binds in E) M
1136         ------------------------
1137         letrec binds in E M
1138         \stoptrans
1139
1140         % And an example
1141         \startbuffer[from]
1142         ( letrec
1143             val = 1
1144           in 
1145             add val
1146         ) 3
1147         \stopbuffer
1148
1149         \startbuffer[to]
1150         letrec
1151           val = 1
1152         in 
1153           add val 3
1154         \stopbuffer
1155
1156         \transexample{appproplet}{Application propagation for a let expression}{from}{to}
1157
1158         \starttrans
1159         (case x of
1160           p0 -> E0
1161           \vdots
1162           pn -> En) M
1163         -----------------
1164         case x of
1165           p0 -> E0 M
1166           \vdots
1167           pn -> En M
1168         \stoptrans
1169
1170         % And an example
1171         \startbuffer[from]
1172         ( case x of 
1173             True -> id
1174             False -> neg
1175         ) 1
1176         \stopbuffer
1177
1178         \startbuffer[to]
1179         case x of 
1180           True -> id 1
1181           False -> neg 1
1182         \stopbuffer
1183
1184         \transexample{apppropcase}{Application propagation for a case expression}{from}{to}
1185
1186       \subsubsection[sec:normalization:letrecurse]{Let recursification}
1187         This transformation makes all non-recursive lets recursive. In the
1188         end, we want a single recursive let in our normalized program, so all
1189         non-recursive lets can be converted. This also makes other
1190         transformations simpler: They only need to be specified for recursive
1191         let expressions (and simply will not apply to non-recursive let
1192         expressions until this transformation has been applied).
1193
1194         \starttrans
1195         let
1196           a = E
1197         in
1198           M
1199         ------------------------------------------
1200         letrec
1201           a = E
1202         in
1203           M
1204         \stoptrans
1205
1206       \subsubsection{Let flattening}
1207         This transformation puts nested lets in the same scope, by lifting the
1208         binding(s) of the inner let into the outer let. Eventually, this will
1209         cause all let bindings to appear in the same scope.
1210
1211         This transformation only applies to recursive lets, since all
1212         non-recursive lets will be made recursive (see
1213         \in{section}[sec:normalization:letrecurse]).
1214
1215         Since we are joining two scopes together, there is no risk of moving a
1216         variable reference out of the scope where it is defined.
1217
1218         \starttrans
1219         letrec 
1220           a0 = E0
1221           \vdots
1222           ai = (letrec bindings in M)
1223           \vdots
1224           an = En
1225         in
1226           N
1227         ------------------------------------------
1228         letrec
1229           a0 = E0
1230           \vdots
1231           ai = M
1232           \vdots
1233           an = En
1234           bindings
1235         in
1236           N
1237         \stoptrans
1238
1239         \startbuffer[from]
1240         letrec
1241           a = 1
1242           b = letrec
1243             x = a
1244             y = c
1245           in
1246             x + y
1247           c = 2
1248         in
1249           b
1250         \stopbuffer
1251         \startbuffer[to]
1252         letrec
1253           a = 1
1254           b = x + y
1255           c = 2
1256           x = a
1257           y = c
1258         in
1259           b
1260         \stopbuffer
1261
1262         \transexample{letflat}{Let flattening}{from}{to}
1263
1264       \subsubsection{Return value simplification}
1265         This transformation ensures that the return value of a function is always a
1266         simple local variable reference.
1267
1268         This transformation only applies to the entire body of a
1269         function instead of any subexpression in a function. This is
1270         achieved by the contexts, like \lam{x = E}, though this is
1271         strictly not correct (you could read this as "if there is any
1272         function \lam{x} that binds \lam{E}, any \lam{E} can be
1273         transformed, while we only mean the \lam{E} that is bound by
1274         \lam{x}).
1275
1276         Note that the return value is not simplified if its not
1277         representable.  Otherwise, this would cause a direct loop with
1278         the inlining of unrepresentable bindings. If the return value is
1279         not representable because it has a function type, η-abstraction
1280         should make sure that this transformation will eventually apply.
1281         If the value is not representable for other reasons, the
1282         function result itself is not representable, meaning this
1283         function is not translatable anyway.
1284
1285         \starttrans
1286         x = E                            \lam{E} is representable
1287         ~                                \lam{E} is not a lambda abstraction
1288         E                                \lam{E} is not a let expression
1289         ---------------------------      \lam{E} is not a local variable reference
1290         letrec x = E in x
1291         \stoptrans
1292
1293         \starttrans
1294         x = λv0 ... λvn.E
1295         ~                                \lam{E} is representable
1296         E                                \lam{E} is not a let expression
1297         ---------------------------      \lam{E} is not a local variable reference
1298         letrec x = E in x
1299         \stoptrans
1300
1301         \starttrans
1302         x = λv0 ... λvn.let ... in E
1303         ~                                \lam{E} is representable
1304         E                                \lam{E} is not a local variable reference
1305         -----------------------------
1306         letrec x = E in x
1307         \stoptrans
1308
1309         \startbuffer[from]
1310         x = add 1 2
1311         \stopbuffer
1312
1313         \startbuffer[to]
1314         x = letrec x = add 1 2 in x
1315         \stopbuffer
1316
1317         \transexample{retvalsimpl}{Return value simplification}{from}{to}
1318         
1319         \todo{More examples}
1320
1321     \subsection[sec:normalization:argsimpl]{Representable arguments simplification}
1322       This section contains just a single transformation that deals with
1323       representable arguments in applications. Non-representable arguments are
1324       handled by the transformations in
1325       \in{section}[sec:normalization:nonrep]. 
1326       
1327       This transformation ensures that all representable arguments will become
1328       references to local variables. This ensures they will become references
1329       to local signals in the resulting \small{VHDL}, which is required due to
1330       limitations in the component instantiation code in \VHDL (one can only
1331       assign a signal or constant to an input port). By ensuring that all
1332       arguments are always simple variable references, we always have a signal
1333       available to map to the input ports.
1334
1335       To reduce a complex expression to a simple variable reference, we create
1336       a new let expression around the application, which binds the complex
1337       expression to a new variable. The original function is then applied to
1338       this variable.
1339
1340       \refdef{global variable}
1341       Note that references to \emph{global variables} (like a top level
1342       function without arguments, but also an argumentless dataconstructors
1343       like \lam{True}) are also simplified. Only local variables generate
1344       signals in the resulting architecture. Even though argumentless
1345       dataconstructors generate constants in generated \VHDL code and could be
1346       mapped to an input port directly, they are still simplified to make the
1347       normal form more regular.
1348
1349       \refdef{representable}
1350       \starttrans
1351       M N
1352       --------------------    \lam{N} is representable
1353       letrec x = N in M x     \lam{N} is not a local variable reference
1354       \stoptrans
1355       \refdef{local variable}
1356
1357       \startbuffer[from]
1358       add (add a 1) 1
1359       \stopbuffer
1360
1361       \startbuffer[to]
1362       letrec x = add a 1 in add x 1
1363       \stopbuffer
1364
1365       \transexample{argsimpl}{Argument simplification}{from}{to}
1366
1367     \subsection[sec:normalization:built-ins]{Built-in functions}
1368       This section deals with (arguments to) built-in functions.  In the
1369       intended normal form definition\refdef{intended normal form definition}
1370       we can see that there are three sorts of arguments a built-in function
1371       can receive.
1372       
1373       \startitemize[KR]
1374         \item A representable local variable reference. This is the most
1375         common argument to any function. The argument simplification
1376         transformation described in \in{section}[sec:normalization:argsimpl]
1377         makes sure that \emph{any} representable argument to \emph{any}
1378         function (including built-in functions) is turned into a local variable
1379         reference.
1380         \item (A partial application of) a top level function (either built-in on
1381         user-defined). The function extraction transformation described in
1382         this section takes care of turning every functiontyped argument into
1383         (a partial application of) a top level function.
1384         \item Any expression that is not representable and does not have a
1385         function type. Since these can be any expression, there is no
1386         transformation needed. Note that this category is exactly all
1387         expressions that are not transformed by the transformations for the
1388         previous two categories. This means that \emph{any} core expression
1389         that is used as an argument to a built-in function will be either
1390         transformed into one of the above categories, or end up in this
1391         categorie. In any case, the result is in normal form.
1392       \stopitemize
1393
1394       As noted, the argument simplification will handle any representable
1395       arguments to a built-in function. The following transformation is needed
1396       to handle non-representable arguments with a function type, all other
1397       non-representable arguments do not need any special handling.
1398
1399       \subsubsection[sec:normalization:funextract]{Function extraction}
1400         This transform deals with function-typed arguments to built-in
1401         functions. 
1402         Since built-in functions cannot be specialized (see
1403         \in{section}[sec:normalization:specialize]) to remove the arguments,
1404         these arguments are extracted into a new global function instead. In
1405         other words, we create a new top level function that has exactly the
1406         extracted argument as its body. This greatly simplifies the
1407         translation rules needed for built-in functions, since they only need
1408         to handle (partial applications of) top level functions.
1409
1410         Any free variables occuring in the extracted arguments will become
1411         parameters to the new global function. The original argument is replaced
1412         with a reference to the new function, applied to any free variables from
1413         the original argument.
1414
1415         This transformation is useful when applying higher-order built-in functions
1416         like \hs{map} to a lambda abstraction, for example. In this case, the code
1417         that generates \small{VHDL} for \hs{map} only needs to handle top level functions and
1418         partial applications, not any other expression (such as lambda abstractions or
1419         even more complicated expressions).
1420
1421         \starttrans
1422         M N                     \lam{M} is (a partial aplication of) a built-in function.
1423         ---------------------   \lam{f0 ... fn} are all free local variables of \lam{N}
1424         M (x f0 ... fn)         \lam{N :: a -> b}
1425         ~                       \lam{N} is not a (partial application of) a top level function
1426         x = λf0 ... λfn.N
1427         \stoptrans
1428
1429         \startbuffer[from]
1430         addList = λb.λxs.map (λa . add a b) xs
1431         \stopbuffer
1432
1433         \startbuffer[to]
1434         addList = λb.λxs.map (f b) xs
1435         ~
1436         f = λb.λa.add a b
1437         \stopbuffer
1438
1439         \transexample{funextract}{Function extraction}{from}{to}
1440
1441         Note that the function \lam{f} will still need normalization after
1442         this.
1443
1444     \subsection{Case normalisation}
1445       \subsubsection{Scrutinee simplification}
1446         This transform ensures that the scrutinee of a case expression is always
1447         a simple variable reference.
1448
1449         \starttrans
1450         case E of
1451           alts
1452         -----------------        \lam{E} is not a local variable reference
1453         letrec x = E in 
1454           case x of
1455             alts
1456         \stoptrans
1457
1458         \startbuffer[from]
1459         case (foo a) of
1460           True -> a
1461           False -> b
1462         \stopbuffer
1463
1464         \startbuffer[to]
1465         letrec x = foo a in
1466           case x of
1467             True -> a
1468             False -> b
1469         \stopbuffer
1470
1471         \transexample{letflat}{Case normalisation}{from}{to}
1472
1473
1474       \subsubsection{Case normalization}
1475         This transformation ensures that all case expressions get a form
1476         that is allowed by the intended normal form. This means they
1477         will become one of: \refdef{intended normal form definition}
1478         \startitemize
1479         \item An extractor case with a single alternative that picks a field
1480         from a datatype, \eg \lam{case x of (a, b) -> a}.
1481         \item A selector case with multiple alternatives and only wild binders, that
1482         makes a choice between expressions based on the constructor of another
1483         expression, \eg \lam{case x of Low -> a; High -> b}.
1484         \stopitemize
1485
1486         For an arbitrary case, that has \lam{n} alternatives, with
1487         \lam{m} binders in each alternatives, this will result in \lam{m
1488         * n} extractor case expression to get at each variable, \lam{n}
1489         let bindings for each of the alternatives' value and a single
1490         selector case to select the right value out of these.
1491
1492         Technically, the defintion of this transformation would require
1493         that the constructor for every alternative has exactly the same
1494         amount (\lam{m}) of arguments, but of course this transformation
1495         also applies when this is not the case.
1496         
1497         \starttrans
1498         case E of
1499           C0 v0,0 ... v0,m -> E0
1500           \vdots
1501           Cn vn,0 ... vn,m -> En
1502         --------------------------------------------------- \lam{\forall i \forall j, 0 ≤ i ≤ n, 0 ≤ i < m} (\lam{wi,j} is a wild (unused) binder)
1503         letrec                                              The case expression is not an extractor case
1504           v0,0 = case E of C0 x0,0 .. x0,m -> x0,0          The case expression is not a selector case
1505           \vdots
1506           v0,m = case E of C0 x0,0 .. x0,m -> x0,m
1507           \vdots
1508           vn,m = case E of Cn xn,0 .. xn,m -> xn,m
1509           y0 = E0
1510           \vdots
1511           yn = En
1512         in
1513           case E of
1514             C0 w0,0 ... w0,m -> y0
1515             \vdots
1516             Cn wn,0 ... wn,m -> yn
1517         \stoptrans
1518
1519         \refdef{wild binder}
1520         Note that this transformation applies to case expressions with any
1521         scrutinee. If the scrutinee is a complex expression, this might
1522         result in duplication of work (hardware). An extra condition to
1523         only apply this transformation when the scrutinee is already
1524         simple (effectively causing this transformation to be only
1525         applied after the scrutinee simplification transformation) might
1526         be in order. 
1527
1528         \startbuffer[from]
1529         case a of
1530           True -> add b 1
1531           False -> add b 2
1532         \stopbuffer
1533
1534         \startbuffer[to]
1535         letrec
1536           x0 = add b 1
1537           x1 = add b 2
1538         in
1539           case a of
1540             True -> x0
1541             False -> x1
1542         \stopbuffer
1543
1544         \transexample{selcasesimpl}{Selector case simplification}{from}{to}
1545
1546         \startbuffer[from]
1547         case a of
1548           (,) b c -> add b c
1549         \stopbuffer
1550         \startbuffer[to]
1551         letrec
1552           b = case a of (,) b c -> b
1553           c = case a of (,) b c -> c
1554           x0 = add b c
1555         in
1556           case a of
1557             (,) w0 w1 -> x0
1558         \stopbuffer
1559
1560         \transexample{excasesimpl}{Extractor case simplification}{from}{to}
1561
1562         \refdef{selector case}
1563         In \in{example}[ex:trans:excasesimpl] the case expression is expanded
1564         into multiple case expressions, including a pretty useless expression
1565         (that is neither a selector or extractor case). This case can be
1566         removed by the Case removal transformation in
1567         \in{section}[sec:transformation:caseremoval].
1568
1569       \subsubsection[sec:transformation:caseremoval]{Case removal}
1570         This transform removes any case expression with a single alternative and
1571         only wild binders.\refdef{wild binder}
1572
1573         These "useless" case expressions are usually leftovers from case simplification
1574         on extractor case (see the previous example).
1575
1576         \starttrans
1577         case x of
1578           C v0 ... vm -> E
1579         ----------------------     \lam{\forall i, 0 ≤ i ≤ m} (\lam{vi} does not occur free in E)
1580         E
1581         \stoptrans
1582
1583         \startbuffer[from]
1584         case a of
1585           (,) w0 w1 -> x0
1586         \stopbuffer
1587
1588         \startbuffer[to]
1589         x0
1590         \stopbuffer
1591
1592         \transexample{caserem}{Case removal}{from}{to}
1593
1594     \subsection[sec:normalization:nonrep]{Removing unrepresentable values}
1595       The transformations in this section are aimed at making all the
1596       values used in our expression representable. There are two main
1597       transformations that are applied to \emph{all} unrepresentable let
1598       bindings and function arguments. These are meant to address three
1599       different kinds of unrepresentable values: Polymorphic values,
1600       higher-order values and literals. The transformation are described
1601       generically: They apply to all non-representable values. However,
1602       non-representable values that do not fall into one of these three
1603       categories will be moved around by these transformations but are
1604       unlikely to completely disappear. They usually mean the program was not
1605       valid in the first place, because unsupported types were used (for
1606       example, a program using strings).
1607      
1608       Each of these three categories will be detailed below, followed by the
1609       actual transformations.
1610
1611       \subsubsection{Removing Polymorphism}
1612         As noted in \in{section}[sec:prototype:polymporphism],
1613         polymorphism is made explicit in Core through type and
1614         dictionary arguments. To remove the polymorphism from a
1615         function, we can simply specialize the polymorphic function for
1616         the particular type applied to it. The same goes for dictionary
1617         arguments. To remove polymorphism from let bound values, we
1618         simply inline the let bindings that have a polymorphic type,
1619         which should (eventually) make sure that the polymorphic
1620         expression is applied to a type and/or dictionary, which can
1621         then be removed by β-reduction (\in{section}[sec:normalization:beta]).
1622
1623         Since both type and dictionary arguments are not representable,
1624         \refdef{representable}
1625         the non-representable argument specialization and
1626         non-representable let binding inlining transformations below
1627         take care of exactly this.
1628
1629         There is one case where polymorphism cannot be completely
1630         removed: Built-in functions are still allowed to be polymorphic
1631         (Since we have no function body that we could properly
1632         specialize). However, the code that generates \VHDL for built-in
1633         functions knows how to handle this, so this is not a problem.
1634
1635       \subsubsection[sec:normalization:defunctionalization]{Defunctionalization}
1636         These transformations remove higher-order expressions from our
1637         program, making all values first-order.
1638       
1639         Higher order values are always introduced by lambda abstractions, none
1640         of the other Core expression elements can introduce a function type.
1641         However, other expressions can \emph{have} a function type, when they
1642         have a lambda expression in their body. 
1643         
1644         For example, the following expression is a higher-order expression
1645         that is not a lambda expression itself:
1646         
1647         \refdef{id function}
1648         \startlambda
1649           case x of
1650             High -> id
1651             Low -> λx.x
1652         \stoplambda
1653
1654         The reference to the \lam{id} function shows that we can introduce a
1655         higher-order expression in our program without using a lambda
1656         expression directly. However, inside the definition of the \lam{id}
1657         function, we can be sure that a lambda expression is present.
1658         
1659         Looking closely at the definition of our normal form in
1660         \in{section}[sec:normalization:intendednormalform], we can see that
1661         there are three possibilities for higher-order values to appear in our
1662         intended normal form:
1663
1664         \startitemize[KR]
1665           \item[item:toplambda] Lambda abstractions can appear at the highest level of a
1666           top level function. These lambda abstractions introduce the
1667           arguments (input ports / current state) of the function.
1668           \item[item:built-inarg] (Partial applications of) top level functions can appear as an
1669           argument to a built-in function.
1670           \item[item:completeapp] (Partial applications of) top level functions can appear in
1671           function position of an application. Since a partial application
1672           cannot appear anywhere else (except as built-in function arguments),
1673           all partial applications are applied, meaning that all applications
1674           will become complete applications. However, since application of
1675           arguments happens one by one, in the expression:
1676           \startlambda
1677             f 1 2
1678           \stoplambda
1679           the subexpression \lam{f 1} has a function type. But this is
1680           allowed, since it is inside a complete application.
1681         \stopitemize
1682
1683         We will take a typical function with some higher-order values as an
1684         example. The following function takes two arguments: a \lam{Bit} and a
1685         list of numbers. Depending on the first argument, each number in the
1686         list is doubled, or the list is returned unmodified. For the sake of
1687         the example, no polymorphism is shown. In reality, at least map would
1688         be polymorphic.
1689
1690         \startlambda
1691         λy.let double = λx. x + x in
1692              case y of
1693                 Low -> map double
1694                 High -> λz. z
1695         \stoplambda
1696
1697         This example shows a number of higher-order values that we cannot
1698         translate to \VHDL directly. The \lam{double} binder bound in the let
1699         expression has a function type, as well as both of the alternatives of
1700         the case expression. The first alternative is a partial application of
1701         the \lam{map} built-in function, whereas the second alternative is a
1702         lambda abstraction.
1703
1704         To reduce all higher-order values to one of the above items, a number
1705         of transformations we have already seen are used. The η-abstraction
1706         transformation from \in{section}[sec:normalization:eta] ensures all
1707         function arguments are introduced by lambda abstraction on the highest
1708         level of a function. These lambda arguments are allowed because of
1709         \in{item}[item:toplambda] above. After η-abstraction, our example
1710         becomes a bit bigger:
1711
1712         \startlambda
1713         λy.λq.(let double = λx. x + x in
1714                  case y of
1715                    Low -> map double
1716                    High -> λz. z
1717               ) q
1718         \stoplambda
1719
1720         η-abstraction also introduces extra applications (the application of
1721         the let expression to \lam{q} in the above example). These
1722         applications can then propagated down by the application propagation
1723         transformation (\in{section}[sec:normalization:appprop]). In our
1724         example, the \lam{q} and \lam{r} variable will be propagated into the
1725         let expression and then into the case expression:
1726
1727         \startlambda
1728         λy.λq.let double = λx. x + x in
1729                 case y of
1730                   Low -> map double q
1731                   High -> (λz. z) q
1732         \stoplambda
1733         
1734         This propagation makes higher-order values become applied (in
1735         particular both of the alternatives of the case now have a
1736         representable type). Completely applied top level functions (like the
1737         first alternative) are now no longer invalid (they fall under
1738         \in{item}[item:completeapp] above). (Completely) applied lambda
1739         abstractions can be removed by β-abstraction. For our example,
1740         applying β-abstraction results in the following:
1741
1742         \startlambda
1743         λy.λq.let double = λx. x + x in
1744                 case y of
1745                   Low -> map double q
1746                   High -> q
1747         \stoplambda
1748
1749         As you can see in our example, all of this moves applications towards
1750         the higher-order values, but misses higher-order functions bound by
1751         let expressions. The applications cannot be moved towards these values
1752         (since they can be used in multiple places), so the values will have
1753         to be moved towards the applications. This is achieved by inlining all
1754         higher-order values bound by let applications, by the
1755         non-representable binding inlining transformation below. When applying
1756         it to our example, we get the following:
1757         
1758         \startlambda
1759         λy.λq.case y of
1760                 Low -> map (λx. x + x) q
1761                 High -> q
1762         \stoplambda
1763
1764         We have nearly eliminated all unsupported higher-order values from this
1765         expressions. The one that is remaining is the first argument to the
1766         \lam{map} function. Having higher-order arguments to a built-in
1767         function like \lam{map} is allowed in the intended normal form, but
1768         only if the argument is a (partial application) of a top level
1769         function. This is easily done by introducing a new top level function
1770         and put the lambda abstraction inside. This is done by the function
1771         extraction transformation from
1772         \in{section}[sec:normalization:funextract].
1773
1774         \startlambda
1775         λy.λq.case y of
1776                 Low -> map func q
1777                 High -> q
1778         \stoplambda
1779
1780         This also introduces a new function, that we have called \lam{func}:
1781
1782         \startlambda
1783         func = λx. x + x
1784         \stoplambda
1785
1786         Note that this does not actually remove the lambda, but now it is a
1787         lambda at the highest level of a function, which is allowed in the
1788         intended normal form.
1789
1790         There is one case that has not been discussed yet. What if the
1791         \lam{map} function in the example above was not a built-in function
1792         but a user-defined function? Then extracting the lambda expression
1793         into a new function would not be enough, since user-defined functions
1794         can never have higher-order arguments. For example, the following
1795         expression shows an example:
1796
1797         \startlambda
1798         twice :: (Word -> Word) -> Word -> Word
1799         twice = λf.λa.f (f a)
1800
1801         main = λa.app (λx. x + x) a
1802         \stoplambda
1803
1804         This example shows a function \lam{twice} that takes a function as a
1805         first argument and applies that function twice to the second argument.
1806         Again, we have made the function monomorphic for clarity, even though
1807         this function would be a lot more useful if it was polymorphic. The
1808         function \lam{main} uses \lam{twice} to apply a lambda epression twice.
1809
1810         When faced with a user defined function, a body is available for that
1811         function. This means we could create a specialized version of the
1812         function that only works for this particular higher-order argument
1813         (\ie, we can just remove the argument and call the specialized
1814         function without the argument). This transformation is detailed below.
1815         Applying this transformation to the example gives:
1816
1817         \startlambda
1818         twice' :: Word -> Word
1819         twice' = λb.(λf.λa.f (f a)) (λx. x + x) b
1820
1821         main = λa.app' a
1822         \stoplambda
1823
1824         The \lam{main} function is now in normal form, since the only
1825         higher-order value there is the top level lambda expression. The new
1826         \lam{twice'} function is a bit complex, but the entire original body
1827         of the original \lam{twice} function is wrapped in a lambda
1828         abstraction and applied to the argument we have specialized for
1829         (\lam{λx. x + x}) and the other arguments. This complex expression can
1830         fortunately be effectively reduced by repeatedly applying β-reduction: 
1831
1832         \startlambda
1833         twice' :: Word -> Word
1834         twice' = λb.(b + b) + (b + b)
1835         \stoplambda
1836
1837         This example also shows that the resulting normal form might not be as
1838         efficient as we might hope it to be (it is calculating \lam{(b + b)}
1839         twice). This is discussed in more detail in
1840         \in{section}[sec:normalization:duplicatework].
1841
1842       \subsubsection{Literals}
1843         There are a limited number of literals available in Haskell and Core.
1844         \refdef{enumerated types} When using (enumerating) algebraic
1845         datatypes, a literal is just a reference to the corresponding data
1846         constructor, which has a representable type (the algebraic datatype)
1847         and can be translated directly. This also holds for literals of the
1848         \hs{Bool} Haskell type, which is just an enumerated type.
1849
1850         There is, however, a second type of literal that does not have a
1851         representable type: Integer literals. Cλash supports using integer
1852         literals for all three integer types supported (\hs{SizedWord},
1853         \hs{SizedInt} and \hs{RangedWord}). This is implemented using
1854         Haskell's \hs{Num} type class, which offers a \hs{fromInteger} method
1855         that converts any \hs{Integer} to the Cλash datatypes.
1856
1857         When \GHC sees integer literals, it will automatically insert calls to
1858         the \hs{fromInteger} method in the resulting Core expression. For
1859         example, the following expression in Haskell creates a 32 bit unsigned
1860         word with the value 1. The explicit type signature is needed, since
1861         there is no context for \GHC to determine the type from otherwise.
1862
1863         \starthaskell
1864         1 :: SizedWord D32
1865         \stophaskell
1866
1867         This Haskell code results in the following Core expression:
1868
1869         \startlambda
1870         fromInteger @(SizedWord D32) \$dNum (smallInteger 10)
1871         \stoplambda
1872
1873         The literal 10 will have the type \lam{GHC.Prim.Int\#}, which is
1874         converted into an \lam{Integer} by \lam{smallInteger}. Finally, the
1875         \lam{fromInteger} function will finally convert this into a
1876         \lam{SizedWord D32}.
1877
1878         Both the \lam{GHC.Prim.Int\#} and \lam{Integer} types are not
1879         representable, and cannot be translated directly. Fortunately, there
1880         is no need to translate them, since \lam{fromInteger} is a built-in
1881         function that knows how to handle these values. However, this does
1882         require that the \lam{fromInteger} function is directly applied to
1883         these non-representable literal values, otherwise errors will occur.
1884         For example, the following expression is not in the intended normal
1885         form, since one of the let bindings has an unrepresentable type
1886         (\lam{Integer}):
1887
1888         \startlambda
1889         let l = smallInteger 10 in fromInteger @(SizedWord D32) \$dNum l
1890         \stoplambda
1891
1892         By inlining these let-bindings, we can ensure that unrepresentable
1893         literals bound by a let binding end up in an application of the
1894         appropriate built-in function, where they are allowed. Since it is
1895         possible that the application of that function is in a different
1896         function than the definition of the literal value, we will always need
1897         to specialize away any unrepresentable literals that are used as
1898         function arguments. The following two transformations do exactly this.
1899
1900       \subsubsection{Non-representable binding inlining}
1901         This transform inlines let bindings that are bound to a
1902         non-representable value. Since we can never generate a signal
1903         assignment for these bindings (we cannot declare a signal assignment
1904         with a non-representable type, for obvious reasons), we have no choice
1905         but to inline the binding to remove it.
1906
1907         As we have seen in the previous sections, inlining these bindings
1908         solves (part of) the polymorphism, higher-order values and
1909         unrepresentable literals in an expression.
1910
1911         \refdef{substitution notation}
1912         \starttrans
1913         letrec 
1914           a0 = E0
1915           \vdots
1916           ai = Ei
1917           \vdots
1918           an = En
1919         in
1920           M
1921         --------------------------    \lam{Ei} has a non-representable type.
1922         letrec
1923           a0 = E0 [ai=>Ei] \vdots
1924           ai-1 = Ei-1 [ai=>Ei]
1925           ai+1 = Ei+1 [ai=>Ei]
1926           \vdots
1927           an = En [ai=>Ei]
1928         in
1929           M[ai=>Ei]
1930         \stoptrans
1931
1932         \startbuffer[from]
1933         letrec
1934           a = smallInteger 10
1935           inc = λb -> add b 1
1936           inc' = add 1
1937           x = fromInteger a 
1938         in
1939           inc (inc' x)
1940         \stopbuffer
1941
1942         \startbuffer[to]
1943         letrec
1944           x = fromInteger (smallInteger 10)
1945         in
1946           (λb -> add b 1) (add 1 x)
1947         \stopbuffer
1948
1949         \transexample{nonrepinline}{Nonrepresentable binding inlining}{from}{to}
1950
1951       \subsubsection[sec:normalization:specialize]{Function specialization}
1952         This transform removes arguments to user-defined functions that are
1953         not representable at runtime. This is done by creating a
1954         \emph{specialized} version of the function that only works for one
1955         particular value of that argument (in other words, the argument can be
1956         removed).
1957
1958         Specialization means to create a specialized version of the called
1959         function, with one argument already filled in. As a simple example, in
1960         the following program (this is not actual Core, since it directly uses
1961         a literal with the unrepresentable type \lam{GHC.Prim.Int\#}).
1962
1963         \startlambda
1964         f = λa.λb.a + b
1965         inc = λa.f a 1
1966         \stoplambda
1967
1968         We could specialize the function \lam{f} against the literal argument
1969         1, with the following result:
1970
1971         \startlambda
1972         f' = λa.a + 1
1973         inc = λa.f' a
1974         \stoplambda
1975
1976         In some way, this transformation is similar to β-reduction, but it
1977         operates across function boundaries. It is also similar to
1978         non-representable let binding inlining above, since it sort of
1979         \quote{inlines} an expression into a called function.
1980
1981         Special care must be taken when the argument has any free variables.
1982         If this is the case, the original argument should not be removed
1983         completely, but replaced by all the free variables of the expression.
1984         In this way, the original expression can still be evaluated inside the
1985         new function.
1986
1987         To prevent us from propagating the same argument over and over, a
1988         simple local variable reference is not propagated (since is has
1989         exactly one free variable, itself, we would only replace that argument
1990         with itself).
1991
1992         This shows that any free local variables that are not runtime
1993         representable cannot be brought into normal form by this transform. We
1994         rely on an inlining or β-reduction transformation to replace such a
1995         variable with an expression we can propagate again.
1996
1997         \starttrans
1998         x = E
1999         ~
2000         x Y0 ... Yi ... Yn                               \lam{Yi} is not representable
2001         ---------------------------------------------    \lam{Yi} is not a local variable reference
2002         x' Y0 ... Yi-1 f0 ...  fm Yi+1 ... Yn            \lam{f0 ... fm} are all free local vars of \lam{Yi}
2003         ~                                                \lam{T0 ... Tn} are the types of \lam{Y0 ... Yn}
2004         x' = λ(y0 :: T0) ... λ(yi-1 :: Ty-1). 
2005              λf0 ... λfm.
2006              λ(yi+1 :: Ty+1) ...  λ(yn :: Tn).       
2007                E y0 ... yi-1 Yi yi+1 ... yn   
2008         \stoptrans
2009
2010         This is a bit of a complex transformation. It transforms an
2011         application of the function \lam{x}, where one of the arguments
2012         (\lam{Y_i}) is not representable. A new
2013         function \lam{x'} is created that wraps the body of the old function.
2014         The body of the new function becomes a number of nested lambda
2015         abstractions, one for each of the original arguments that are left
2016         unchanged.
2017         
2018         The ith argument is replaced with the free variables of
2019         \lam{Y_i}. Note that we reuse the same binders as those used in
2020         \lam{Y_i}, since we can then just use \lam{Y_i} inside the new
2021         function body and have all of the variables it uses be in scope.
2022
2023         The argument that we are specializing for, \lam{Y_i}, is put inside
2024         the new function body. The old function body is applied to it. Since
2025         we use this new function only in place of an application with that
2026         particular argument \lam{Y_i}, behaviour should not change.
2027         
2028         Note that the types of the arguments of our new function are taken
2029         from the types of the \emph{actual} arguments (\lam{T0 ... Tn}). This
2030         means that any polymorphism in the arguments is removed, even when the
2031         corresponding explicit type lambda is not removed
2032         yet.
2033
2034         \todo{Examples. Perhaps reference the previous sections}
2035
2036   \section{Unsolved problems}
2037     The above system of transformations has been implemented in the prototype
2038     and seems to work well to compile simple and more complex examples of
2039     hardware descriptions. \todo{Ref christiaan?} However, this normalization
2040     system has not seen enough review and work to be complete and work for
2041     every Core expression that is supplied to it. A number of problems
2042     have already been identified and are discussed in this section.
2043
2044     \subsection[sec:normalization:duplicatework]{Work duplication}
2045         A possible problem of β-reduction is that it could duplicate work.
2046         When the expression applied is not a simple variable reference, but
2047         requires calculation and the binder the lambda abstraction binds to
2048         is used more than once, more hardware might be generated than strictly
2049         needed. 
2050
2051         As an example, consider the expression:
2052
2053         \startlambda
2054         (λx. x + x) (a * b)
2055         \stoplambda
2056
2057         When applying β-reduction to this expression, we get:
2058
2059         \startlambda
2060         (a * b) + (a * b)
2061         \stoplambda
2062
2063         which of course calculates \lam{(a * b)} twice.
2064         
2065         A possible solution to this would be to use the following alternative
2066         transformation, which is of course no longer normal β-reduction. The
2067         followin transformation has not been tested in the prototype, but is
2068         given here for future reference:
2069
2070         \starttrans
2071         (λx.E) M
2072         -----------------
2073         letrec x = M in E
2074         \stoptrans
2075         
2076         This does not seem like much of an improvement, but it does get rid of
2077         the lambda expression (and the associated higher-order value), while
2078         at the same time introducing a new let binding. Since the result of
2079         every application or case expression must be bound by a let expression
2080         in the intended normal form anyway, this is probably not a problem. If
2081         the argument happens to be a variable reference, then simple let
2082         binding removal (\in{section}[sec:normalization:simplelet]) will
2083         remove it, making the result identical to that of the original
2084         β-reduction transformation.
2085
2086         When also applying argument simplification to the above example, we
2087         get the following expression:
2088
2089         \startlambda
2090         let y = (a * b)
2091             z = (a * b)
2092         in y + z
2093         \stoplambda
2094
2095         Looking at this, we could imagine an alternative approach: Create a
2096         transformation that removes let bindings that bind identical values.
2097         In the above expression, the \lam{y} and \lam{z} variables could be
2098         merged together, resulting in the more efficient expression:
2099
2100         \startlambda
2101         let y = (a * b) in y + y
2102         \stoplambda
2103
2104       \subsection[sec:normalization:non-determinism]{Non-determinism}
2105         As an example, again consider the following expression:
2106
2107         \startlambda
2108         (λx. x + x) (a * b)
2109         \stoplambda
2110
2111         We can apply both β-reduction (\in{section}[sec:normalization:beta])
2112         as well as argument simplification
2113         (\in{section}[sec:normalization:argsimpl]) to this expression.
2114
2115         When applying argument simplification first and then β-reduction, we
2116         get the following expression:
2117
2118         \startlambda
2119         let y = (a * b) in y + y
2120         \stoplambda
2121
2122         When applying β-reduction first and then argument simplification, we
2123         get the following expression:
2124
2125         \startlambda
2126         let y = (a * b)
2127             z = (a * b)
2128         in y + z
2129         \stoplambda
2130
2131         As you can see, this is a different expression. This means that the
2132         order of expressions, does in fact change the resulting normal form,
2133         which is something that we would like to avoid. In this particular
2134         case one of the alternatives is even clearly more efficient, so we
2135         would of course like the more efficient form to be the normal form.
2136
2137         For this particular problem, the solutions for duplication of work
2138         seem from the previous section seem to fix the determinism of our
2139         transformation system as well. However, it is likely that there are
2140         other occurences of this problem.
2141
2142       \subsection[sec:normalization:castproblems]{Casts}
2143         We do not fully understand the use of cast expressions in Core, so
2144         there are probably expressions involving cast expressions that cannot
2145         be brought into intended normal form by this transformation system.
2146
2147         The uses of casts in the core system should be investigated more and
2148         transformations will probably need updating to handle them in all
2149         cases.
2150
2151       \subsection[sec:normalization:stateproblems]{Normalization of stateful descriptions}
2152         Currently, the intended normal form definition\refdef{intended
2153         normal form definition} offers enough freedom to describe all
2154         valid stateful descriptions, but is not limiting enough. It is
2155         possible to write descriptions which are in intended normal
2156         form, but cannot be translated into \VHDL in a meaningful way
2157         (\eg, a function that swaps two substates in its result, or a
2158         function that changes a substate itself instead of passing it to
2159         a subfunction).
2160
2161         It is now up to the programmer to not do anything funny with
2162         these state values, whereas the normalization just tries not to
2163         mess up the flow of state values. In practice, there are
2164         situations where a Core program that \emph{could} be a valid
2165         stateful description is not translateable by the prototype. This
2166         most often happens when statefulness is mixed with pattern
2167         matching, causing a state input to be unpacked multiple times or
2168         be unpacked and repacked only in some of the code paths.
2169
2170         Without going into detail about the exact problems (of which
2171         there are probably more than have shown up so far), it seems
2172         unlikely that these problems can be solved entirely by just
2173         improving the \VHDL state generation in the final stage. The
2174         normalization stage seems the best place to apply the rewriting
2175         needed to support more complex stateful descriptions. This does
2176         of course mean that the intended normal form definition must be
2177         extended as well to be more specific about how state handling
2178         should look like in normal form.
2179         \in{Section}[sec:prototype:statelimits] already contains a
2180         tight description of the limitations on the use of state
2181         variables, which could be adapted into the intended normal form.
2182
2183   \section[sec:normalization:properties]{Provable properties}
2184     When looking at the system of transformations outlined above, there are a
2185     number of questions that we can ask ourselves. The main question is of course:
2186     \quote{Does our system work as intended?}. We can split this question into a
2187     number of subquestions:
2188
2189     \startitemize[KR]
2190     \item[q:termination] Does our system \emph{terminate}? Since our system will
2191     keep running as long as transformations apply, there is an obvious risk that
2192     it will keep running indefinitely. This typically happens when one
2193     transformation produces a result that is transformed back to the original
2194     by another transformation, or when one or more transformations keep
2195     expanding some expression.
2196     \item[q:soundness] Is our system \emph{sound}? Since our transformations
2197     continuously modify the expression, there is an obvious risk that the final
2198     normal form will not be equivalent to the original program: Its meaning could
2199     have changed.
2200     \item[q:completeness] Is our system \emph{complete}? Since we have a complex
2201     system of transformations, there is an obvious risk that some expressions will
2202     not end up in our intended normal form, because we forgot some transformation.
2203     In other words: Does our transformation system result in our intended normal
2204     form for all possible inputs?
2205     \item[q:determinism] Is our system \emph{deterministic}? Since we have defined
2206     no particular order in which the transformation should be applied, there is an
2207     obvious risk that different transformation orderings will result in
2208     \emph{different} normal forms. They might still both be intended normal forms
2209     (if our system is \emph{complete}) and describe correct hardware (if our
2210     system is \emph{sound}), so this property is less important than the previous
2211     three: The translator would still function properly without it.
2212     \stopitemize
2213
2214     Unfortunately, the final transformation system has only been
2215     developed in the final part of the research, leaving no more time
2216     for verifying these properties. In fact, it is likely that the
2217     current transformation system still violates some of these
2218     properties in some cases and should be improved (or extra conditions
2219     on the input hardware descriptions should be formulated).
2220
2221     This is most likely the case with the completeness and determinism
2222     properties, perhaps als the termination property. The soundness
2223     property probably holds, since it is easier to manually verify (each
2224     transformation can be reviewed separately).
2225
2226     Even though no complete proofs have been made, some ideas for
2227     possible proof strategies are shown below.
2228
2229     \subsection{Graph representation}
2230       Before looking into how to prove these properties, we will look at
2231       transformation systems from a graph perspective. We will first define
2232       the graph view and then illustrate it using a simple example from lambda
2233       calculus (which is a different system than the Cλash normalization
2234       system). The nodes of the graph are all possible Core expressions. The
2235       (directed) edges of the graph are transformations. When a transformation
2236       α applies to an expression \lam{A} to produce an expression \lam{B}, we
2237       add an edge from the node for \lam{A} to the node for \lam{B}, labeled
2238       α.
2239
2240       \startuseMPgraphic{TransformGraph}
2241         save a, b, c, d;
2242
2243         % Nodes
2244         newCircle.a(btex \lam{(λx.λy. (+) x y) 1} etex);
2245         newCircle.b(btex \lam{λy. (+) 1 y} etex);
2246         newCircle.c(btex \lam{(λx.(+) x) 1} etex);
2247         newCircle.d(btex \lam{(+) 1} etex);
2248
2249         b.c = origin;
2250         c.c = b.c + (4cm, 0cm);
2251         a.c = midpoint(b.c, c.c) + (0cm, 4cm);
2252         d.c = midpoint(b.c, c.c) - (0cm, 3cm);
2253
2254         % β-conversion between a and b
2255         ncarc.a(a)(b) "name(bred)";
2256         ObjLabel.a(btex $\xrightarrow[normal]{}{β}$ etex) "labpathname(bred)", "labdir(rt)";
2257         ncarc.b(b)(a) "name(bexp)", "linestyle(dashed withdots)";
2258         ObjLabel.b(btex $\xleftarrow[normal]{}{β}$ etex) "labpathname(bexp)", "labdir(lft)";
2259
2260         % η-conversion between a and c
2261         ncarc.a(a)(c) "name(ered)";
2262         ObjLabel.a(btex $\xrightarrow[normal]{}{η}$ etex) "labpathname(ered)", "labdir(rt)";
2263         ncarc.c(c)(a) "name(eexp)", "linestyle(dashed withdots)";
2264         ObjLabel.c(btex $\xleftarrow[normal]{}{η}$ etex) "labpathname(eexp)", "labdir(lft)";
2265
2266         % η-conversion between b and d
2267         ncarc.b(b)(d) "name(ered)";
2268         ObjLabel.b(btex $\xrightarrow[normal]{}{η}$ etex) "labpathname(ered)", "labdir(rt)";
2269         ncarc.d(d)(b) "name(eexp)", "linestyle(dashed withdots)";
2270         ObjLabel.d(btex $\xleftarrow[normal]{}{η}$ etex) "labpathname(eexp)", "labdir(lft)";
2271
2272         % β-conversion between c and d
2273         ncarc.c(c)(d) "name(bred)";
2274         ObjLabel.c(btex $\xrightarrow[normal]{}{β}$ etex) "labpathname(bred)", "labdir(rt)";
2275         ncarc.d(d)(c) "name(bexp)", "linestyle(dashed withdots)";
2276         ObjLabel.d(btex $\xleftarrow[normal]{}{β}$ etex) "labpathname(bexp)", "labdir(lft)";
2277
2278         % Draw objects and lines
2279         drawObj(a, b, c, d);
2280       \stopuseMPgraphic
2281
2282       \placeexample[right][ex:TransformGraph]{Partial graph of a lambda calculus
2283       system with β and η reduction (solid lines) and expansion (dotted lines).}
2284           \boxedgraphic{TransformGraph}
2285
2286       Of course the graph for Cλash is unbounded, since we can construct an
2287       infinite amount of Core expressions. Also, there might potentially be
2288       multiple edges between two given nodes (with different labels), though
2289       this seems unlikely to actually happen in our system.
2290
2291       See \in{example}[ex:TransformGraph] for the graph representation of a very
2292       simple lambda calculus that contains just the expressions \lam{(λx.λy. (+) x
2293       y) 1}, \lam{λy. (+) 1 y}, \lam{(λx.(+) x) 1} and \lam{(+) 1}. The
2294       transformation system consists of β-reduction and η-reduction (solid edges) or
2295       β-expansion and η-expansion (dotted edges).
2296
2297       \todo{Define β-reduction and η-reduction?}
2298
2299       Note that the normal form of such a system consists of the set of nodes
2300       (expressions) without outgoing edges, since those are the expressions to which
2301       no transformation applies anymore. We call this set of nodes the \emph{normal
2302       set}. The set of nodes containing expressions in intended normal
2303       form \refdef{intended normal form} is called the \emph{intended
2304       normal set}.
2305
2306       From such a graph, we can derive some properties easily:
2307       \startitemize[KR]
2308         \item A system will \emph{terminate} if there is no walk (sequence of
2309         edges, or transformations) of infinite length in the graph (this
2310         includes cycles, but can also happen without cycles).
2311         \item Soundness is not easily represented in the graph.
2312         \item A system is \emph{complete} if all of the nodes in the normal set have
2313         the intended normal form. The inverse (that all of the nodes outside of
2314         the normal set are \emph{not} in the intended normal form) is not
2315         strictly required. In other words, our normal set must be a
2316         subset of the intended normal form, but they do not need to be
2317         the same set.
2318         form.
2319         \item A system is deterministic if all paths starting at a particular
2320         node, which end in a node in the normal set, end at the same node.
2321       \stopitemize
2322
2323       When looking at the \in{example}[ex:TransformGraph], we see that the system
2324       terminates for both the reduction and expansion systems (but note that, for
2325       expansion, this is only true because we have limited the possible
2326       expressions.  In complete lambda calculus, there would be a path from
2327       \lam{(λx.λy. (+) x y) 1} to \lam{(λx.λy.(λz.(+) z) x y) 1} to
2328       \lam{(λx.λy.(λz.(λq.(+) q) z) x y) 1} etc.)
2329
2330       If we would consider the system with both expansion and reduction, there
2331       would no longer be termination either, since there would be cycles all
2332       over the place.
2333
2334       The reduction and expansion systems have a normal set of containing just
2335       \lam{(+) 1} or \lam{(λx.λy. (+) x y) 1} respectively. Since all paths in
2336       either system end up in these normal forms, both systems are \emph{complete}.
2337       Also, since there is only one node in the normal set, it must obviously be
2338       \emph{deterministic} as well.
2339
2340     \subsection{Termination}
2341       In general, proving termination of an arbitrary program is a very
2342       hard problem. \todo{Ref about arbitrary termination} Fortunately,
2343       we only have to prove termination for our specific transformation
2344       system.
2345
2346       A common approach for these kinds of proofs is to associate a
2347       measure with each possible expression in our system. If we can
2348       show that each transformation strictly decreases this measure
2349       (\ie, the expression transformed to has a lower measure than the
2350       expression transformed from).  \todo{ref about measure-based
2351       termination proofs / analysis}
2352       
2353       A good measure for a system consisting of just β-reduction would
2354       be the number of lambda expressions in the expression. Since every
2355       application of β-reduction removes a lambda abstraction (and there
2356       is always a bounded number of lambda abstractions in every
2357       expression) we can easily see that a transformation system with
2358       just β-reduction will always terminate.
2359
2360       For our complete system, this measure would be fairly complex
2361       (probably the sum of a lot of things). Since the (conditions on)
2362       our transformations are pretty complex, we would need to include
2363       both simple things like the number of let expressions as well as
2364       more complex things like the number of case expressions that are
2365       not yet in normal form.
2366
2367       No real attempt has been made at finding a suitable measure for
2368       our system yet.
2369
2370     \subsection{Soundness}
2371       Soundness is a property that can be proven for each transformation
2372       separately. Since our system only runs separate transformations
2373       sequentially, if each of our transformations leaves the
2374       \emph{meaning} of the expression unchanged, then the entire system
2375       will of course leave the meaning unchanged and is thus
2376       \emph{sound}.
2377
2378       The current prototype has only been verified in an ad-hoc fashion
2379       by inspecting (the code for) each transformation. A more formal
2380       verification would be more appropriate.
2381
2382       To be able to formally show that each transformation properly
2383       preserves the meaning of every expression, we require an exact
2384       definition of the \emph{meaning} of every expression, so we can
2385       compare them. A definition of the operational semantics of \GHC's Core
2386       language is available \cite[sulzmann07], but this does not seem
2387       sufficient for our goals (but it is a good start).
2388
2389       It should be possible to have a single formal definition of
2390       meaning for Core for both normal Core compilation by \GHC and for
2391       our compilation to \VHDL. The main difference seems to be that in
2392       hardware every expression is always evaluated, while in software
2393       it is only evaluated if needed, but it should be possible to
2394       assign a meaning to core expressions that assumes neither.
2395       
2396       Since each of the transformations can be applied to any
2397       subexpression as well, there is a constraint on our meaning
2398       definition: The meaning of an expression should depend only on the
2399       meaning of subexpressions, not on the expressions themselves. For
2400       example, the meaning of the application in \lam{f (let x = 4 in
2401       x)} should be the same as the meaning of the application in \lam{f
2402       4}, since the argument subexpression has the same meaning (though
2403       the actual expression is different).
2404       
2405     \subsection{Completeness}
2406       Proving completeness is probably not hard, but it could be a lot
2407       of work. We have seen above that to prove completeness, we must
2408       show that the normal set of our graph representation is a subset
2409       of the intended normal set.
2410
2411       However, it is hard to systematically generate or reason about the
2412       normal set, since it is defined as any nodes to which no
2413       transformation applies. To determine this set, each transformation
2414       must be considered and when a transformation is added, the entire
2415       set should be re-evaluated. This means it is hard to show that
2416       each node in the normal set is also in the intended normal set.
2417       Reasoning about our intended normal set is easier, since we know
2418       how to generate it from its definition. \refdef{intended normal
2419       form definition}.
2420
2421       Fortunately, we can also prove the complement (which is
2422       equivalent, since $A \subseteq B \Leftrightarrow \overline{B}
2423       \subseteq \overline{A}$): Show that the set of nodes not in
2424       intended normal form is a subset of the set of nodes not in normal
2425       form. In other words, show that for every expression that is not
2426       in intended normal form, that there is at least one transformation
2427       that applies to it (since that means it is not in normal form
2428       either and since $A \subseteq C \Leftrightarrow \forall x (x \in A
2429       \rightarrow x \in C)$).
2430
2431       By systematically reviewing the entire Core language definition
2432       along with the intended normal form definition (both of which have
2433       a similar structure), it should be possible to identify all
2434       possible (sets of) core expressions that are not in intended
2435       normal form and identify a transformation that applies to it.
2436       
2437       This approach is especially useful for proving completeness of our
2438       system, since if expressions exist to which none of the
2439       transformations apply (\ie if the system is not yet complete), it
2440       is immediately clear which expressions these are and adding
2441       (or modifying) transformations to fix this should be relatively
2442       easy.
2443
2444       As observed above, applying this approach is a lot of work, since
2445       we need to check every (set of) transformation(s) separately.
2446
2447       \todo{Perhaps do a few steps of the proofs as proof-of-concept}
2448
2449 % vim: set sw=2 sts=2 expandtab: